贝叶斯优化教程 Tutorial on Bayesian Optimization

Tutorial on Bayesian Optimization

贝叶斯优化教程

https://www.preprints.org/frontend/manuscript/eadeb7f95b290d9d0172e16db0271429/download_pub

摘要

机器学习主要分为监督学习、无监督学习和强化学习三大分支。强化学习在人工智能应用中极具潜力，它通过不断改进和微调可能的解决方案的渐进过程来解决实际问题。这种体现适应能力的渐进方法适用于大多数事件持续且意外发生的现实世界。此外，数据量日益庞大，监督学习和无监督学习难以一次性从海量数据中提取有价值的知识。

贝叶斯优化（BO）将优化问题建模为称为代理模型的概率形式，然后直接最大化由该代理模型生成的采集函数，以隐式且间接地最大化目标函数，从而找到优化问题的解决方案。高斯过程回归模型是一种常用的代理模型。最大化采集函数的过程基于反复更新代理模型的后验概率，每次迭代后均会改进。

在决策理论中利用采集函数或效用函数也很常见，但贝叶斯优化的本质在于，它根据强化学习的思想，通过每次利用少量数据更新代理模型，以渐进和自适应的方式解决问题。毫无疑问，贝叶斯优化是一种具有众多潜在应用的强化学习算法，因此本研究对其数学思想进行了综述。此外，优化问题的解决方案不仅对应用数学很重要，对人工智能也至关重要。

关键词

贝叶斯优化；高斯过程回归；采集函数；机器学习；强化学习

1. 引言

给定目标函数 y = f (x)，优化问题的核心是寻找极值点 x*，使 f (x*) 取得极值 y = f (x*)。通常，f (x) 是标量 - 向量函数，其输出（观测值或评估值）y 为标量，变量 x 为 n 维向量。极值点 x可以是极小值点或极大值点，对应 y= f (x*) 为最小值或最大值。优化问题可具体描述为：

若极值点 x 为局部极小值点或局部极大值点，则该优化问题属于局部优化问题。此时，牛顿 - 拉夫逊法和梯度下降法等传统方法是理想解决方案，但它们要求 f (x) 完全凸（用于最小化）或完全凹（用于最大化）。若 f (x) 非完全凸（凹），则 x 可能为全局极值点，问题将变得更为复杂，这正是本研究关注的全局优化问题。

文献中默认 x 为极小值点，但在贝叶斯优化（BO）场景中，将 x 视为极大值点更合适，因为 BO 主要涉及概率分布，而分布的峰值是关注重点。不过，这一区别并不关键，因为最小化问题可转化为最大化问题，例如：

存在三种解决（全局）优化问题的方法，分别是解析方法、概率方法和启发式方法。解析方法将纯粹的数学工具应用于寻找优化器，例如近似法、割平面法、分支定界法和区间法，这些方法专注于代数目标函数的解析本质。概率方法将寻找优化器视为随机选择，但这种随机选择是由某种概率模型引导的，以便找到优化器。启发式方法是这三种方法中最灵活的一种，它试图将启发式假设应用于或模仿寻找优化器的过程。它不涉及太多数学推理，因为可行性和有效性是最重要的。通常，启发式方法模仿自然活动，例如粒子群优化（PSO）模拟一群鸟如何寻找食物。像PSO和蚁群算法（ABC）这样受生物活动启发的进化算法是启发式算法中流行的方法。然而，在我关于极小值分布的研究中（Nguyen，2022），我提到启发式方法（具体来说是进化算法）和概率方法之间存在一些隐含的联系。

2 贝叶斯优化

回想一下，在贝叶斯优化（BO）中，定义和最大化采集函数是两项最重要的任务之一，另一项是构建代理模型。其基本准则是，像期望改进（EI）这样的采集函数的最大化过程，应当比通过解析方法直接最大化解析目标函数 f (x) 的成本更低。无论如何，贝叶斯优化始终具有重要意义，因为对于贝叶斯优化而言，目标函数 f (x) 可以是任意形式的，甚至可能没有解析表达式。

3 高斯过程回归

4 采集函数

5 结论
尽管参数化贝叶斯优化（PBO）存在一些有趣的方面，但本研究聚焦于非参数贝叶斯优化（NBO）。在一些研究中强调严谨性，而其他研究（尤其是应用研究或启发式研究 ）仅需合理性即可。虽然非参数贝叶斯优化属于应用数学范畴，但其数学基础是严谨的，即便其代理模型和采集函数最大化的表象看似复杂。因此，其代价在于非参数贝叶斯优化反过来要基于牛顿 - 拉夫逊法和梯度下降法等传统凸优化方法来最大化采集函数，这意味着非参数贝叶斯优化需要其自身范畴之外的其他知识，而像粒子群优化（PSO）和蚁群算法（ABC）这类启发式方法则不需要数学约束。无论如何，非参数贝叶斯优化是全局优化问题的一种重要解决方案，因为在过于严格的数学约束这一必要假设下，应用数学的发展会犹豫不决。因此，此处的主要问题是非参数贝叶斯优化在平衡探索与开发以寻找全局优化器方面的有效性。像粒子群优化（PSO）这类启发式方法，当不聚焦于复杂数学工具时，已被证明具有简单性和可行性，尽管有一些研究试图应用数学理论来解释它们。对于人类研究而言，是通过理论进行思考优先于自然模拟，还是相反，这是一个大问题，答案可能因人而异。这个问题等同于逻辑性和想象力二者中哪个更重要的另一个问题。

原文链接：https://www.preprints.org/frontend/manuscript/eadeb7f95b290d9d0172e16db0271429/download_pub