《最优化：建模、算法与理论》、《最优化计算方法》代码展示

此系列页面为配套《最优化：建模、算法与理论》、《最优化计算方法》的代码展示， 包含完整的算法和数值实验的 MATLAB 实现以及详细的注释。 有兴趣的读者可以通过阅读代码细节理解算法及其数值表现，并且掌握其中的代码技巧。

按照书中算法与应用实例出现的顺序，将页面整理如下。其中标注“实例”的表示数值实验， 其它则为算法实现。同时，在数值实验和相应的算法的页面中都提供了相互的链接以供参考。 另外，我们还将 LASSO 问题求解与逻辑回归两个实例整理在最后。

目录

程序下载

所有算法的源文件以及其它数据文件， 请下载该压缩文件。

本系列页面所含代码适用于教学目的。在科研、生产等环境中， 读者还需选择专业的算法程序完成所需任务。

无约束优化算法

• 梯度类算法
  • LASSO 问题的梯度下降法
  • 实例：利用梯度法解 LASSO 问题
  • LASSO 连续化策略（此算法应用在梯度下降以及若干其它算法中）
  • BB 步长梯度下降法
  • 实例：Tikhonov 正则化模型用于图片去噪
• 次梯度算法
  • LASSO 问题的次梯度解法
  • 实例：次梯度法解 LASSO 问题
  • LASSO 问题的连续化次梯度法
  • 实例：连续化次梯度法解 LASSO 问题
• 牛顿类算法
  • 牛顿-共轭梯度法
  • 实例：牛顿-共轭梯度法解逻辑回归问题
• 拟牛顿类算法
  • L-BFGS 算法
  • 实例：L-BFGS算法解基追踪问题
  • 实例：L-BFGS算法解逻辑回归问题
• 信赖域算法
  • 信赖域算法
  • 实例：信赖域算法解逻辑回归问题
• 非线性最小二乘问题
  • 编码衍射模型的 Wirtinger 梯度下降算法
  • 编码衍射模型的 Nesterov 加速算法
  • 编码衍射模型的 LM 算法
  • 实例：编码衍射模型求解

约束优化算法

• 罚函数法
  • 实例：罚函数法解基追踪问题
• 增广拉格朗日函数法
  • 基追踪问题的增广拉格朗日函数法解法
  • 实例：增广拉格朗日函数法解基追踪问题

复合优化算法

• 近似点梯度法
  • LASSO 问题的近似点梯度法
  • LASSO 问题的 FISTA 算法
  • LASSO 问题的第二类 Nesterov 加速算法
  • 实例：近似点梯度法及其 Nesterov 加速算法求解 LASSO 问题
• 近似点算法
  • LASSO 问题的近似点算法
  • 实例：近似点算法解 LASSO 问题
• 分块坐标下降法
  • LASSO 问题的分块坐标下降法
  • 实例：分块坐标下降法求解 LASSO 问题
• 对偶算法
  • LASSO 问题的原始-对偶混合梯度算法
  • 实例：原始-对偶混合梯度算法求解 LASSO 问题
• 交替方向乘子法
  • LASSO 原问题的交替方向乘子法
  • LASSO 对偶问题的交替方向乘子法
  • 实例：交替方向乘子法解 LASSO 问题
• 随机优化算法
  • 随机梯度下降算法
  • AdaGrad 算法
  • RMSProp 算法
  • AdaDelta 算法
  • Adam 算法
  • 实例：随机优化算法求解逻辑回归问题

应用：LASSO 问题求解

LASSO 问题是在多个算法中出现的应用，现将其整理如下：

• 使用连续化策略的 LASSO 问题求解
  • 实例：利用梯度法解 LASSO 问题
  • 实例：连续化次梯度法解 LASSO 问题
  • 实例：近似点梯度法及其 Nesterov 加速算法求解 LASSO 问题
  • 实例：近似点法解 LASSO 问题
  • 实例：分块坐标下降法求解 LASSO 问题
  • 实例：原始-对偶混合梯度算法求解 LASSO 问题
• 不使用连续化策略的 LASSO 问题求解
• 实例：次梯度法解 LASSO 问题
• 实例：交替方向乘子法解 LASSO 问题

可以看出 LASSO 问题的连续化策略在其求解的过程中扮演着重要的作用。

应用：逻辑回归问题求解

参考与版权信息

限于作者的知识水平，程序中难免有不妥和错误之处，恳请读者不吝批评和指正。

勘误收集: 如果您发现任何不妥和错误之处，麻烦您通过此链接反馈。

代码作者：

代码整理与网页制作：

Published with MATLAB® R2020a