機械学習のための連続最適化

構成数 : 1枚

1章 はじめに 機械学習における推論と計算/最適化問題の記述
2章 基礎事項
微積分・線形代数の基礎/凸解析の基礎
3章 最適性条件とアルゴリズムの停止条件
局所最適解と最適性条件/集合制約に対する最適性条件/最適化アルゴリズムの停止条件
4章 勾配法の基礎
直線探索法/直線探索を用いる反復法/座標降下法/最急降下法/機械学習への応用
5章 ニュートン法
ニュートン法の導出/座標変換に対する共変性/修正ニュートン法/ガウス・ニュートン法と関連する話題/自然勾配法
6章 共役勾配法
共役方向法/共役勾配法/非線形共役勾配法
7章 準ニュートン法
可変計量を用いる最適化法とセカント条件/正定値行列の近接的更新/準ニュートン法の収束性/記憶制限付き準ニュートン法/ヘッセ行列の疎性の利用
8章 信頼領域法
アルゴリズムの構成/部分問題の近似解法/収束性
9章 等式制約付き最適化の最適性条件
1 次の最適性条件/2 次の最適性条件/凸最適化問題の最適性条件と双対性/感度解析
10章 不等式制約付き最適化の最適性条件
1 次の最適性条件/2 次の最適性条件/凸最適化問題の最適性条件/主問題と双対問題
11章 主問題に対する最適化法
有効制約法/ペナルティ関数法/バリア関数法
12章 ラグランジュ関数を用いる最適化法
双対上昇法/拡張ラグランジュ関数法/交互方向乗数法
13章 上界最小化アルゴリズム
上界最小化アルゴリズム/代理関数の例/EM アルゴリズム/2 つの凸関数の差の最適化/近接点アルゴリズム
14章 サポートベクトルマシンと最適化
SVM の定式化と最適化問題/SVM 学習のための最適化アルゴリズム/正則化パス追跡/最適保証スクリーニング
15章 スパース学習
スパースモデリング/L1正則化と種々のスパース正則化/近接勾配法による解法/座標降下法による解法/交互方向乗数法による解法/近接点アルゴリズムによる方法
16章 行列空間上の最適化
シュティーフェル多様体とグラスマン多様体/機械学習における行列最適化/多様体の諸概念/多様体上の最適化/レトラクションとベクトル輸送/行列多様体上の最適化