独学で鍛える数理思考〜先端AI技術を支える数学の基礎

構成数 : 1

第1章 情報検索を実現する数理
1-1 はじめに
1-2 Web検索に用いられる基礎的な数理モデル
1-3 検索結果の"良し悪し"を評価する―適合率と再現率―
1-4 ユーザー行動の平均値を数理モデルで表現する―総和記号Σ―
1-5 索引語を数値化する―ベクトル化―
Column 自然言語処理におけるベクトル化
Lesson ベクトルと行列
1-6 索引語の出現頻度を数理モデルで表現する―比例と対数―
Lesson 対数の性質
1-7 索引語の珍しさを数理モデルで表現する―反比例と対数―
1-8 文書のランキングを数理モデルで表現する―TF-IDFモデル―
1-9 本章で得られた学び
Column さらなる学びに向けて―Retrieval Augmented Generation―

第2章 商品推薦を実現する数理
2-1 はじめに
2-2 商品の評価を数理的に表現する―評価値行列―
2-3 評価値の予測を数理モデルで実現する―協調フィルタリングと行列因子分解―
Column 内容ベースフィルタリング
2-4 ユーザー同士の類似度で予測値を推計する―内積の定理とコサイン類似度―
2-5 コサイン類似度の意味を考える―三角関数―
Lesson 内積の図形的解釈
2-6 コサイン類似度を複数のアイテムに適用する―多次元への拡張―
2-7 コサイン類似度を改良する―中心化―
2-8 コサイン類似度を計算する―指示関数―
2-9 欠損値を推計する数理モデルを設計し、計算を実行する
2-10 アイテム同士の類似度で予測値を推計する
2-11 ユーザー目線で数理モデルを再考する―セレンディピティ―
2-12 課題解決のために数理モデルを変更する―行列因子分解―
Lesson 行列の積の計算
2-13 評価値の推計を最適化問題に置き換える―残差行列と誤差―
2-14 最適化問題を解く―損失関数―
Column ハイパーパラメータ
2-15 損失関数を最適化する―最小二乗法と微分・偏微分―
Lesson 微分
Lesson 微分・偏微分の計算例
2-16 計算結果を統合して数理モデルを導出する―偏微分と総和記号Σ―
2-17 更新式を設計して予測値を推計する―勾配降下法―
2-18 勾配降下法の計算例
2-19 数理モデルの違いを俯瞰する―協調フィルタリングと行列因子分解―
2-20 本章で得られた学び

第3章 画像分類を実現する数理
3-1 はじめに
3-2 深層学習モデルで画像分類を実現する―Convolutional Neural Network―
3-3 CNNにおける画像データ処理の流れを俯瞰する
3-4 単純な例を用いてCNNの仕組みを理解する―畳み込み層とプーリング層―
3-5 画像データに対するCNNの処理を理解する―重みパラメータとバイアス―
Column パラメータ・バイアス
3-6 確率的な予測によって画像認識を行う―ソフトマックス関数―
Column AIのブラックボックス化
3-7 誤差を最小化して画像認識の精度を向上させる
3-8 損失関数を定義する―対数尤度関数―
3-9 出力層のパラメータの影響範囲を考察する―合成関数―
Lesson 合成関数の微分
3-10 出力層のパラメータによって損失関数を最適化する―偏微分―
Lesson ネイピア数
3-11 出力層のパラメータによる損失関数の偏微分結果を導出する
3-12 畳み込み層のパラメータの影響範囲を考察する―合成関数―
3-13 畳み込み層のパラメータによる損失関数の偏微分結果を導出する
3-14 誤差逆伝播法の意味を数理モデルから読み取る
3-15 本章で得られた学び

第4章 文章生成を実現する数理
4-1 はじめに
4-2 大規模言語モデルを実現する数理モデルを俯瞰する―Transformer―
4-3 確率的予測モデルによって出力を生成する
4-4 入力データを数理モデルに適した形式に変換する―単語埋め込み―
4-5 単語の順序に関する情報を加算する―位置符号化―
4-6 Transformer の核心部分を俯瞰する―Multi-Head Attention―
4-7 head 内における計算処理を理解する―行列積と転置行列―
4-8 位置符号化の重要性を理解する
4-9 行列積の計算結果をスケーリングする―ソフトマックス関数―
4-10 各headの計算結果を結合する
4-11 各トークンの要素を正規化する
4-12 精度向上のためにさらなるデータ処理を行う―活性化関数―
4-13 自己回帰的なデータ処理によって出力を生成する
4-14 参照するトークンを限定する―Masked Multi-Head Attention―
4-15 エンコーダで処理された情報を統合する―Cross-Attention―
4-16 確率的予測に基づいて出力を生成する
4-17 本章で得られた学び
Column さらなる学びに向けて―Transformerが組み込まれた先端AIの例

第5章 音...