情報理論 基礎と広がり

構成数 : 1

第1章 入門と概論
1.1 本書の概要

第2章 エントロピー,相対エントロピー,相互情報量
2.1 エントロピー
2.2 同時エントロピーと条件付きエントロピー
2.3 相対エントロピーと相互情報量
2.4 エントロピーと相互情報量の関係
2.5 エントロピー,相対エントロピーおよび相互情報量のチェイン則
2.6 イェンセンの不等式およびその関連結果
2.7 対数和不等式とその応用
2.8 データ処理不等式
2.9 十分統計量
2.10 ファノの不等式
本章の要点
演習問題
歴史メモ

第3章 AEP
3.1 AEP定理
3.2 AEPから導かれる結果:データ圧縮
3.3 高確率集合と典型集合
本章の要点
演習問題
歴史メモ

第4章 確率過程のエントロピーレート
4.1 マルコフ連鎖
4.2 エントロピーレート
4.3 例:重み付きグラフ上のランダムウォークに対するエントロピーレート
4.4 熱力学の第二法則
4.5 マルコフ連鎖の関数
本章の要点
演習問題
歴史メモ

第5章 データ圧縮
5.1 符号の例
5.2 クラフトの不等式
5.3 最適符号
5.4 最適符号語長の限界
5.5 一意復号可能な符号に対するクラフトの不等式
5.6 ハフマン符号
5.7 ハフマン符号に関するコメント
5.8 ハフマン符号の最適性
5.9 シャノン-ファノ-イライアス符号
5.10 シャノン符号の競合最適性
5.11 公平なコインによる離散確率分布の生成
本章の要点
演習問題
歴史メモ

第6章 ギャンブルとデータ圧縮
6.1 競馬
6.2 ギャンブルと補助情報
6.3 記憶のある競馬とエントロピーレート
6.4 英文のエントロピー
6.5 データ圧縮とギャンブル
6.6 ギャンブルによる英文のエントロピー推定
本章の要点
演習問題
歴史メモ

第7章 通信路容量
7.1 通信路容量の例
7.2 対称通信路
7.3 通信路容量の性質
7.4 通信路符号化定理のプレビュー
7.5 定義
7.6 同時典型系列
7.7 通信路符号化定理
7.8 ゼロエラー符号
7.9 ファノの不等式と符号化逆定理
7.10 通信路符号化逆定理における等号成立条件
7.11 ハミング符号
7.12 フィードバック通信路容量
7.13 情報源・通信路分離定理
本章の要点
演習問題
歴史メモ

第8章 微分エントロピー
8.1 定義
8.2 連続確率変数に対する漸近等分割性
8.3 微分エントロピーと離散エントロピーの関係
8.4 同時微分エントロピーと条件付き微分エントロピー
8.5 相対エントロピーと相互情報量
8.6 微分エントロピー,相対エントロピー,相互情報量の性質
本章の要点
演習問題
歴史メモ

第9章 ガウス型通信路
9.1 ガウス型通信路:定義
9.2 ガウス型通信路に対する符号化逆定理
9.3 帯域制限された通信路
9.4 並列ガウス型通信路
9.5 有色ガウス型雑音通信路
9.6 フィードバックのあるガウス型通信路
本章の要点
演習問題
歴史メモ

第10章 レート歪み理論
10.1 量子化
10.2 定義
10.3 レート歪み関数の計算
10.4 レート歪み逆定理
10.5 レート歪み関数の達成可能性
10.6 強典型系列とレート歪み
10.7 レート歪み関数の特徴付け
10.8 通信...