スパース推定100問 with R
スパース推定は、サンプルに対して変数の方が圧倒的に多い場合の統計学である。たとえば、症例対照100名のサンプルがあって、1万の遺伝子の蛋白質生成量からどの遺伝子がその病気の原因になっているのかなどの問題解決に役立つ。また、機械学習の諸問題にも適用されている。
スパース推定に関して、数学的に検討してアルゴリズムを導くことや、パッケージにデータを入れて動作を観察することは他書でもやっている。本書の特徴は、理論から実際にシンプルなプログラムを構築して動作を確認するなど、思考を止めないで、全体を検証している点にある。そうすることで、見えない本質が見えてくるばかりか、理論的に考えたことが正当化される。
また、スパース推定を凸最適化問題として扱っている点が、本書の新しい視点である。つまり、統計学が運転手で、凸最適化がエンジンであることが強調されている。さらに、エッセンスが簡潔に書かれていること、self-containedであることも、本書のメリットである。
本書は、2018年度前期に大阪大学で大学院生を対象に行われた講義で出された128問の演習問題および、同年11月に日本行動計量学会のセミナーで用いた60問の問題がベースになっていて、その後の阪大のセミナーなどで改良を重ねて得られた100問を提示している。
なお、読者ページから著者に質問できるので、困ったときには著者からフィードバックを得られる。そして、本書のプログラムはすべてダウンロード可能で、解説動画も閲覧できる。
本書を読むことで、データサイエンスや機械学習に関する知識が得られることはもちろんだが、脳裏に数学的ロジックを構築し、プログラムを構成して具体的に検証していくという、データサイエンス業界で活躍するための資質が得られる。「数理」「情報」「データ」といった人工知能時代を勝ち抜くために必須のスキルを身につけるための、うってつけの書籍である。
スパース推定に関して、数学的に検討してアルゴリズムを導くことや、パッケージにデータを入れて動作を観察することは他書でもやっている。本書の特徴は、理論から実際にシンプルなプログラムを構築して動作を確認するなど、思考を止めないで、全体を検証している点にある。そうすることで、見えない本質が見えてくるばかりか、理論的に考えたことが正当化される。
また、スパース推定を凸最適化問題として扱っている点が、本書の新しい視点である。つまり、統計学が運転手で、凸最適化がエンジンであることが強調されている。さらに、エッセンスが簡潔に書かれていること、self-containedであることも、本書のメリットである。
本書は、2018年度前期に大阪大学で大学院生を対象に行われた講義で出された128問の演習問題および、同年11月に日本行動計量学会のセミナーで用いた60問の問題がベースになっていて、その後の阪大のセミナーなどで改良を重ねて得られた100問を提示している。
なお、読者ページから著者に質問できるので、困ったときには著者からフィードバックを得られる。そして、本書のプログラムはすべてダウンロード可能で、解説動画も閲覧できる。
本書を読むことで、データサイエンスや機械学習に関する知識が得られることはもちろんだが、脳裏に数学的ロジックを構築し、プログラムを構成して具体的に検証していくという、データサイエンス業界で活躍するための資質が得られる。「数理」「情報」「データ」といった人工知能時代を勝ち抜くために必須のスキルを身につけるための、うってつけの書籍である。
第1章 線形回帰
1.1 線形回帰
1.2 劣微分
1.3 Lasso
1.4 Ridge
1.5 LassoとRidgeを比較して
1.6 elasticネット
1.7 λの値の設定
問題1～20
第2章 一般化線形回帰
2.1 線形回帰のLassoの一般化
2.2 2値のロジスティック回帰
2.3 多値のロジスティック回帰
2.4 ポアッソン回帰
2.5 生存時間解析
付録 命題の証明
問題21～34
第3章 グループLasso
3.1 グループ数が1の場合
3.2 近接勾配法
3.3 グループLasso
3.4 スパースグループLasso
3.5 オーバーラップグループLasso
3.6 目的変数が複数個ある場合のグループLasso
3.7 ロジスティック回帰におけるグループLasso
3.8 一般化加法モデルにおけるグループLasso
付録 命題の証明
問題35～46
第4章 Fused Lasso
4.1 Fused Lassoの適用事例
4.2 動的計画法によるFused Lassoの解法
4.3 LARS
4.4 Lassoの双対問題と一般化Lasso
4.5 ADMM
付録 命題の証明
問題47～61
第5章 グラフィカルモデル
5.1 グラフィカルモデル
5.2 グラフィカルLasso
5.3 疑似尤度を用いたグラフィカルモデルの推定
5.4 JointグラフィカルLasso
付録 命題の証明
問題62～74
第6章 行列分解
6.1 特異値分解
6.2 Eckart-Youngの定理
6.3 ノルム
6.4 低階数近似のスパースの適用
付録 命題の証明
問題75～87
第7章 多変量解析
7.1 主成分分析(1)：SCoTLASS
7.2 主成分分析(2)：SPCA
7.3 K-meansクラスタリング
7.4 凸クラスタリング
付録 命題の証明
問題88～100
参考文献
索引
1.1 線形回帰
1.2 劣微分
1.3 Lasso
1.4 Ridge
1.5 LassoとRidgeを比較して
1.6 elasticネット
1.7 λの値の設定
問題1～20
第2章 一般化線形回帰
2.1 線形回帰のLassoの一般化
2.2 2値のロジスティック回帰
2.3 多値のロジスティック回帰
2.4 ポアッソン回帰
2.5 生存時間解析
付録 命題の証明
問題21～34
第3章 グループLasso
3.1 グループ数が1の場合
3.2 近接勾配法
3.3 グループLasso
3.4 スパースグループLasso
3.5 オーバーラップグループLasso
3.6 目的変数が複数個ある場合のグループLasso
3.7 ロジスティック回帰におけるグループLasso
3.8 一般化加法モデルにおけるグループLasso
付録 命題の証明
問題35～46
第4章 Fused Lasso
4.1 Fused Lassoの適用事例
4.2 動的計画法によるFused Lassoの解法
4.3 LARS
4.4 Lassoの双対問題と一般化Lasso
4.5 ADMM
付録 命題の証明
問題47～61
第5章 グラフィカルモデル
5.1 グラフィカルモデル
5.2 グラフィカルLasso
5.3 疑似尤度を用いたグラフィカルモデルの推定
5.4 JointグラフィカルLasso
付録 命題の証明
問題62～74
第6章 行列分解
6.1 特異値分解
6.2 Eckart-Youngの定理
6.3 ノルム
6.4 低階数近似のスパースの適用
付録 命題の証明
問題75～87
第7章 多変量解析
7.1 主成分分析(1)：SCoTLASS
7.2 主成分分析(2)：SPCA
7.3 K-meansクラスタリング
7.4 凸クラスタリング
付録 命題の証明
問題88～100
参考文献
索引
