1. 記事カテゴリー「機械学習・最適化のおすすめ書籍 📖 (ml-opt-books)」の概要．
記事カテゴリー「機械学習・最適化のおすすめ書籍(ml-opt-books)」のトップページです．このカテゴリでは，機械学習 (machine learning) や 最適化(optimization) (※ 非機械学習の最適化や，ベイズ推定なども含む)の書籍のうち，管理人がおすすめする書籍を紹介しています．
(※ 2025/6月追記) 一方で，当サイトが狙いとしていない「機械学習/パターン認識専門の初心者層(大学生や，情報I,Ⅱで興味が高くなった高校生)」にも役立つ「初級者向けの書籍」も，このml-booksカテゴリーで取りあげ始めることにします．
このトップページでは，本カテゴリーの記事を一覧化しています．また，「個別の記事化はしていない機械学習・最適化の書籍」についても，このページ上で要約をまとめて短く紹介をしています．
当サイトの用語wikiなどでとりあげている内容は，「ディープラーニング登場以降の技術(CNNやTransfomerなを使った応用)」が中心です．このカテゴリで紹介する機械学習の書籍も，その内容に深層学習(deep learning)全般を内包しているものも多いです．
ここで言う「初級者」とは，情報系や機械系学科の3年~4年生の大学生あたりの方で「機械学習 基礎」「パターン認識入門」みたいな授業を受講している駆け出しの学生や，大学院では関連授業も多少受けたたけど，会社で仕事で使うので，大学院の大学院の内容を復習している「再入門者」などを意識しています．
「パターン認識」が専門の人間むけの書籍でなく，データサイエンティスト的な「分析業務」をされている方々向けの「データサイエンス」書籍も，このml-opt カテゴリの記事で紹介したいです．
ちなみに，ディープラーニングを用いたコンピュータビジョンや自然言語処理などの書籍は，以下の別カテゴリー「cv-dl-books」で紹介しています：
コンピュータビジョン，ディープラーニングのおすすめ書籍(cv-dl-books)のトップページ
2. 初級者~中級者向けの，機械学習おすすめ書籍
2.1 ビジュアルテキスト パターン認識 (2021年)
- ビジュアルテキスト パターン認識 荒井秀一 (2021) 森北出版：
3. 中級者以上向けの，おすすめ機械学習 書籍
3.1 「機械学習プロフェッショナルシリーズ 」からのおすすめ書籍
機械学習のための連続最適化 (機械学習プロフェッショナルシリーズ) 金森敬文 , 鈴木大慈, 竹内一郎 (著), 佐藤一誠．
- 機械学習向けの連続最適化アルゴリズムについて，入門する，そして深く理解するのに「最適」な本．SDGやその派生アルゴリズムについても，みっちり知ることができる．
- 理論系の研究者陣が書いた本で，初心者向けの優しく直感的に書く配慮は少ないので，(最適化や機械学習理論を専門としない)初心者がいきなり読みこなすのは難しいハードルが高い内容(プロフェッショナルシリーズなので当然)．
- 少し惜しいのは，ベイズ最適化や離散最適化が完全無視されていて本書では登場せず，お互いの関連性や，損得・選択を全然学べない点．
- また，Amazonのレビューにもあるように，著者間でNotationが統一されておらず，章をまたぐと読みづらい．添え字などのアルファベット割り当ても，応用系の私からすると読みづらい「個性的で別業界的な割り当て」が散見される．あとで特定の復習したい項目を久しぶりに読み返すと，それらのNotationのばらつきに惑わされ読みづらいのは，個人的にはめんどうな点．(とはいえ，内容稀少価値の高いものが多いが... )
1. Kevin Patrick Murphy氏の「ベイズ・機械学習」の教科書
1.1 PML-book の新作2冊 (2022基礎編, 2023上級編)
Kevin. Patrick Marphy氏による「ベイジアン視点で」まとめた機械学習・ディープラーニングのテキスト2部作「」です．
前作mlapp(1.2節)の続きで，その続編が2部作「Probabilistic Machine Learning: An Introduction, (基礎編, 2022年) とProbabilistic Machine Learning: Advanced Topics , (上級トピック編：2023年) 」の上下巻構成で，2022年〜2023年に出版されました：
- Probabilistic Machine Learning: An Introduction, (基礎編, 2022年) Kevin. P. Murphy, MIT press, March, 2022. (著者による書籍サイト)
- うちのサイトでも，新たに指定参考書の１つに指定した本です．
- 前作 (1.2節)と比べて，新規に追加された「Deep Learning系の各章」が非常に簡潔でわかりやすいおかげで，書籍の全体像の見晴らしが良くなっています．
- 本書の後半「Part V Beyond Supervised Learning」に、まとめられているような，超大規模事前学習(※ GPT や BERTにT5など。15.7章)や、対照学習(Contrastive Learning, CLIP学習など)に，Few-shot Learning/Meta Learningなどは、日本語の類似書籍であまり見ない上に、解説も簡潔でわかりやすいです
- よって、これら最近のトピックの初心者や，学ぶ機会を得づらい方々には、本書の購入価値は高いです
- 非常に高価な専門書・テキストですが，前作同様Patrick氏の解説は，(※英語さえ得意なら)超絶わかりやすいです
- 本書読んだり，手元にレファレンスで置いておくと，機械学習的な目線の見通しが良くなるので，(博士持っているくらいの人ほど)お釣りが来るくらいです．
- 一方で，2022年の本書発売の時点では，これらの「大規模事前学習・対照学習 (しいてはLLMや画像生成AIなど)」が、ビジネス応用として今後成功するか」は，全く持って未知数です．
- 本書の後編である，以下の「Advanced Topis 上級トピック編」で取りあげられているないようでも，これは同じでありあくまで「論文ベースでの成果」が「ベイジアン視点で」まとめられている教科書であることには注意してください．
- Murphyさんはとにかく「説明が分かりやすい本」を書くゆえ，「学者肌で実践やビジネスの感覚・経験がない人」ほど，「この本で技術的な話を読んだけで，ビジネスで無双できる気になった」となりやすいゆえ，注意してください(※これが出来ない，現場勘ない人や会社や研究者ほど，国メディアの煽りや東大閥につられて，大規模生成AIビジネス等に大金突っ込んで，盲目に突進して後戻りできなくなっているはず...)。
- Probabilistic Machine Learning: Advanced Topics , (上級トピック編：2023年) Kevin. P. Murphy, MIT press, 2023. (著者による書籍サイト)
- 、(前作同様に)近年のディープラーニング中心・大規模データになってきた機械学習を、以下の構成により、ベイズモデル目線で綺麗にまとめている教科書です。
- 1. Fundamentals
- 2. Inference
- 3. Prediction
- 4. Generation
- 5. Discovery
- 6. Action
- 米国大学の授業でも使われる本ですので，今回も機械学習(とくにベイジアン)に強い教員や上司・同僚がそばにいる人でないと，少し難解な内容です．(他の書籍よりは，すんごくわかりやすいし，章構成も優れているものの)
- 、(前作同様に)近年のディープラーニング中心・大規模データになってきた機械学習を、以下の構成により、ベイズモデル目線で綺麗にまとめている教科書です。
※ 前作(1.2節)は，各アルゴリズムの解説がより細いものであったため，コンパクトさにかけており，書籍全体の見晴らしは悪かったです．これが，私が「本ではなく，WebサイトでWikiにするべきだ」「各ページに分離して用語単位の記事の構成にすると(wikipedia同様に)各用語ページの内容を詳しくしても読みやすいはず」と考えるに到った理由でもあります(詳しくは、 About | サイトと管理人について を参考．ただし、私のこのサイトは，ホリは深くできておらず，やはり書籍で書いた方が深掘りはしやすいと思います (ネットコンテンツだと検索性や便利さでは勝つわけですが)．
1.2 PML-book 過去のもの (2013)
- Machine Learning: A Probablistic Perspective Kevin. P. Murphy
1.1の2冊を購入するのであれば、過去作の2012はあまり必要ないです。しかし、かなり多めの学習データに頼る、2015~2020年頃以降のディープラーニング以前の統計的機械学習の知識は、本書を買って読むことで得やすいです．
とはいえ，2020年以降の時代においては本書の内容は「古典的」なので、学生や新人の方には、本書まで読むと、時間が勿体ないです．学生だと大学院の画像認識・ディープラーニングの講義や、講義で指定されている教科書を，しっかりこなすことを最優先しましょう．( つぶさには読まずに所持だけはしておき，必要な時だけ、必要となる場所をしっかり読む用途であれば，購入自体は止めません．)