1.1 物体認識

• 物体認識(Object Recognition)
  • 細粒度物体認識(Fine-grained Object Recognition)

1.2 物体検出

• 物体検出(Object Detection)
  • 物体検出の基本技術：
    • 関心領域 (ROI, Region of Interest)
    • バウンディングボックス: 物体検出の領域矩形
    • NMS (Non-Maximum Suppression, 非極大値抑制)
  • 物体検出で用いるモジュール層
    • ROI Pooling(関心領域プーリング)
    • ROI algin (関心領域アライン)
  • 物体検出の評価指標
    • IoU (Intersection over Union)
    • mAP
  • マルチスケール画像CNNむけ拡張ネック
    • Feature Pyramid Networks (FPN)とその発展型
  • アンカーボックスベース手法：
    • 2ステージ型
      • R-CNN (Region CNN)
      • Faster R-CNN
        • 領域提案ネットワーク
    • 1ステージ型
      • YOLO v1, v2
      • SSD(Single Shot Object Detector)

1.3 意味的分割と実体分割

• セマンティックセグメンテーション (Semantic Segmentation)，意味的分割
  • SegNet: シーン画像向けセマンティックセグメンテーションCNNの初期提案
  • FCN(Fully Convolutional Networks)
  • U-Net: 医用画像セマンティックセグメンテーションのCNN構造
  • PSPNet: 空間ピラミッドプーリングによるシーン画像分割
  • DeepLab シリーズ (v1~v3+): セマンティックセグメンテーション向けの定番ネットワーク構造

• インスタンスセグメンテーション(Instance Segmentation), 実体分割
  • DeepMaskとSharpMask
  • Mask R-CNN

1.4 人物姿勢推定

• 人物姿勢推定(Monocular Human Pose Estimation)（2Dスケルトン姿勢の推定）
  • 古典的な人物姿勢推定[ディープラーニング以前の手法]
  • Mask R-CNN
  • Stacked Hourglass Network
  • OpenPose – Part Affinity Fieldsを用いた複数人物姿勢推定CNN
  • ヒートマップ画像 (Heat Map )
• 画像からの3D人物姿勢推定 (3D Human Pose Estimation)
• 画像からの3D人物メッシュ再構成 (Human Mesh Recovery)．

1.5 動画からの行動理解

• 3D動画表現CNN
  • C3D
  • I3D
  • ResNet3D
• 行動認識 (Action Recognition)
• 行動検出 (Action Detection)
• 行動分割 (Action Segmentation)

1.6 画像対画像変換モデル

• 画像変換(Image-to-Image Translation)
  • pix2pix
  • CycleGAN
• 画像スタイル変換
• 画像補間ネットワーク
• 超解像ネットワーク

1.7 3D点群処理（ディープラーニング ）

• PointNet
• VoteNet

2.1 CNN

• 畳み込みニューラルネットワーク (CNN)
• 正則化 (Regularization)
  • 早期停止
  • バッチ正規化とその発展型
    • レイヤー正規化 (Layer Normalization)
  • L2正則化 (weight decayによる過学習抑制)：
  • ドロップアウト
  • 画像のデータ拡張
  • ラベル平滑化による正則化
• 局所正規化
  • 局所応答正規化(Local Response Normalization)
• マルチスケール化のためのCNN拡張
  • Feature Pyramid Networks (FPN) とその発展型
• CNNバックボーン(backbone)の代表的アーキテクチャの歴史 [まとめ年表]
  • LeNet: 最初のCNN構造
  • AlexNet: 大規模画像認識CNNの元祖
  • InceptionNet: Googleによる画像認識CNN
  • VGGNet: 初期の定番CNNバックボーン
  • ResNet: 残差ブロックを利用した深いCNN
  • DenseNet: Denseブロック内で全層間をスキップ接続するCNN
  • ResNeXt:残差ブロックのワイド化によるResNetの改善版

2.2 表現と層

• 表現(representation)
  • one-hotベクトル [ディープラーニングの文脈で]
• 層間の接続
  • スキップ接続(skip connection)
  • 残差接続(residual connection)

• 層(layers)
  • 全結合層(fully-connected layer)
  • 畳み込み(convolution layer)層とその発展型
    • 1 x 1 畳み込み(1 x 1 Convolution)
    • 深さ単位分解可能畳み込み(Depthwise Separable Convolution)
    • グループ化畳み込み(Grouped Convolution)
    • 転置畳み込み (Transposed Convolution)
    • 膨張畳み込み (Dilated Convolution)
  • バッチ正規化(Batch Normalization)とその発展型
  • プーリング層(Pooling Layer)とその発展型
    • グローバル平均プーリング(Global Average Pooling)
    • 平均プーリング(Average Pooling)
    • インスタンス領域内プーリング：
      • ROI pooling(関心領域プーリング)
      • ROI align (関心領域アライン) for Mask R-CNN
    • 最大値プーリング(Max Pooling)
    • 空間ピラミッドプーリング層 (SPP)とその応用例や発展型
  • 活性化関数(activation function)[ディープラーニング向け]
    • 中間層むけ：
      • ReLUとその発展型
        • GELU(Gauusian Error Linear Unit
    • 出力層むけ：
      • softmax 関数
      • シグモイド関数
      • tanh 関数
  • 埋め込み層(Embedding Layer) [自然言語処理の文脈で]
  • 出力層と損失関数:
    • CNNの損失関数(Loss Function) その(1): 交差エントロピーとMSE

2.3 学習方法

• 重み初期化(weight initializaiton): Xavier初期化と He初期化
• 重み共有
• 勾配消失 (in ディープラーニング)とその対処法リスト
• SGD（確率的勾配降下法）とその発展型
  • Adam, AdaGrad, RMSProp
• 学習方法(learning-method)：
  • スクラッチからの学習(learning from scratch)
  • 少量のラベル付きデータからの学習
    • データ拡張(Data Augmentation, データ増大)
    • 転移学習 (Transfer Learning) [深層学習・CNN向け]：
      • 事前学習 (pre-training)
        • 教師あり事前学習(Supervised pre-training)
        • 自己教師有り学習(Self-supervised learning)
      • ファインチューニング (fine-tuning, 精密調整)
      • ドメイン適応(Domain Adaptation)
    • 半教師あり学習(Semi-supervised Learning)
    • 自己教師あり学習
• end-to-end学習(端対端学習)

2.4 RNN，生成モデルと系列変換

• 再帰型ニューラルネットワーク(RNN)
  • LSTM(Long Short-Term Memory)
  • GRU(Gated Recurrent Unit)
• RNNLM(再帰型ニューラル言語モデル)
  • ビームサーチによる系列デコーディング
• 系列対変換とアテンション(注意)機構
  • seq2seq
  • seq2seq with attention
  • Transformer：アテンション中心構成の系列変換向けEncoder-Decoder

2.5 深層生成モデルと画像変換

• 深層生成モデル(Deep Generative Model)
  • オートエンコーダ(Autoencoder)による次元削減
  • VAE(変分オートエンコーダ)
  • GAN(敵対的生成ネットワーク)
    • DCGAN

2.6 距離学習

• ランキング学習ネットワーク：
  • Siamese Network
  • Triplet loss研究用語