Information Geometric Optimizationを⽤いた埋め込み型特徴選択

斉藤翔汰,白川真一:Information Geometric Optimizationを⽤いた埋め込み型特徴選択,進化計算シンポジウム2017,pp.77-84 (2017).

Abstract

高次元データを取り扱う機械学習において,特徴選択は汎化性能や解釈性の向上のメリットがある.機械学習における特徴選択手法は,学習前に特徴を選択するフィルタ法,学習と同時に特徴を選択する埋め込み法,学習結果を利用して特徴を選択するラッパー法の3種類に分類することができる.この中でも,埋め込み法は計算コストと性能の両面でバランスがよく,有望なアプローチである.本研究では,ブラックボックス最適化の統一的なフレームワークであるInformation Geometric Optimization (IGO)を応用した埋め込み型特徴選択手法を提案する.提案手法では,特徴の選択をベルヌーイ分布から生成されるバイナリ変数で決定する.そして,その分布のもとでの期待損失関数を目的関数とし,分布パラメータと機械学習モデルのパラメータを勾配法によって同時に最適化する.さらに,確率分布の収束を加速するためにベータ分布を事前分布として導入することを提案する.埋め込み法の代表であるLassoによる特徴選択が線形モデルにしか適用できないのに対して,提案手法はニューラルネットワークなどの非線形モデルとも容易に組み合わせることができる.実験では,機械学習モデルにDeep Neural Networkを用いた場合の提案手法の性能を評価する.