多層パーセプトロンの時代が再び到来？
最近の機械学習の研究領域で特に気になっている分野の一つに、多層パーセプトロン系があります。
多層パーセプトロンは1980年代後半頃に開発されたモデルで、現在の深層学習のベースになっています。ただし、過学習と勾配の消失という2つの致命的な問題があることが発覚し、2012年の深層学習ブームが到来するまでは他のモデルに機械学習のメインストリームを明け渡していました。
2021年現在の機械学習モデルは、非構造データ（自然言語、画像）ではBERTなどのTransoformer、構造データ（エクセル的な表形式）には勾配ブースティングモデルが筆頭として挙げられると思います。しかし、最近の研究で、多層パーセプトロンも工夫しだいで両モデルと同程度の精度が得られる可能性[1, 2]が指摘されています。特に、後者の構造データはXGBoostやLightGBMなどの決定木系のモデルの一強状態ですが、ここにニューラルネット系列のモデルが食い込んでくると非常に面白いと思ってます。
ニューラルネットを実際の業務で利用する際の最後のハードルになりそうなのは、その解釈性の低さです。決定木系であれば、Feature Importance、Partial Dependence Plot、Shapなどからインタラクティブに施策に活用できそうな知見を比較的得られやすいのが実務者が好む大きな理由になっています。ニューラルネットでの解釈を強力にサポートする方法がないか、これからも調査研究を進めていきたいと思ってます。
大友
参考論文
[1] Pay Attention to MLPs
[2] Regularization is all you Need: Simple Neural Nets can Excel on Tabular Data
