統計モデリングの「解釈」を価値にする営為は斜陽なんじゃね？という話
はじめに
これは後々ブログに書きますが、統計モデルによる現象の「説明」とかいうものにすがる会社に未来はないと思いますよ。
— Kien Y. Knot (@0_u0) 2018年11月27日
というお話(ポエム)です．
※ ブログ執筆中に「もしかして『説明』と『解釈』をまぜこぜにしてませんか？」という心の声がしたので，そこをうまく切り分けてまとめられればと思います．
【2018年12月1日22時02分追記】
一回公開したところ「仮定について言っただけでわかったつもり扱いか」「客観的・定量的に評価することの出来ない対象を、それでも評価・解釈したいから、ドメイン知識で緩い仮定(ここが議論の余地有)を加えて定量評価しようって取り組みは、個人的にはそこそこ価値があると思う」，あるいは数学的な「『説明』は価値があるのではないか」など，いろいろ批判・意見をいただきました．ありがとうございます．確かに「説明」は，数学的な保証があるという意味では「説明」は評価のできる価値たりうるので，コレは完全に僕の主張が誤りです．
『統計モデリングによる「説明」とその「解釈」を価値にする企業は斜陽なんじゃね？という話』
から説明を削除して
『統計モデリングの「解釈」を価値にする営為は斜陽なんじゃね？という話』
に直した上，中身も「説明」と「解釈」についてちゃんと区別して話を進めたいと思います．
なんで今さらこの話なの？
データ界隈でこの人を知らない人はいないでしょう．
ギロッポンのドン六本木のデータサイエンティスト，TJO氏．今回は上記記事でもある「モデルによる説明」に関わる話です．
ここ5～6年間研究や仕事を通じ，データ界隈の皆様と交流を深める中で「統計モデル*1をどういう側面から評価するのか」ということにそこそこ意識を向けてデータに向き合ってきました．しかしいざ機械学習の世界に足を踏み入れると個人的な力量の無さ，更には変な「解釈能力」によってかなりネジ曲がったデータ分析の使い方をしてきてしまい，データサイエンティスト市場での価値がほぼ0なんだということに焦っています．
俺あんま……すごくないな……
とはいえ統計モデルでお金を稼ぐなら，統計モデルと人の在り方を考え直すことは自分の未来を考える上で重要なんじゃないかと思い，整理してみようかなあと思います．
数式とかそんなのはないです．
統計モデルの「説明」と「解釈」とは？
TJO氏は統計モデルによる「説明」について
……「検定」であれば、例えば平均値の差に関するt検定であればA群とB群との差があるかどうかを「説明」することになるし、ANOVAであれば群をまたいで実験条件間での差があるかどうかを「説明」することになります。他の例えばカイ二乗検定にせよ、順位和検定にせよ、やはり何かしらを「説明」する手法です。 そして重回帰分析（正規線形モデル）を含む線形モデル族ではモデル推定の結果として偏回帰係数（パラメータ）が求まるわけですが、それらのパラメータは個々の説明変数にどれくらいの目的変数への影響度があるかを「説明」するものでもあります。
という風に述べております．
私は冒頭のツイートをしたときに，正直この意味で「説明」ということばを使っていなかったので， じゃあ私が抗いたいこと……疑問に思っていることってなんだろう……と思った結果，「解釈」なんじゃね？という結論に至りました．
さて，この記事におけ概念をそれなりに定義しておきます． すなわち，主要な統計モデルと，その「説明」，統計モデルで得られた結果の「解釈」を以下のように定義します．
- 統計モデルは「データ」を用いて何らかの結果を返す構造である
- 統計モデルによる「説明」とは，データの特徴を何らかの指標(平均の差，回帰係数，あるいはp値など)によって見出すこと
- 統計モデルで得られた結果の「解釈」とは，統計モデルによる「説明」がどのようなメカニズムでもたらされたかを，統計モデルの外の情報を含めて推論すること
例えばt検定の例を挙げます*2．A群とB群との間に差があるかどうかを「説明」します．そして差があった，または差があるとは言えなかった*3という「説明」に対して「なぜこの結果が得られたのか」ということを想像や推論で補完する，というプロセスを「解釈」と呼ぶことにしよう，という方針です．
統計モデルの目的: 「予測」と「分類」
統計モデルの主要な目的は，データによる「予測」と「分類」であるということを否定されることはないかなあと思います．
「AI」とか機械学習などを使う際，「AIってなんでその結果が出たのかわからないんでしょ？」とかおっしゃるわけです*4． この「なぜ？」にはデータで答えられることは経験上*5ほぼありません．
彼らの「なぜ？」に答えるためには「入力データがいかにして得られたのか」と「そのデータがどのような変換によって目的変数の予測値(あるいは分類結果)を算出しているのか」という2つの情報が必要です．
後者については，ある種説明ができる部分がありましょう．回帰分析であれば回帰式を示した上で「このような1次関数を想定して，その係数を計算しています」で(理解のある人には)わかってもらえます*6
前者は少なくとも「統計モデル」という構造ではすでにデータは「ある」ものなので，それが「なぜ，あるのか」に答える事はできません． 「データがなぜ，あるのか」に答えるためには，「データを得るための方法」を明確に設計しなければなりません． 実験計画法はその方法体系です．実験計画法に丁寧に則すれば，あるいは「なぜそのデータが得られ，どのように変換されて結果が得られたのか」について妥当な解釈をもたらすかもしれません． が，それにも限界がありそうだというお話があります．知る人ぞ知る以下のブログです．
ここでは線形モデルが「本来存在しない(存在するべきでない)属性が強い効果を持つことで，不当に良い(悪い)評価値を予測してしまう」ことに関連し，「解釈可能なモデルの限界」についてちょっとしたお話があります． この背景にはこんな事件がありそうですね．
一時期有名になりましたが，ECサイトの採用プロセスでAIを使ったら，結果として「差別」が起きたといいます． 統計コンサルさんの「ガラスの天井」説を援用すれば，入力されたデータではジェンダーに関する何らかの現状(男性よりも女性のほうが管理職になりづらい，賃金が低いなど)があり，それをもとに評価すると，予測において「差別」が起きるというロジックです．
統計コンサルさんの記事では「解釈しやすい統計モデルを作る」と，その解釈による誤謬が生じやすいことが懸念されています．
解釈のしやすい統計モデルを優先すると，往々にして「精度」を度外視します．精度を度外視してでも「なぜこの結果が得られたのか」を重視する界隈は存在します*7．
「解釈」を価値にすることの危険性
ここまでで約3000字らしいですがここだけ読めば別にいいです．
タイトルの通り「統計モデルによる『解釈』を"メインの"価値にする」という営為は，個人的には価値があるとはいえない将来性のある行動とはいえないと考えています．
根拠は「『解釈』の妥当性を客観的・定量的に評価できない」ことが大きいです． 例えば上記の例で「女性が男性よりも評価が低い」という「説明」が，「ガラスの天井があるからこのような『差別』が起きている」という「解釈」ができた場合「ガラスの天井が本当に存在するか」という問いは賛否両論でしょう*8
こうした正しいかどうかを評価できない「解釈」を価値にしたモデリングは以下の
- 丁寧に計画されていないデータ分析をしても何かしら「意味があるように」見せられる
- 顧客の曖昧な課題に曖昧なまま答えられる
という分析側に都合が良いことはある一方
- アドホックな解析しかできない(≒ 継続的な収益源とならない)
- 顧客の課題を改善する意思決定を，本当にもたらすかどうかを評価できない
- 曖昧な顧客の課題が明らかにならないままクローズする
という都合の悪さがあり，解釈ワークに時間を割くわりにはコスパが良くないというわけです．
Twitterでのコメントでも「解釈そのものは価値がある場合もあるのでは」というお話もありました．自分なりに考えたのですが，「解釈」によって推論されたメカニズムを検証するためにさらにモデルを改良し，それを検証して統計的な「説明」を与えるということ，あるいはその検証結果には意味や価値があると思います．ただ「解釈によって得られた推論」そのものに実質的な意味や価値があるようには思えず，こういう記事を書きました．
さいごに
課題を設定し，データに寄り添い「すぎる」と，どうしても思うような結果が得られず，モデルの「説明」をもたらしたメカニズムについて「解釈」ドリブンな考察・提案というのは，心が弱い私にとっても甘い誘惑です． でもBIツールや機械学習を簡単に実装できるツールが開発される現代から考えれば「回帰分析からエラスティックネットまでド素人でもできる時代」が来るでしょう．それらによる結果がなぜもたらされたのかという「解釈」なんか誰にでもできるというわけです．誰にでもできることは市場の価値としてあまり高いものにはなりません．PCが使えるくらい当たり前のものになるでしょう．
我々データ野郎共はもっと金になるものを「作る」必要があるのかもしれません．
……と言う感じで僕は人生に迷っているわけでした．次はJapanRに行った話をします．
*1:機械学習モデルにも類似のことが言えますが，流儀上「統計モデル」で統一します．
*2:t検定はモデルではなく，帰無仮説として設定した統計モデルの検証方法と言ったほうが良いかもしれません．個々の例は「説明」と「解釈」の違いを説明する目的なので，あまり気にしてませんでした．
*3:ココらへん言い方を間違えると界隈に刺されます．
*4:ときにそんなことを聞く意味がないときにも，とりあえず「なぜ？」と言っておけば優秀だと思われると思い込んでいる人間が経験的にも多いです．彼らのために必要のない説明をしたり，蛇足な分析をする人々はいるわけで．
*5:業界によります．人の行動の結果得られたデータを扱う界隈であればこのへんわかってもらえるんじゃないかなと思います．
*6:分かった気になっている人は「でも係数は[0,1]の間しかとらないはずですよね？」とか「yが正規分布してないとダメですよね？」など回帰分析で何故か蔓延る妥当でない仮定を「必要な仮定」と思い込んで批判してきますが，こういうイライラを書き連ねるだけで記事が3つくらいできるので，今回は割愛します．
*7:僕自身はこれを「数字あそび」と呼びたいところですが
