戯言
大工が鉋にどれだけこだわっていても、設計業者は良い建物が完成すればそれで良いと考えるだろう。
もちろん、道具を大事にする大工の意識に敬意を払う者もいるだろうし、反対に道具にこだわった結果成し遂げた成果を誇る大工もいるだろう。その上で、彼らの間には最適化される目的変数に違いが存在する。
似たようなアナロジーで、統計家たる私は統計手法の適切な運用を通した成果にこだわる一方で、
ビジネスマンたちは、適用の精度は据え置きでも、その結果で成すべき意思決定方針とその価値を重視する。
この違いには、優劣が存在するわけではない。ただ、報酬となる変数とその優先度の重み付けが異なるだけである。
結論
ビジネス課題の難易度と統計解析の複雑度は正比例していない。仮説としては指数関数的な連動性を持つものと考えている。
こういう関係性にあると、9割型の課題はクロス集計から枯れた手法(一般化線形モデルまで)で解決できるため、
統計家・データアナリストは、ビジネス場面において手法面での専門性を深めるモチベーションはかなり低い。
例えば一般化線形混合モデルや、階層ベイズモデルなどは別にスキルとして習得しなくても、何なら興味がなくても立派に仕事ができるのである。
このことに「ぐぎぎ、俺の専門性が必要とされていないなんて」って思う人もいるだろうが、そうなんです。いらないんです。
専門手法のインプットより、枯れた手法をいろんな問題に適用するアウトプットと器用さのほうが需要として高いので、そういう実践者として割り切れる人間が楽しいのだと思う。
蛇足
解決の困難なビジネス課題は確かに存在する。例えば、自然言語を通して人間と全く遜色ない形で文章を書いたり、質問に答えたりするという問題は、
世界中の研究者・技術者が開発した「大規模言語モデル」によって解決される。
大規模言語モデルはパラメータ数が多く、アルゴリズムも(少なくとも重回帰分析よりは)複雑であることは知っている人ならば知っている。
単位がB(10億)で略されているから実感を持ちにくいが、普通に考えて100億を超えるパラメータを扱ったモデルは複雑である。
しかし同時に、この傾向は非常に局所的であって、一定の難度までは、ほとんど統計解析手法の難易度は上がらない。要は「枯れた手法」と呼ばれるもので十分対処可能である。
これは大規模言語モデルの主要な応用先がチャットボットにとどまっていること、既存のルールベースのチャットボットの一掃が実現できていないことからも示唆される。
また、難しいビジネス課題においても、適切な部分問題に分割することで、比較的易しい統計解析手法によって解決できる場合が大半だと思われる。
ChatGPTを通じた業務効率化が断念された事例が当時話題になったが、これはChatGPT(大規模言語モデル)の限界以上に、顧客の課題の適切な理解と、問題の適切な分割、それぞれに対する適切な解法の実装が両立しなかったことのほうがより根本的な要因であったと考える。
こうした機械学習や生成AIの手法が、実際のビジネスで適切に機能しない背景や理由には「解釈可能性」が挙げられるし、その点の批判が正当でないとは思われないが、より根本的には、ビジネスの問題の難易度と解決手法の複雑度の関係性が非線形であること、部分問題を適切に設定できれば、機械学習を用いずとも効率的に解けてしまうということのほうが要因として大きいのではないかと思う。
ビジネスにおいても「こんな複雑なコードを書いた」とか「これだけ難しく考えた」ことは、
実をいうと当事者にはどうでもよく、それらの結果がどれだけ金になるのか、コストが削れたのかが目的変数なので、
その辺に良い意味での諦めを持たないとモチベーションが上がらないことにほかならない。
希望
ただ、価値を見出してくれる環境がないわけではないと思うので、探していけばよいのだと思う。
