「能力が低いほど自分を過大評価する」というダニング＝クルーガー効果への反論がさらなる反論を呼ぶ

ダニング＝クルーガー効果は「実力の低い人は自分の実力を過大評価する傾向がある」という認知バイアスについての仮説です。この効果が本当に存在するのかについて、政治経済学者のブレア・フィックスさんとデータサイエンティストのダニエル・アンダーソンさんがそれぞれの意見をブログに投稿しています。

The Dunning-Kruger Effect is Autocorrelation – Economics from the Top Down
https://economicsfromthetopdown.com/2022/04/08/the-dunning-kruger-effect-is-autocorrelation/

I can’t let go of “The Dunning-Kruger Effect is Autocorrelation” | andersource
https://andersource.dev/2022/04/19/dk-autocorrelation.html

◆ダニング＝クルーガー効果とは？
ダニング＝クルーガー効果は、1999年にコーネル大学のデイヴィッド・ダニングとジャスティン・クルーガーが報告したものです。2人はたくさんの人にスキルテストを受けさせ、受験者に「自分は何番目だと思う？」と能力を自己評価させました。

その結果を図示したのが下のグラフで、縦軸が順位のパーセンタイル値、横軸が受験者をスコアの上位から25％ずつ4つのグループに振り分けたものとなっています。●印でプロットされた線は実際のスコアを示しており、■印でプロットされた線は受験者の自己評価を示しています。

テストのスコアが低い「Bottom Quartile」に分類された人ほど●よりも■の位置が高くなっており、自己評価が過大になっている傾向が観察できます。

◆「ダニング＝クルーガー効果は存在しない」という意見
ブレア・フィックスさんは、「ダニング＝クルーガー効果は人間の心理とは関係なく、単なる自己相関にすぎない」と述べ、その根拠として乱数からダニング＝クルーガー効果を見いだす手順を示しています。

自己相関とは、変数同士が共通の因子を持つと相関関係が発生するというものです。例えば下図のようにxとyという2つの変数をランダムに設定します。

ここで、「z＝x＋y」となる変数zとxとの相関関係を調べると、下図のようにきれいな相関関係が出現します。このようにzの中身が明らかな場合は当たり前すぎてばかばかしく聞こえてしまいますが、こうした共通因子の存在に気付かない場合に問題が起きるとのこと。

ダニング＝クルーガー効果の存在を示した下図において、実際のスコアを「x」とすると、縦軸・横軸ともに実際のスコアをベースにしているので「Actual Test Score」の線は単に「xとx」をプロットしたグラフということになります。

一方「Perceived Ability(知覚能力)」の線は各グループの自己評価を元にプロットされているため、自己評価を「y」とすると「yとx」をプロットしたグラフです。

ダニングとクルーガーは2つの線の差である「自己評価と実際のスコアの差」に着目してダニング＝クルーガー効果を提唱しました。「自己評価と実際のスコアの差」をyとxで表すと「y - x」となります。

「実力の低い人は自分の実力を過大評価する傾向がある」というダニング＝クルーガー効果は、実のところ「y - xはxが小さくなるほど大きくなる」という当然の内容を述べているだけだとフィックスさんは主張しました。

フィックスさんによると、乱数をベースにしてもダニング＝クルーガー効果を見いだすことが可能とのこと。まず、下図の通り実際のスコアと自己評価を完全にランダムに設定します。

上記のデータを元に「自己評価と実際のスコアのズレ」を計算すると、下図のとおり「実際のスコアが低い場合ほど自己評価が高くなる」という結果が出ます。

ダニング＝クルーガーと同じ表現にすると下図の通り。完全にランダムに設定されたデータから、あるはずのないダニング＝クルーガー効果が観察できてしまいます。

この問題に気付いたのはフィックスさんだけではありません。例えば、カリフォルニア州立大学の教員を務めていたエドワード・ヌーファーさんも同様に問題に着目しており、自己相関を統計的操作によって消去してダニング＝クルーガー効果が観察できるかを実験しました。結果は下図の通りで、実力の高低によって自己評価との差が過大・過小になる現象はみられなかったとのこと。

こうした根拠によって、フィックスさんは「ダニング＝クルーガー効果は人間の心理ではなく統計の誤りから発生する」と述べ、「未熟な人は自己認識能力も未熟」というダニング＝クルーガー論文に対し「論文の著者自身が未熟なうえ、未熟さを自覚できていなかった」と皮肉っています。

◆「乱数データでダニング＝クルーガー効果が観測できることはダニング＝クルーガー効果の存在を否定しない」という反論
ダニエル・アンダーソンさんはフィックスさんの意見について、乱数からダニング＝クルーガー効果が見いだせるのは「人間は自分自身を全然正しく評価できないから」、言い換えると「人間の自己認識能力が乱数に近いから」であり、ダニング＝クルーガー論文の欠陥ではないと主張しました。

アンダーソンさんは「仮に人間がかなり正確な自己評価をできるとしたら」という仮定をおき、自己評価と実際のスコアの間に相関関係が発生するようなデータを生成しました。

ここで、フィックスさんが「y - x」をプロットした時と同様に、「自己評価と実際のスコアの差」を縦軸に取ります。「y - x」と「x」の相関関係を調べることになりますが、「y - x」は推定値と実際の値の差である残差を表しており、統計学上特に問題ではないとのこと。結果は下図のようになり、自己相関があるにもかかわらず相関関係がなくなってしまいます。

これはダニングとクルーガーの実験結果とは矛盾しており、つまりアンダーソンさんの「仮に人間がかなり正確な自己評価をできるとしたら」という仮定が誤っていたことを示しています。アンダーソンさんはダニング＝クルーガー効果の有無には踏み込みませんでしたが、このように自己相関があっても人間の心理を統計で明らかにすることは可能であり、少なくとも乱数からダニング＝クルーガー効果が観察できる事はダニング＝クルーガー効果を否定する根拠とはならず、ダニング＝クルーガー効果を発見した論文の欠陥を指摘するものでもないと述べています。

アンダーソンさんはこうした意見を述べた上で、フィックスさんがダニングとクルーガーのことを「未熟さに気付いていない」と言ったり、ニュースサイトのHacker Newsのコメント欄で人々が簡単にフィックスさんの論に飛びついたりした事に対して怒りをあらわにしました。

◆フォーラム開設中
本記事に関連するフォーラムをGIGAZINE公式Discordサーバーに設置しました。誰でも自由に書き込めるので、どしどしコメントしてください！Discordアカウントを持っていない場合は、アカウント作成手順解説記事を参考にアカウントを作成してみてください！

• Discord | "自己評価高め？低め？" | GIGAZINE(ギガジン)
https://discord.com/channels/1037961069903216680/1178989696521601064