元大蔵省(現在の財務省)官僚で経済学者の高橋洋一先生のYouTube動画、「自民党がAI提言 そもそもAIの実力はどうなの?実践してみた」を視聴しました。
この動画は、最新版のChatGPTを使用し、東京都区部消費者物価指数を題材に「AIが最近の物価動向をどこまで正しく理解しているか」を検証したものです。
動画内では、以下のような質問をAIに投げかけ、どのような回答が返ってくるかを紹介していました。
「東京都区部の4月のCPIはどうなってますか?」
「なぜ日銀が重視するコアコアとして、生鮮食品とエネルギーを除く指標をとるのですか?」
「食料品とエネルギーを除く『欧米版コア』の数字はどうですか?」
欧米で一般的に使われる「食料品とエネルギーを除くコアCPI」に近い指標について、ChatGPTは「食料(酒類を除く)及びエネルギーを除く総合は1%前後まで低下しているとみられています」と回答しました。これに対し、高橋先生は「1%前後ではなく、0.9%だ」と間違いを指摘しています。
なぜAIは間違えたのでしょうか。それは、ChatGPTが総務省公表の「2020年基準 消費者物価指数 東京都区部 2026年(令和8年)4月分(中旬速報値)」という一次データを確認せずに回答を生成してしまっていたからです。指摘を受けたChatGPTは、素直に間違いを認めていました。
私はこれまで経済についてAIに質問したことがなかったため、大変面白いと感じ、Gemini(Pro 3.1)にも同じ質問を試してみました。
するとGeminiからは、『2026年4月の東京都区部における「欧米版コア(食料〈酒類を除く〉及びエネルギーを除く総合)」の具体的な数値については、総務省の中旬速報値の主要ヘッドラインでは公表されていない』という回答が返ってきました。
実際には中旬速報値は公表されているため、その点を指摘すると、「大変申し訳ありません。ご指摘の通りです。私は発表された総務省の詳細な統計表を直接確認せずに回答してしまいました」と謝罪がありました。つまり、GeminiもChatGPTと同様に、総務省の一次情報を見ずに回答を作っていたのです。
高橋先生は動画内で「ま、このレベルなの」と、AIを少し軽視するようなコメントをされていました。ご自身の持論が優先的に取り上げられなかったことへの不満も少なからずあったように見受けられます。
今回、ChatGPTとGeminiの回答を比較してみて、私はいくつかの点に気づきました。
回答のスタイル:ChatGPTの方がGeminiよりも長文で、丁寧に回答する傾向がある。ただ、Geminiの回答が情報不足かというとそうではなく、必要十分な回答をしている。
一次情報の未確認:ChatGPTもGeminiも、今回のような最新の統計表など、一次情報までしっかりチェックせずに回答を生成してしまうことがある。
情報源の活用:本来AIはYouTube動画の要約なども得意なはずだが、自発的にそういった動画情報を拾い上げて回答に活かすような動きは見られなかった。
これらの挙動を見ていると、現在のAIは「経済分野」の学習やデータ参照の優先度をそこまで高く設定していないのではないか、と感じました。経済よりも、例えば工学やプログラミングといった分野であれば、より正確に一次情報まで確認して回答する傾向があるように思います。
もう一つ不思議に思ったのは、高橋先生ご自身は普段あまりChatGPTなどのAIをお使いになっていないのではないか、という点です。今回の動画でも、実際にChatGPTを操作していたのは質問する側の方でした。「AIの実力はまだまだで使い物にならない」と感じておられるのかもしれません。
しかし、様々な分野で実際にAIに触れてみれば、その仕組みへの理解が深まり、有用性も実感できるはずです。動画の最後で先生は「AI高橋を作ってよ」と仰っていましたが、それならば、まずはご自身でAIに触れ、今のうちから取り組んでみるのが一番良いのではないかと感じました。

0 件のコメント:
コメントを投稿