AIの回答を信じすぎる危険性｜正しいAIの答えが、間違った意思決定を生む理由

AIを使えば、いつでも合理的で正しい答えが得られる。

そんな感覚を持つ人が、少しずつ増えているように思う。

実際、現在のAIは非常に便利だ。文章を書いたり、情報を整理したり、アイデアを出したり、複数の選択肢を比較したりすることができる。専門的なテーマであっても、ある程度の条件を入力すれば、短時間で筋の通った回答を返してくれる。

私自身もAIを日常的に使っているし、その能力を否定するつもりはない。

しかし最近、あるプロジェクトに関わる中で、AIを意思決定に使う際の、非常に重要な問題を実感した。

それは、

AIの回答そのものが間違っているわけではないのに、その回答によって、これまで時間をかけて構築してきたものが、簡単に否定されてしまうことがある

ということだ。

これは「AIは信用できない」という話ではない。

むしろ、AIが優秀だからこそ起こる問題だと思っている。

AIは、その人が積み上げてきた時間を知らない

あるプロジェクトを進めるとき、外から見ると一つの作業に見えても、その裏側には多くの判断が積み重なっている。

名称を決める。

WEB上での表記を統一する。

情報を検索しやすい状態にする。

SNSとの導線を考える。

発信する内容を整理する。

今後どのような相手に情報を届けるのかを考える。

必要な資料を作る。

将来的な展開を想定して、現在の選択を決める。

こうしたことは、一つひとつだけを見れば、それほど難しい作業には見えないかもしれない。

しかし実際には、これらを相互に関連させながら、長い時間をかけて一つの方向に積み上げていく。

その過程では、「なぜこうしたのか」という理由も存在する。

単純に好みで決めたわけではない。

以前検討した選択肢を捨てた理由もある。

一度決めたことを変更すると、それ以外の部分にも影響する場合もある。

つまり、完成しているように見えるものの背後には、見えない判断の積み重ねがある。

ところが、そこにAIが入ってくる。

AIは、そのプロジェクトが始まったときから見ているわけではない。

誰がどんな理由で何を決めたのか。

どんな問題を乗り越えてきたのか。

何を犠牲にして、何を優先してきたのか。

どの選択肢を検討した結果、現在の形になっているのか。

そうした経緯を知らない。

AIが知っているのは、基本的に相談者がその時点で入力した情報である。

ここを理解していないと、非常に危険なことが起こる。

「本人の希望に寄り添う回答」は、必ずしも目的に合わない

AIは、相談者の希望を尊重して回答する。

これは当然のことだ。

たとえば、

「こういうことはしたくない」

と相談すれば、AIは「では、しなくても目的を達成するにはどうすればいいか」を考えてくれる。

「こういう方法が自分には合っていると思う」

と言えば、その方法のメリットや実現方法を整理してくれる。

これは相談者にとって非常に便利だ。

しかし、ここに一つの落とし穴がある。

本人の希望と、プロジェクトの目的は、必ずしも一致しない。

例えば、ある活動の目的が「できるだけ多くの人に知ってもらうこと」だったとする。

一方で、本人には「できれば人前に出たくない」という希望がある。

この場合、

「人前に出ずに認知を広げる方法」

をAIに相談すれば、AIは当然、その方向で方法を考える。

回答としては正しい。

しかし、

「その方法が、最も認知を広げる方法なのか」

という問いは別である。

ここには、本人の希望と目的との間にトレードオフが存在する。

AIが相談者の希望に寄り添うことと、プロジェクト全体の目的を最大化することは、同じではない。

AIは「相談者の味方」にはなれても、「プロジェクト全体の責任者」ではない

ここは非常に重要だと思う。

AIは相談者の考えを整理することができる。

反対意見を出すこともできる。

リスクを指摘することもできる。

しかし、そのAIがプロジェクト全体の責任を負っているわけではない。

だからこそ、相談者がある一部分について質問したとき、AIがその部分について合理的な回答を返しても、それがプロジェクト全体にとって正しいとは限らない。

例えば、ある変更によって本人にとってはメリットが生まれる。

しかし、その変更によって、すでに構築されている別の部分との整合性が崩れるかもしれない。

AIがそこまで知らなければ、その影響を評価することはできない。

これはAIの能力不足というより、与えられている情報の範囲の問題である。

「AIがこう言っている」は、意思決定の根拠にならない

最近、少し気になる使い方がある。

自分の考えについてAIに相談し、その回答を見て、

「AIもこう言っている」

と考えることだ。

もちろん、AIの回答を参考にすること自体は問題ない。

問題なのは、それがいつの間にか、

「AIがそう言ったから、自分の考えは正しい」

という認識に変わってしまうことだ。

AIは裁判官ではない。

最終的な正解を判定しているわけでもない。

入力された条件に対して、もっともらしい答えを生成しているだけである。

しかも、その条件の中に相談者自身の思い込みや希望が含まれていれば、その前提を踏まえて回答する。

その結果、自分の考えをAIに確認してもらっただけなのに、「第三者から客観的に認められた」という感覚になってしまう。

これは非常に危険だと思う。

「自分の考えをAIに聞く」のではなく、「自分の考えを疑うためにAIを使う」

AIを有効に使うなら、質問の仕方を変えたほうがいい。

「この考えでいいですか？」

だけではなく、

「この考えの弱点は何ですか？」

「反対の立場から見るとどうなりますか？」

「この判断が失敗するとしたら、どこが原因になりますか？」

「これまでの方針を維持した場合と変更した場合、それぞれどんなリスクがありますか？」

と聞いてみる。

さらに重要なのは、

「この判断には、私が見落としている前提がありますか？」

と聞くことだ。

そうすれば、AIは自分の考えを肯定してくれる存在ではなく、自分の判断を検証するための道具になる。

私は、その使い方のほうがAIの価値を引き出せると思っている。

積み上げることより、壊すことのほうが簡単

何かを作るには時間がかかる。

WEBサイトを作る。

情報を整理する。

検索される状態を作る。

SNSを運用する。

発信を続ける。

名称やデザインを統一する。

将来の展開を考えてルールを決める。

こうしたことは、一日で完成するものではない。

しかし、それを壊すことは簡単だ。

一つの判断を変える。

それまで統一してきたものを変更する。

別の方向へ方針転換する。

それだけで、積み上げてきたものの一貫性が崩れることがある。

しかも、壊した直後には、その影響が見えないことも多い。

だから怖い。

「今のほうが良さそう」という一瞬の感覚だけでは、その変更によって数か月後、数年後に何が起きるのかまでは判断できない。

AIによる「小さな成功体験」にも注意が必要

もう一つ、AIを使う上で気をつけたいことがある。

AIに質問すると、すぐに回答が返ってくる。

そして、その回答を実際に試してみると、うまくいくことがある。

文章がきれいに書けた。

良いアイデアが出た。

問題がすぐ解決した。

これが成功体験になる。

すると、

「AIに聞けば解決できる」

という感覚が強くなる。

これは便利な反面、危険でもある。

なぜなら、AIが得意なのは、与えられた問題を整理し、候補を出すことだからだ。

何を問題として設定するのか。

どこまでを前提条件にするのか。

そもそも、その問題を今解決する必要があるのか。

それによって既存の計画にどんな影響が出るのか。

これらは、人間側が判断しなければならない。

AIが正しい答えを出していても、そもそも質問するべき問題が違っていたら、結果として間違った方向へ進むことがある。

「正しい回答」と「正しい意思決定」は違う

今回、私が最も強く感じたのはこの違いだった。

AIの回答は正しい。

少なくとも、与えられた条件の中では合理的だった。

しかし、その回答をそのまま採用することが、プロジェクト全体にとって正しいとは限らない。

これは、

「AIが間違った」のではなく、「AIの回答を適用する範囲を間違えた」

という問題なのだと思う。

AIは非常に優秀な道具だ。

しかし、道具には使用目的がある。

カメラは素晴らしい写真を撮ることができる。

しかし、カメラに何を撮るべきかを決めてもらうことはできない。

同じように、AIは膨大な情報を整理し、考えるための材料を提供してくれる。

しかし、

「何を目的にするのか」

「何を守るのか」

「何を捨てるのか」

「これまでの積み上げをどこまで維持するのか」

という最終的な判断までAIに委ねてしまえば、話は変わってくる。

AIを使うほど、人間の判断が重要になる

AIが進化すればするほど、人間は判断しなくてよくなる。

そう考える人もいるかもしれない。

私はむしろ逆だと思う。

AIが優秀になるほど、

「どの回答を採用するのか」

という人間側の判断が重要になる。

AIは、複数の答えを出せる。

その中から一つを選ぶのは人間だ。

そして、その選択には責任が伴う。

特に、すでに時間をかけて構築されているものについては、新しい回答が出てきたからといって、すぐに以前の方針を否定する必要はない。

まず、

「この新しい提案は、これまでの方針と矛盾しないか」

「変更すると何を失うのか」

「変更することで本当に得たいものが得られるのか」

を考える必要がある。

AIは「答え」をくれる。しかし「文脈」は自分で与えなければならない

結局、AIの最大の強みと弱みは同じところにある。

AIは非常に多くの情報を扱える。

しかし、その情報を与えなければ、知らない。

長期間にわたって人間が積み上げてきた判断。

そこに込められた意図。

過去に失敗した経験。

以前検討した選択肢。

人間関係。

将来の目標。

そうしたものは、質問の中に入っていなければAIには存在しない。

だからAIに相談するときには、

「このAIは、この問題についてどこまで知っているのか」

を考える必要がある。

そして、知らない部分が大きいなら、その回答を最終判断に使うべきではない。

AI時代に必要なのは「AIを信じる力」ではない

私はAIを信用していないわけではない。

むしろ、かなり信用している。

だからこそ、AIにすべてを任せるべきではないと思う。

AIは、考えるための非常に優れた道具だ。

しかし、AIが出した回答を採用するかどうかは、人間が判断しなければならない。

特に、長い時間をかけて誰かが構築してきたものを変更するのであれば、

「AIがそう言ったから」

ではなく、

「なぜ変更するのか」

「何を失うのか」

「その変更によって目的達成の可能性は本当に高くなるのか」

まで考える必要がある。

AIの回答が正しいかどうかだけでは足りない。

その回答を、今、この状況で使うことが正しいのか。

そこまで考えて初めて、AIを使った意思決定になるのだと思う。

今回の経験を通じて、私は改めてそう感じた。

AIは正しい。

それでも、使い方を間違えれば、結果は間違った方向へ進む。

そして、その責任を負うのはAIではない。

最後に判断するのは、あくまで人間なのだから。

AIが参照する情報は、必ずしも正しいとは限らない

もう一つ、AIを使う上で忘れてはいけないことがある。

AIが扱う情報量の多さと、その情報が正しいかどうかは別の問題だ。

私は写真を50年続けてきた。

長く写真をやっていると、撮影技術や機材について、実際に自分で試してきたからこそ分かることがある。理論上は正しくても、実際の撮影現場ではその通りにならないこともあるし、逆に、長年の実務経験から「これはこういう条件では使えない」と判断できることもある。

ところが、インターネット上には、写真を始めてまだそれほど長くない人が、まるで長年の経験があるかのように断定的な情報を発信しているケースもある。

もちろん、経験年数が短いから、その人の情報が必ず間違っているということではない。

問題は、実際には十分な検証がされていない情報であっても、SNSなどで大きく拡散されると、多くの人に参照される情報になってしまうことだ。

そして、AIがそうした情報を学習・参照する場合、単純に「たくさん出てくる情報だから正しい」と判断しているわけではないとしても、ネット上で広く流通している情報が、回答の材料として現れることはある。

ここにも注意が必要だ。

例えば、ある写真技術について、経験の浅い人が発信した情報がSNSで大きく拡散されたとする。

その情報が実際には一部の条件でしか成立しないものだったとしても、ネット上では「正しい情報」として広まってしまう。

その後、AIに同じテーマについて質問すると、そのネット上で流通している情報と整合する回答が生成される可能性がある。

すると利用者は、

「AIも同じことを言っている。やはり正しいのだろう」

と思ってしまう。

しかし、これは非常に危険な循環である。

人間が発信した情報が広まる。
広まった情報をAIが参照する。
AIがそれを含んだ回答をする。
その回答を見た人が「AIもそう言っている」と考える。
そして、その回答がさらに人間の情報発信を補強する。

この循環が起きれば、最初の情報が正しいかどうかとは別に、「正しそうに見える情報」が強化されていく可能性がある。

だからこそ、AIの回答を見たときには、

「AIがそう言っているから正しい」

ではなく、

「その情報には、どのような根拠があるのか」

と考える必要がある。

特に写真のように、実際の経験や撮影条件によって結果が大きく変わる分野では、ネット上で広く語られていることと、現場で実際に成立することが一致するとは限らない。

50年写真を続けてきた私が感じるのは、まさにこの部分である。

AIは非常に便利だ。

しかし、AIが出した答えと、自分自身が長年の経験から知っていることが食い違ったときには、少なくとも一度立ち止まる必要がある。

情報が多いことと、情報が正しいことは同じではない。

そして、AIが答えてくれたことと、現実の現場で正しいことも、必ずしも同じではない。

AIを使う時代だからこそ、情報の「量」ではなく、「根拠」と「文脈」を見る目が、これまで以上に重要になっている。