AIが急にバカになった日。原因を調べたら、意外なものが関係していそうだった
先日、Claude Codeを使っていて「あれ、今日はやけに判断が安直だな」と感じた日がありました。
普段ならもう少し慎重に確認してくれそうなところで、あまり聞かずに進めてしまったり、こちらの意図をくみ取り切れていなかったり。
Claude Codeといえば、文脈の読み取りに長けており、私のように言語表現が苦手でも意図を汲んでくれる貴重な存在です。もちろん、毎回100点満点の反応が返ってくるわけではありませんが、コミュニケーションのとりやすさはグンと抜けています。
このあたりは相性もあるかと思っていますが、少なくとも私にはそんな存在なんです。
でもその日は、違いました。
文脈の読み取りは全くと言っていいほどしてくれず、コミュニケーションがうまくとれず、さらにそのまま実装に入ってしまうこともありました。「そんなときもあるよね」と最初は思いましたが、帰ってくる言葉のひとつひとつがやけに安直な感じがするのです。
気になったので、Claude Code本人に「なんか安直な気がするのだけれども何が悪いのだろう?」と尋ねてみました。
その結果、原因として大きそうだったのは次の3つです。
1. Auto Mode(自動)になっている
Auto Modeは、Claude Codeが毎回こちらに確認を求めるのではなく、ある程度自律的に作業を進めるためのモードです。
通常なら「このファイルを編集していいですか?」「このコマンドを実行していいですか?」と確認が入るところでも、Auto Modeではバックグラウンドの安全チェックを挟みながら、確認を減らして進めます。
私もこの機能を最近使い始めたのですが、一度体験してみると本当に便利です。いちいち許可を出さなくていいので、私の両手が空くので好きなことをしていられます。
ただし、そのぶんClaude Codeの性格が「迷ったら確認しない」という方向に寄りやすくなるのだそうです。
公式説明では、Auto Modeについて次のように書かれています。
自動モードはまた Claude に明確化の質問を停止せずに作業を続けるよう促します。
https://code.claude.com/docs/ja/permission-modes
つまり、ファイル編集やコマンド実行をしていない相談セッションでも、Claude側には
「確認質問で止まらず、今ある情報で前に進め」
という方向の指示が入っている可能性があります。
Claude Codeが怠けていたというより、設定としていちいち止まらずに進める方向になっていた。
私の体感だと、モードによる応答のちがいは、かなり大きいように思います。複雑な話し合いをしたいときなんかには必ずAuto Modeになっていないことを確認してから始めるようにしました。
2. CLAUDE.MDを確認する
プロジェクトごとのルールや好みをCLAUDE.mdに書いておくことで、毎回それを参照して作業できます。
これは便利なのですが、逆に言うと、古い情報や今の方針とズレた情報が残っていると、Claude Codeが混乱したり、判断がズレたりする可能性があります。
たとえば、
- もう使っていないライブラリを前提としている
- 「こうしてほしい」という指示が複数あって矛盾している
- 昔の自分が雑に書いたルールが残っている
こういう状態だと、Claude Codeは悪気なく、古い文脈に引っ張られてしまうかもしれません。
3. memoryを確認する
Claude Codeは、自動メモリによって、過去の作業から学んだことを保存しておく仕組みもあります。
以前話したことを記憶しておいてもらえるのは便利ですが、これもCLAUDE.MDと同じように古い情報に引っ張られてしまう可能性を作り出すものでもあります。
自動メモリは、~/.claude/projects/<project>/memory/に保存されており、先頭200行または25KBまでが起動時に読み込まれるそうです。
なので、古い前提や矛盾した記憶があると、判断がズレてしまう可能性があります。
ただ、自動メモリのファイルを普段から見ている人って少ないんじゃないかと思いますし、いちいち見に行くのも正直めんどうです。
そこで、こんなコマンドがあることを知りました。
/consolidate-memory という方法です。
※環境によっては入っていない可能性があるようです。
これはメモリを整理・更新してくれるコマンドなので、覚えておいて定期的に使うべきだと思いました。
4. modelやeffortがいつもと違う可能性
これは当たり前ではありますが、普段使っているモデルやエフォートとは違う可能性です。
Claude Codeでは、使っているモデルが違えば挙動が違うのは当然だし、エフォートが違えば出力の深さが変わります。
普段より軽い設定になっていた場合、複雑な判断で浅く感じることは当然あるはずです。
対策としてやること
今回の件を踏まえると、私が今後やるとよさそうなのはこのあたりです。
まず、曖昧な作業や設計判断が必要な作業では、いきなりAuto Modeで進めない。
最初はPlan Modeにして、Claude Codeに調査と計画だけを出してもらう。
そのうえで、計画を見てから「ここは違う」「ここは進めていい」と判断する。
次に、CLAUDE.mdとmemoryを定期的に見る。
特に「最近なんかズレる」と感じたときは、モデル性能を疑う前に、読み込まれている前提が古くないかを確認する。
そして、作業前にmodelとeffortも見る。
違和感が出てから確認するのではなく、複雑な作業に入る前に軽く確認しておく。
AIの対応がいつもよりも精度が低かった場合、「Anthropicで何かが起きているのでは?」「モデルが馬鹿になった」と感じている人の声が目立ちます。
たしかに、それらもあるかもしれないけれども、単純に「AIがダメだった」と見るのではなくて、「自分の設定が何か間違っていないかな?」と、その時々で確認することが必要だと思いました。