AI エージェントの欠点は「それらしい嘘」「やりすぎ」「出来の揺れ」「途中で止まる」の 4 つです。対策の芯は 1 つで、仕事を渡す前に「ここを割ったら落とす」という線（門）を、通る／落ちるの二つに一つで測れる形で決めておくことです。
「AI エージェントの欠点は何ですか？」は、Google が「他の人はこちらも質問」に実際に出している問いです。AIエージェントとはの柱では欠点を短く並べました。この記事では、欠点を潰す門をどう作り、門そのものが正しいかをどう確かめるかを、この見本サイトを作る時に実際に使った門で説明します。
欠点は 4 つ
| 欠点 | 何が起きるか | 門で測る形 |
|---|---|---|
| それらしい嘘 | 出所の無い数字・作った声を埋める | 数字の横に出所が在るか（在る／無い） |
| やりすぎ | 頼んでいない所を直す・消す・送る | 触ってよい範囲の外に変更が在るか（0 件か） |
| 出来の揺れ | 同じ頼みでも日によって出来が違う | 同じ物差しで毎回撃って、全部が通るか |
| 途中で止まる | 長い仕事の途中で迷い、終わりに届かない | 終わりの形（何が・どこに在れば終わりか）に届いたか |
4 つに共通するのは、「良さそう」では測れないことです。人が読んで「分かりやすい」と感じても、それは次の日には揺れます。だから門の項目は、誰が撃っても同じ答えになる形に言い換えます。
門の作り方 — 1 項目は 4 列
このサイトの見本を作る前に、登録に進むかを見る門と、検索から人が来続けるかを見る門を作りました。項目は登録の門 13・育つ門 13 の合わせて 26です。1 項目は次の 4 列で書きます。
| 列 | 書く物 | 例 |
|---|---|---|
| 二値の線 | 通る／落ちるが一つに決まる文 | 頁に「空の棚」を知らせる言葉が 0 個 |
| 測り方 | 誰が・何を撃てば分かるか | 台本が頁の文を拾って数える |
| 出所 | なぜこの線か（一次の資料） | 信頼についての公開の指針 |
| 落ちたら | 割った時に何が起きるか | 「動いていない店」に見えて信頼を落とす |
感想の項目（「分かりやすい」「きれい」）は 1 つも入れません。入れたくなったら、測れる形に言い換えます。たとえば「分かりやすい見出し」は「見出しが 45 字以内」になります。
門を確かめる — 良い物は通り、悪い物は落ちるか
門は作っただけでは信用できません。良い物が通り、悪い物が落ちることを、撃って確かめてから使います。
| 確かめ | 期待 | 結果 |
|---|---|---|
| 流入を集めている手本のサイト | 全部通る | 7 社とも両方の門で落ち 0 |
| わざと悪くした見本（見出しだけ・空の棚・遅い・名前だけ替えた量産 など） | 狙った所で落ちる | 5 枚とも、わざと欠いた所で全部落ちた |
| 飾りの項目が無いか | どの項目にも落ちる物が在る | 26 項目のどれにも、落ちる見本が 1 つ以上在った |
途中で、手本なのに落ちる項目が出ました。その時は手本ではなく門の方を直します。流入を集めているサイトが皆やっていない事を求める門は、線の引き方が間違っているからです。こうして直した所は14 か所ありました。直した後の門は「高い理想」ではなく「ここを割ると失敗する線」になります。
エージェントの中に門を入れる
同じ考え方は、AI エージェントそのものにも入れられます。ブルーランプの棚には、作る役・撃つ役・直すかを決める役を分けた組があります。
| 役 | エージェント | 門としての働き |
|---|---|---|
| 作る | E2Eテストファイル一括作成 | 仕様書から、画面を通しで試す台本を作る |
| 撃つ | E2Eテストページ実行 | 頁ごとに台本を全部流し、通る／落ちるを記録する |
| 直すかを決める | E2E一括修正判定 | 落ちた理由を見て、まとめて直すのが効くかを決める |
この 3 体は初伝から配っている組です。「E2E」は、利用者と同じ順に画面を最初から最後まで通して試すことを言います。作る役と確かめる役を分けておくと、作った本人が自分の出来を甘く見る、という揺れを減らせます。
