AITech Trends

ハーネスエンジニアリング:AIが確実に機能する部屋を設計する

先週、DeepSeekはDeepSeek Harness(DSH)をオープンソースとして公開し、誰でも利用できるようにしました。本記事では、AIモデルが確実に機能できるよう、その周囲の環境を構築するという規律であるハーネスエンジニアリングを紹介します。実験室にいる化学者の比喩を用いて、ツールだけでは不十分だと論じます。組織は、ツール、境界、プロセス、フィードバックを備えた完全な作業環境を構築しなければなりません。私たちはAIエージェントの3つの根本的な弱点、すなわち信頼の盲点、非決定的な推論、フィードバックの欠如を特定し、よく設計されたハーネスがそれぞれをいかに補うかを示します。実際には、あらゆるAIプロジェクトはある意味でハーネスエンジニアリングプロジェクトです。答えは、確率的な知能に決定的な業務運用を行わせる方法にあります。

重要なポイント

  • ハーネスエンジニアリングとは、ツールを追加したりより賢いモデルを選んだりするだけでなく、AIモデルの周囲に作業環境を構築することを意味します。
  • モデルは知能を提供し、ツールは能力を提供し、ハーネスは信頼性を提供します。
  • AIエージェントの3つの構造的弱点、すなわち信頼の盲点、非決定的な推論、フィードバックの欠如は、モデル自体ではなく環境によって修正されなければなりません。
  • 実用的なハーネスは、ツール、境界、プロセス、フィードバックの4つの構成要素を持ち、これらが確率的な推論を境界のある反復可能なワークフローに変換します。
  • ハーネスエンジニアリングは、チームをヒューマン・イン・ザ・ループからヒューマン・オン・エクセプションへと移行させ、不確実性が残る場面にのみ人間の注意を集中させます。

空っぽの部屋にいる優秀な化学者

優秀な化学者が空っぽの部屋に置かれたと想像してください。その化学者は深い知識を持っていますが、器具も、薬品も、手順書も、安全装置も、実験が成功したかどうかを知る手段もありません。APIやソフトウェアツールを追加することは、部屋に薬品と器具を並べるようなものです。役に立ちますが、まだ実験室ではありません。本物の実験室には、ラベル付きの薬品、較正済みの器具、標準操作手順、安全バリア、計測システムがあります。それが、AIに無造作にツールを与えることと、標準化された実験室を与えることの違いです。ハーネスエンジニアリングとは、AIエージェントのためにその実験室を構築する実践です。それは単純な前提から始まります。モデルは知能を提供します。ハーネスは、その知能を信頼できるシステムに変える作業環境を提供します。

ツールだけでは解決できない3つの弱点

多くの企業AIの失敗は、モデルを信頼性の主要な源泉と見なすことに起因します。しかし、強力なモデルであっても、AIモデル自体ではなく環境によって対処されなければならない3つの構造的な限界があります。

信頼の盲点

AIモデルは、情報の信頼度を自然には理解しません。モデルにとって、現在施行中の法令と、その法令について論じる無作為なフォーラム投稿は、どちらも単なるテキストです。法的な文脈では、以下の情報源は同等ではありません。現在施行中の法令、関連する法域における拘束力のある裁判所判決、破棄された古い判決、そしてその判決について論じるフォーラム投稿。金融エージェントにとって、監査済みの年次報告書に記載された収益は、アナリストブログに載った同じ数字とは根本的に異なります。サイバーセキュリティにおいては、脅威インテリジェンスのブロックリストにあるドメインは、フォーラムで否定的に言及されているだけのドメインとは異なります。したがって、ハーネスは取得の周囲に信頼と検証の層を追加しなければなりません。ツールは、生のテキストだけでなく、情報源の種類、法域、裁判所のレベル、有効性の状態、引用履歴といった構造化されたメタデータを返すべきです。さらに重要なのは、ハーネスがルールを強制できることです。結論が判例法に依存するなら判例が破棄されていないか確認し、情報源が競合するなら自動的に結論を下さず、二次情報源のみが利用可能な場合は信頼度を下げます。

非決定的な推論

AIの推論は有能ですが、決定的ではありません。同じ問題が、今日はワークフローAで、明日はワークフローBで解かれるかもしれません。ブレインストーミングには、その変動性は有用です。業務システムには、危険です。法務デューデリジェンスのタスクを考えてみてください。ある実行では厳密な経路をたどるかもしれません。法域を特定し、法律を検索し、判例を検索し、有効性を確認し、要約します。別の実行では、一般的なウェブ検索に飛びつき、記事を見つけ、答えを推測し、判例を1つだけ検索するかもしれません。どちらも賢く聞こえるかもしれませんが、同じ保証を提供するわけではありません。ハーネスエンジニアリングは、AIの推論を排除せずにプロセスを制御します。その原則は、毎回ワークフローを発明させるのではなく、制御されたワークフローの中でAIに推論させることです。AIは、どのキーワードを検索するか、どの一節が関連するか、証拠をどう結びつけるかを依然として決定します。しかし、必須のステップを黙って飛ばすことはできません。これにより、無制限の推論ではなく境界のある推論が生まれます。科学者に対して、すべての思考を指図せずに特定のチェックが常に行われることを保証するプロトコルを与えるのと似ています。

フィードバックの欠如

人間が学べるのは、環境が常に何かが機能したかどうかを教えてくれるからです。化学者は温度の読み取り値、分光計の結果、失敗した反応を得ます。ソフトウェアエンジニアはコンパイラエラー、単体テスト、ログを得ます。対照的に、多くのAIエージェントは答えを出して停止します。彼らはほぼ同等のシグナルを受け取りません。ハーネスは機械可読なフィードバックを生成すべきです。法務エージェントの場合、判例を取得した後、システムは自動的に、判例が正しい法域から来たのか、まだ有効なのか、取得した一節が主張された命題を実際に裏付けたのか、後の判例がそれらと矛盾するのか、重要な結論のそれぞれに権威ある引用があるのかを問うことができます。これらのチェックは、ツール、ルール、データベース、または別個のAI評価者によって実行できます。アーキテクチャは、エージェントが行動し人間がすべてを確認するパターンから、エージェントが行動し、環境が証拠を生成し、評価者が結果を確認し、エージェントがフィードバックを受け取り、エージェントが軌道を修正するパターンへと移行します。

ハーネスの4つの役割

実用的なハーネスは4つの構成要素で説明できます。ツールは器具です。検索エンジン、データベース、計算機、API。境界は安全の範囲を定義します。どの行動が許可され、どのデータにアクセスでき、どの決定を自律的に下せるか。プロセスはワークフローを体系化します。開かれた推論を反復可能な手順に変える必須のステップ、検証ゲート、決定ルール。フィードバックは、エージェントが人間を待たずに軌道を修正できるようにする、自動チェック、信頼度スコア、矛盾検出などのシグナルを提供します。ハーネスのない強力なAIは、空っぽの部屋にいる優秀な化学者です。APIを与えることは、部屋に薬品と器具を並べることです。ハーネスエンジニアリングは、実際の実験室を構築することです。ラベル付きの薬品、較正済みの器具、標準操作手順、安全バリア、そして何かがうまくいかないときの警報。

ヒューマン・イン・ザ・ループからヒューマン・オン・エクセプションへ

ハーネスエンジニアリングの目的は、必ずしも人間をループから排除することではありません。システムが自ら不確実性を解決できない場面にのみ、人間の注意を集中させることです。例えば、信頼度が95%で全検証が通過した場合は自動的に進めます。信頼度が72%で情報源が競合する場合は、エージェントが別の検索を実行します。信頼度が45%で法的な曖昧さが解消されない場合は、人間にエスカレーションします。これにより、ヒューマン・イン・ザ・ループからヒューマン・オン・エクセプションへと変わります。絶え間ない人間によるレビューのボトルネックを減らしつつ、影響の大きいケースや曖昧なケースでは監督を維持します。その結果、制御を犠牲にすることなく拡張できるシステムが実現します。

経営上の示唆

経営幹部にとって、含意は明確です。エンタープライズAIの難しい部分は、もはやモデルをより賢くすることだけではありません。確率的な知能が決定的な業務運用を支えられるよう、モデルの周囲の環境を設計することです。投資はそれに応じて、モデル選択だけではなく、ワークフロー設計、検証インフラ、フィードバック機構、ガバナンス境界へと向かうべきです。商業的なメッセージは鋭いものです。モデルは知能を提供し、ツールは能力を提供し、ハーネスは信頼性を提供します。より技術的には、ハーネスエンジニアリングは確率的なAI推論を、境界があり測定可能で反復可能なワークフローに変換します。この規律を習得した組織は、AIエージェントを実験的なアシスタントとしてではなく、中核的な業務プロセスの信頼できる構成要素として配備できるようになります。

出典: Data Matters, in AI era. (Antony)

著者プロフィール:

Antony Ma, CTO of Hoplite Tech

Antony Ma, CTO of Hoplite Tech

クラウド以前からITに携わり、EclipseでJavaに磨きをかけた男。現在はサイバーセキュリティに挑み、教育を変革している。元Cloud Security Alliance HK & Macau Chapter会長、Professional Information Security Association元会長。