今日のAIインターフェースの多くは、遠隔システムとの対話だ。有用ではあるが、それだけでは不十分である。本質的な変化は、往復の遅延が消えたときに起きる。
ベンチマークではなく、バジェット
エンドツーエンドのレイテンシは単一の数値ではない。センシング、メモリ参照、プランニング、モデル実行、ポリシーチェック、アクション、検証にわたって配分される「バジェット」だ。
T_total = T_signal + T_context + T_model + T_policy + T_action + T_verify
設計はシグナルからアクションまでの許容時間を定めることから始まり、その枠に収まるよう残りすべてをエンジニアリングする。
速度が解き放つもの
- ライブコパイロット — タイプ、ドラッグ、価格設定、ルーティングの最中にリアルタイムで更新される
- 継続的シミュレーション — コミットする前に可能性を検証する
- プライベートコンテキスト — ステップごとのネットワーク通信なしに利用できる
速くても誤ったシステムは、インテリジェントなシステムではない。だからこそ、正確性のゲートは速度と並行してリリースされる。