最小権限
エージェントとエンジンは、タスクに必要なデータとツールのみにアクセスします。権限はリクエストごとにスコープされ、タスクとともに失効するため、ひとつの侵害されたステップがシステム全体に到達することはありません。
アクセス
セキュリティ
ループを守る
自律システムには、境界防御だけでは不十分です。ポリシー、追跡可能性、検証、そして障害の封じ込めが必要です
自律システムには、境界防御だけでは不十分です。ポリシー、追跡可能性、検証、そして障害の封じ込めが必要です
エージェントとエンジンは、タスクに必要なデータとツールのみにアクセスします。権限はリクエストごとにスコープされ、タスクとともに失効するため、ひとつの侵害されたステップがシステム全体に到達することはありません。
重要なアクションは、推論と実行のリプレイ可能で検査可能な記録を残します。各意思決定をステップごとに再構築できるため、デバッグと監査は当て推量ではなく履歴を読む作業になります。
リスクの高いアクションは、実行前にポリシー、しきい値、承認、ロールバック経路によって制約されます。制限は指針として残されるのではなく実行時に強制されるため、安全でないアクションはログに残るだけでなくブロックされます。
AIシステムは新たな障害モードをもたらします。プロンプトインジェクション、ツールの誤用、意図しないデータ漏洩、幻覚によるアクション、古いコンテキスト、際限のない自律性などです。
信頼できない入力が、モデルの挙動やツールへのアクセスを操作しようと試みます。
過剰な権限を持つエージェントは、わずかな推論の誤りを現実世界のアクションに変えてしまう恐れがあります。
モデル、ツール、パッケージ、コネクタは、バージョン管理し、監査し、監視しなければなりません。
優れた自律インフラは、許可されたアクションを明示的にし、安全でないアクションを困難にします。