الأمان

أمّن الحلقة.

تحتاج الأنظمة المستقلة إلى أكثر من أمان المحيط. إنها تحتاج إلى سياسات وقابلية للتتبع والتحقق واحتواء الأعطال.

نموذج الأمان.

الحد الأدنى من الصلاحيات

لا تصل الوكلاء والمحركات إلا إلى البيانات والأدوات التي تتطلّبها المهمة. تُحدَّد الأذونات لكل طلب وتنتهي بانتهاء المهمة، فلا تستطيع خطوة واحدة مخترَقة بلوغ النظام الأوسع.

الوصول

آثار قابلة لإعادة التشغيل

تُنتج الإجراءات المهمة سجلات قابلة للفحص وإعادة التشغيل للاستدلال والتنفيذ. يمكن إعادة بناء كل قرار خطوة بخطوة، فيتحوّل تصحيح الأخطاء والتدقيق إلى قراءة تاريخ لا تخمين.

التدقيق

بوابات السياسات

تُقيَّد الإجراءات المحفوفة بالمخاطر بسياسات وعتبات وموافقات ومسارات تراجع قبل تنفيذها. تُفرَض الحدود وقت التنفيذ لا كإرشاد، فتُحجَب الإجراءات غير الآمنة لا أن تُسجَّل فحسب.

التحكم

نموذج التهديد للأنظمة الذكية.

تُدخل أنظمة الذكاء الاصطناعي أنماط أعطال جديدة: حقن الأوامر، وإساءة استخدام الأدوات، والكشف غير المقصود عن البيانات، والإجراءات المُهلوَسة، والسياق القديم، والاستقلالية غير المحدودة.

هجمات السياق

مدخلات غير موثوقة تحاول التلاعب بسلوك النموذج أو الوصول إلى الأدوات.

مخاطر الأدوات

يمكن لوكيل يتمتع بصلاحيات مفرطة أن يحوّل خطأً صغيرًا في الاستدلال إلى إجراء له أثر في العالم الحقيقي.

سلسلة التوريد

يجب إخضاع النماذج والأدوات والحزم والموصِّلات للإصدارات والتدقيق والمراقبة.

ينبغي أن يكون لكل إجراء حدّ.

البنية التحتية المستقلة الجيدة تجعل الإجراءات المسموح بها صريحة والإجراءات غير الآمنة صعبة.

قرّب الذكاء.