सुरक्षा

लूप को सुरक्षित करें।

स्वायत्त सिस्टम को केवल परिधि सुरक्षा से कहीं अधिक की आवश्यकता होती है। उन्हें नीति, ट्रेसेबिलिटी, सत्यापन और विफलता नियंत्रण की आवश्यकता होती है।

सुरक्षा मॉडल।

न्यूनतम विशेषाधिकार

एजेंट और इंजन केवल उसी डेटा और टूल तक पहुँचते हैं जो किसी कार्य के लिए आवश्यक हो। अनुमतियाँ प्रति-अनुरोध सीमित होती हैं और कार्य के साथ समाप्त हो जाती हैं, इसलिए एक अकेला सेंध लगा चरण पूरे सिस्टम तक नहीं पहुँच सकता।

पहुँच

पुनः चलाने योग्य ट्रेस

महत्वपूर्ण क्रियाओं से तर्कन और एक्ज़ीक्यूशन के निरीक्षण योग्य, रीप्ले-योग्य रिकॉर्ड बनते हैं। हर निर्णय को चरण-दर-चरण पुनर्निर्मित किया जा सकता है, जिससे डिबगिंग और ऑडिट अनुमान के बजाय इतिहास पढ़ना बन जाता है।

ऑडिट

नीति गेट

जोखिम भरी क्रियाएँ चलने से पहले नीतियों, सीमाओं, अनुमोदनों और रोलबैक पथों से बँधी होती हैं। सीमाएँ एक्ज़ीक्यूशन के समय लागू होती हैं, महज़ मार्गदर्शन के रूप में नहीं, इसलिए असुरक्षित क्रियाएँ केवल लॉग नहीं होतीं, बल्कि रुक जाती हैं।

नियंत्रण

बुद्धिमान सिस्टम के लिए ख़तरा मॉडल।

AI सिस्टम नए विफलता रूप प्रस्तुत करते हैं: प्रॉम्प्ट इंजेक्शन, टूल का दुरुपयोग, अनपेक्षित डेटा प्रकटीकरण, मतिभ्रमित क्रियाएँ, पुराना संदर्भ और असीमित स्वायत्तता।

संदर्भ हमले

अविश्वसनीय इनपुट मॉडल के व्यवहार या टूल पहुँच में हेरफेर करने का प्रयास करता है।

टूल जोखिम

अत्यधिक अनुमतियों वाला एजेंट एक छोटी तर्क-त्रुटि को वास्तविक दुनिया की क्रिया में बदल सकता है।

आपूर्ति श्रृंखला

मॉडल, टूल, पैकेज और कनेक्टर को संस्करणबद्ध, ऑडिट और निगरानी के अधीन रखा जाना चाहिए।

हर क्रिया की एक सीमा होनी चाहिए।

अच्छा स्वायत्त इन्फ्रास्ट्रक्चर अनुमत क्रियाओं को स्पष्ट और असुरक्षित क्रियाओं को कठिन बना देता है।

बुद्धिमत्ता को करीब लाएँ।