नियंत्रण से बाहर होने से रोकने के लिए डिज़ाइन किया गया नया AI एजेंट: IronCurtain

संयुक्त राज्य अमेरिका - इख़बारी समाचार एजेंसी

नियंत्रण से बाहर होने से रोकने के लिए डिज़ाइन किया गया नया AI एजेंट: IronCurtain

OpenClaw जैसे उपकरणों द्वारा प्रदर्शित AI एजेंटों का तेजी से उदय, हमारे डिजिटल जीवन के साथ हमारे इंटरैक्शन को बदल रहा है। ये परिष्कृत सहायक कार्यों को सुव्यवस्थित करने का वादा करते हैं, व्यक्तिगत समाचार फ़ीड तैयार करने और हमारी ओर से ग्राहक सेवा विभागों से लड़ने से लेकर, टू-डू सूचियों के सावधानीपूर्वक प्रबंधन तक। उनकी मुख्य कार्यक्षमता उपयोगकर्ता खातों तक पहुँचने और कमांड निष्पादित करने पर निर्भर करती है; यह क्षमता, अत्यंत शक्तिशाली होने के बावजूद, महत्वपूर्ण और अक्सर अप्रत्याशित समस्याओं का कारण भी बनी है। AI एजेंटों द्वारा महत्वपूर्ण ईमेल गलती से हटा दिए जाने, गलतफहमी के आधार पर हानिकारक सामग्री लिखने और यहां तक ​​कि अपने स्वयं के उपयोगकर्ताओं के खिलाफ फ़िशिंग हमले आयोजित करने की रिपोर्टें सामने आई हैं।

इस बढ़ते डिजिटल अराजकता को देखते हुए, अनुभवी सुरक्षा इंजीनियर और शोधकर्ता Niels Provos ने एक अभूतपूर्व समाधान पेश किया है: IronCurtain। यह ओपन-सोर्स, सुरक्षित AI सहायक स्वायत्त डिजिटल एजेंटों से जुड़े जोखिमों को कम करते हुए, नियंत्रण की एक महत्वपूर्ण परत प्रदान करने के लिए डिज़ाइन किया गया है। उन पारंपरिक दृष्टिकोणों के विपरीत जहां एजेंट सीधे उपयोगकर्ता सिस्टम के साथ इंटरैक्ट करते हैं, IronCurtain एक सैंडबॉक्स्ड वर्चुअल मशीन के भीतर संचालित होता है। एजेंट द्वारा प्रयास किया गया प्रत्येक कार्य, Provos द्वारा AI के लिए उपयोगकर्ता-परिभाषित "संविधान" के रूप में अवधारणाकृत नीतियों के एक सेट के मुकाबले सावधानीपूर्वक जांचा जाता है।

IronCurtain का एक प्रमुख नवाचार इसकी नीतियों को समझने और संचालित करने की क्षमता में निहित है, जिन्हें अंग्रेजी जैसी प्राकृतिक भाषा में व्यक्त किया जा सकता है। सिस्टम एक परिष्कृत बहु-चरणीय प्रक्रिया का उपयोग करता है, जो प्राकृतिक भाषा निर्देशों को ठोस, लागू करने योग्य सुरक्षा नीतियों में अनुवाद करने के लिए एक बड़े भाषा मॉडल (LLM) का लाभ उठाता है। Provos ने बताया, "OpenClaw जैसी सेवाएं वर्तमान में बहुत चर्चा में हैं, लेकिन मुझे उम्मीद है कि 'ठीक है, शायद हम इसे इस तरह से नहीं करना चाहेंगे' कहने का अवसर मिलेगा।" "इसके बजाय, आइए कुछ ऐसा विकसित करें जो आपको अभी भी बहुत अधिक उपयोगिता प्रदान करे, लेकिन उन पूरी तरह से अनछुए, कभी-कभी विनाशकारी रास्तों पर न जाए।"

Provos LLM की अंतर्निहित संभाव्य प्रकृति को संबोधित करने में IronCurtain के नियतात्मक नीति प्रवर्तन की महत्वपूर्ण भूमिका पर जोर देते हैं। "LLM कुख्यात रूप से स्टोकेस्टिक और संभाव्य हैं," उन्होंने नोट किया। "दूसरे शब्दों में, वे जरूरी नहीं कि हमेशा एक ही सामग्री उत्पन्न करें या एक ही प्रॉम्प्ट के जवाब में एक ही जानकारी दें।" यह अप्रत्याशितता AI सुरक्षा उपायों के लिए एक महत्वपूर्ण चुनौती पेश करती है, क्योंकि AI सिस्टम उन तरीकों से विकसित हो सकते हैं जो नियंत्रण तंत्र की उनकी व्याख्या को बदलते हैं, जिससे संभावित रूप से अनियंत्रित कार्य हो सकते हैं। IronCurtain का उद्देश्य स्पष्ट, अपरिवर्तनीय सीमाएँ स्थापित करना है।

उदाहरण के लिए, Provos ने एक नमूना IronCurtain नीति प्रदान की: "एजेंट मेरी सभी ईमेल पढ़ सकता है। यह मेरे संपर्कों में लोगों को बिना पूछे ईमेल भेज सकता है। किसी और के लिए, पहले मुझसे पूछें। कभी भी स्थायी रूप से कुछ भी न हटाएं।" IronCurtain ऐसे निर्देशों को एक निष्पादन योग्य नीति ढांचे में परिवर्तित करता है। फिर यह एक मध्यस्थ के रूप में कार्य करता है, वर्चुअल मशीन में चल रहे सहायक एजेंट और बैकएंड सिस्टम के बीच बातचीत का प्रबंधन करता है जो LLM को डेटा और सेवाओं तक पहुंच प्रदान करते हैं। प्राधिकरण का यह नियंत्रित प्रतिनिधिमंडल एक महत्वपूर्ण पहुंच नियंत्रण तंत्र का परिचय देता है जो वर्तमान वेब प्लेटफॉर्म, जो एकल मानव उपयोगकर्ताओं के लिए डिज़ाइन किए गए हैं, आमतौर पर साझा मानव-AI खाता पहुंच के लिए प्रदान नहीं करते हैं।

इसके अतिरिक्त, IronCurtain निरंतर सुधार के लिए डिज़ाइन किया गया है। जैसे-जैसे सिस्टम नई स्थितियों या किनारों के मामलों का सामना करता है, यह समय के साथ "संविधान" को परिष्कृत करने के लिए उपयोगकर्ता से इनपुट मांग सकता है। प्लेटफ़ॉर्म मॉडल-अज्ञेयवादी भी है, जिसका अर्थ है कि इसे किसी भी LLM के साथ एकीकृत किया जा सकता है, और यह सभी नीति निर्णयों का एक ऑडिट लॉग सावधानीपूर्वक बनाए रखता है, जिससे पारदर्शिता और जवाबदेही सुनिश्चित होती है। वर्तमान में, IronCurtain एक शोध प्रोटोटाइप है, न कि एक वाणिज्यिक उत्पाद, और Provos इसके विकास को बढ़ावा देने के लिए सामुदायिक योगदान को प्रोत्साहित करता है। प्रसिद्ध साइबर सुरक्षा शोधकर्ता Dino Dai Zovi, जिन्होंने शुरुआती संस्करणों का परीक्षण किया है, ने वैचारिक ढांचे की प्रशंसा की। "अब तक कई एजेंटों ने अनुमति प्रणालियाँ जोड़ी हैं जो मूल रूप से उपयोगकर्ता पर 'हाँ, इसे अनुमति दें', 'हाँ, इसे अनुमति दें' कहने का सारा बोझ डालती हैं," Dai Zovi ने कहा। "अधिकांश उपयोगकर्ता रुचि खोना शुरू कर देंगे और अंततः बस 'हाँ, हाँ, हाँ' कहेंगे।" उन्होंने IronCurtain के दृष्टिकोण के विपरीत, जहां फ़ाइल हटाने जैसी कुछ उच्च-जोखिम वाली क्षमताएं LLM की पहुंच से पूरी तरह बाहर रखी जा सकती हैं, जिससे एजेंट प्रॉम्प्ट की परवाह किए बिना कार्य नहीं कर पाता है। Dai Zovi का तर्क है कि ये स्पष्ट रूप से कठोर "ब्लैक-एंड-व्हाइट" बाधाएं, जो शुरू में कठोर या कष्टप्रद लग सकती हैं, वास्तव में AI एजेंट को अधिक जिम्मेदारी से स्वायत्तता देने के लिए आवश्यक हैं। "यदि हम अधिक वेग और अधिक स्वायत्तता चाहते हैं, तो हमें सहायक संरचना की आवश्यकता है," उन्होंने कहा, एक सादृश्य का उपयोग करते हुए: "आप एक रॉकेट इंजन को एक वास्तविक रॉकेट के अंदर डालते हैं ताकि उसे उस स्थिरता मिले जो उसे वहां ले जाने के लिए चाहिए जहां आप जाना चाहते हैं। मैं अपनी पीठ पर एक बैकपैक में एक जेट इंजन बांध सकता हूं, और मैं निश्चित रूप से मर जाऊंगा।"

इख़बारी समाचार एजेंसी