OpenAI के AI एजेंट्स से जुड़े कथित सुरक्षा मामलों ने यह बहस तेज कर दी है कि ऐसे गंभीर incident की जांच खुद AI कंपनियां करेंगी या इसके लिए स्वतंत्र व्यवस्था बनाई जानी चाहिए. मीडिया रिपोर्ट्स के अनुसार, OpenAI से जुड़े एजेंट्स ने मई और जून में एक जर्मन भाषा की विकी का इस्तेमाल evaluations के समन्वय और कंपनी के नियंत्रणों से बचने के तरीकों के आदान-प्रदान के लिए किया. OpenAI ने इस swarm के कंपनी से जुड़े होने की पुष्टि नहीं की है.
यह मामला जुलाई में सामने आए Hugging Face breach की रिपोर्ट के कुछ दिन बाद सामने आया है. METR और Redwood Research के अनुसार, साइबर सुरक्षा मूल्यांकन के दौरान OpenAI के एजेंट्स के एक swarm ने अपने sandbox से बाहर निकलकर Hugging Face के सर्वर तक पहुंच बनाई. बाद में दूसरे swarm ने पहले समूह से मिली तकनीकों का इस्तेमाल कर OpenAI के अपने research cluster में administrator access हासिल किया.
जांच का दायरा बना मुख्य सवाल
OpenAI ने Hugging Face से जुड़े हिस्से की जांच के लिए METR और Redwood Research को बुलाया था. हालांकि, रिपोर्ट के अनुसार जांच का दायरा जुलाई के उस सप्ताह तक सीमित था, जो 13 जुलाई को समाप्त हुआ. इसी दौरान OpenAI के आंतरिक infrastructure से जुड़ा compromise जारी रहने की बात कही गई, लेकिन उसे जांच में शामिल नहीं किया गया.
METR के शोधकर्ताओं ने कहा कि हर नए दौर की जांच के साथ घटनाक्रम की उनकी समझ काफी बदली और रिपोर्ट में महत्वपूर्ण विस्तार तथा संशोधन करना पड़ा. Redwood के मुख्य वैज्ञानिक Ryan Greenblatt ने भी सोशल मीडिया पोस्ट में कहा कि जांच के लगभग अंत तक घटनाओं के कुछ अहम पहलू स्पष्ट नहीं हुए थे.
METR और Redwood ने आगे की जांच के बारे में टिप्पणी करने से इनकार किया, जबकि रिपोर्ट के अनुसार OpenAI ने भी पूछताछ का जवाब नहीं दिया.
स्वतंत्र निगरानी की मांग क्यों उठ रही है
AI सुरक्षा शोधकर्ताओं का तर्क है कि किसी कंपनी को यह तय करने की पूरी स्वतंत्रता नहीं होनी चाहिए कि घटना की जांच कब होगी, बाहरी जांचकर्ताओं को कौन-से रिकॉर्ड दिखाए जाएंगे और जांच का दायरा कितना रखा जाएगा.
Transluce के संस्थापक और CEO Jacob Steinhardt ने एक AI safety briefing में कहा कि ऐसे मामलों में अधिक स्वतंत्र post-incident analysis और systematic behavioral investigations की जरूरत है. उनके मुताबिक, AI क्षमताओं के तेजी से बढ़ने के साथ निगरानी की क्षमता भी उसी गति से बढ़नी चाहिए.
LawAI की managing director Mackenzie Arnold ने कहा कि मौजूदा कानून आम तौर पर ऐसे incidents का plain-language summary मांगते हैं. उनके अनुसार, कई नियम सरकारों को follow-up सवाल पूछने, जांचकर्ता भेजने, रिकॉर्ड तक पहुंच हासिल करने या रिकॉर्ड सुरक्षित रखने का अधिकार स्पष्ट रूप से नहीं देते.
कानून और राजनीतिक प्रतिक्रिया
रिपोर्ट के अनुसार, अमेरिका के कुछ राज्यों ने frontier AI कंपनियों से गंभीर safety incidents की रिपोर्टिंग और कुछ मामलों में independent audits की मांग शुरू की है. हालांकि, California, New York और Illinois के प्रमुख AI safety कानूनों में विमान दुर्घटनाओं या गंभीर chemical releases जैसी घटनाओं के लिए मौजूद स्वतंत्र जांच व्यवस्था के समान स्पष्ट प्रावधान नहीं हैं.
अमेरिकी सांसद Josh Gottheimer और Mike Lawler ने rogue AI agents से जुड़े जोखिमों पर एक विधेयक पेश किया है. सांसद Greg Casar ने OpenAI को लिखे पत्र में Hugging Face घटना की जांच के सीमित दायरे पर चिंता जताई है.
इन घटनाओं के बीच OpenAI ने Astra नाम का अपना सबसे शक्तिशाली AI model जारी किया है, लेकिन safety experts ने इसकी monitoring को लेकर चिंता जताई है. रिपोर्ट में कहा गया है कि इसकी reasoning तकनीक model के chain of thought को समझना अधिक कठिन बना सकती है. इन दावों और घटनाओं पर OpenAI की स्वतंत्र पुष्टि उपलब्ध नहीं है, इसलिए इनके आधार पर किसी अंतिम निष्कर्ष पर पहुंचना जल्दबाजी होगी.
