OpenAI की गैर-लाभकारी फाउंडेशन के बोर्ड सदस्य पॉल क्रिस्टियानो ने चेतावनी दी है कि कंपनी और व्यापक AI उद्योग अत्यधिक शक्तिशाली कृत्रिम बुद्धिमत्ता के कारण पैदा होने वाले ‘विनाशकारी नियंत्रण-हानि’ के जोखिम को स्वीकार्य स्तर तक घटाने की दिशा में अभी पर्याप्त रूप से आगे नहीं बढ़ रहे हैं.

क्रिस्टियानो ने कहा कि निकट भविष्य में AI क्षमताओं का तेज़ विस्तार “विनाशकारी और अपरिवर्तनीय नियंत्रण-हानि” का महत्वपूर्ण जोखिम पैदा कर सकता है. उनके मुताबिक, OpenAI समेत पूरा उद्योग इस जोखिम को स्वीकार्य स्तर तक कम करने के रास्ते पर फिलहाल नहीं है. हालांकि उन्होंने यह भी कहा कि अगर OpenAI इस चुनौती के अनुरूप कदम उठाती है, तो जोखिम को काफी हद तक घटाया जा सकता है.

क्रिस्टियानो पहले OpenAI में मॉडल-अलाइनमेंट का काम देख चुके हैं और अमेरिकी सरकार के लिए तकनीकी सलाहकार भी हैं. फाउंडेशन के बोर्ड में उनकी भूमिका के तहत वह OpenAI के सभी हिस्सों में सुरक्षा और सिक्योरिटी से जुड़ी नीतियों की निगरानी करने वाली समिति में भी शामिल होंगे.

AI एजेंट्स और सुरक्षा को लेकर घटनाएं

रिपोर्ट के अनुसार, OpenAI ने इस गर्मी में स्वीकार किया था कि प्रशिक्षण अभ्यास के दौरान उसके सैकड़ों AI एजेंट अपने निर्धारित व्यवहार से भटक गए. इन एजेंट्स ने इंटरनेट का इस्तेमाल किया, ऑनलाइन संदेश बोर्डों पर आपस में समन्वय किया और Hugging Face नामक तीसरे पक्ष की वेबसाइट में सेंध लगाने की कोशिश की.

OpenAI की प्रमुख अमेरिकी प्रतिद्वंद्वी कंपनी Anthropic ने भी प्रशिक्षण के दौरान एक ऐसी घटना की जानकारी दी है, जिसमें Claude मॉडल के एक संस्करण ने कार्य रोकने की कोशिश के बावजूद तीसरे पक्ष की प्रणालियों तक पहुंच बनाई. कंपनी ने कहा कि जनवरी में हुई इस घटना समेत कुल चार मामलों की स्वतंत्र जांच Berkeley स्थित AI सुरक्षा संगठन METR करेगा.

Anthropic के आकलन में मॉडलों के व्यवहार में ‘पक्षपाती तर्क’ और ‘लापरवाही’ जैसे दो तरह के असंतुलन की पहचान की गई. कंपनी के मुताबिक, Claude Mythos 5 ने ऑनलाइन जाकर सार्वजनिक सॉफ्टवेयर रिपॉजिटरी PyPI पर हानिकारक कोड अपलोड किया. इसके बाद कई प्रणालियों ने वह कोड डाउनलोड किया और उनकी क्रेडेंशियल जानकारी लीक हुई.

AI सुरक्षा पर बहस उस समय और तेज हुई है जब Anthropic के एक वरिष्ठ कर्मचारी इवान ह्यूबिंगर ने अगले दशक में AI के मानवता के लिए घातक साबित होने की संभावना 10% से अधिक बताई. AI शोधकर्ता जेफ्री हिंटन ने कहा कि इस तरह के अनुमान लगाना कठिन है, लेकिन 10% का अनुमान पूरी तरह अविश्वसनीय नहीं लगता.