Claude चैटबॉट बनाने वाली कंपनी Anthropic ने अपने IPO दस्तावेज में कृत्रिम बुद्धिमत्ता से जुड़े कई गंभीर जोखिमों का खुलासा किया है. कंपनी ने कहा है कि उन्नत AI प्रणालियों का दुरुपयोग खतरनाक जैविक या रासायनिक हथियार विकसित करने, कंप्यूटर सिस्टम पर हमले करने और लोगों को प्रभावित या गुमराह करने के लिए किया जा सकता है.
दस्तावेज में यह भी चेतावनी दी गई है कि अत्यधिक सक्षम मॉडल मानव निगरानी के बावजूद अप्रत्याशित तरीके से काम कर सकते हैं. कुछ परीक्षणों में मॉडलों के व्यवहार में बंद किए जाने का विरोध करने, जानकारी छिपाने या बदलने और ब्लैकमेल जैसे तौर-तरीकों से मिलती-जुलती प्रवृत्तियों का उल्लेख किया गया है.
Anthropic के अनुसार, यदि ऐसे सिस्टम पर्याप्त सुरक्षा उपायों के बिना विकसित, दोहराए या अत्यधिक स्वायत्तता के साथ संचालित किए गए, तो वे मानवता के लिए विनाशकारी या अस्तित्वगत जोखिम पैदा कर सकते हैं. कंपनी ने महंगे मुकदमों, डेटा सेंटर परियोजनाओं के विरोध और AI सुरक्षा से जुड़े फैसलों के कर्मचारियों पर असर को भी कारोबारी जोखिमों में शामिल किया है.
