OpenAI के आगामी Astra मॉडल में ‘recurrent depth’ या ‘opaque recurrence’ नाम की reasoning तकनीक इस्तेमाल किए जाने की रिपोर्ट सामने आई है. The Information की रिपोर्ट का हवाला देते हुए TechCrunch ने लिखा कि यह तकनीक मॉडल को सामान्य sequential thinking से अलग तरीके से काम करने देती है. AI safety researchers को चिंता है कि इससे मॉडल के reasoning process की निगरानी कठिन हो सकती है.

रिपोर्ट के मुताबिक Astra में इस तकनीक का इस्तेमाल फिलहाल सीमित दिखाई देता है. मॉडल का chain of thought legible रहने की उम्मीद है और OpenAI ने इस बात से इनकार किया है कि वह reasoning को पूरी तरह ऐसे रूप में बदल रहा है जिसे इंसान समझ न सकें. फिर भी सुरक्षा विशेषज्ञों का कहना है कि अगर opaque recurrence का इस्तेमाल बड़े पैमाने पर बढ़ता है, तो AI व्यवहार की निगरानी के मौजूदा तरीकों पर असर पड़ सकता है.

Chain of thought की निगरानी क्यों महत्वपूर्ण है

Reasoning models किसी समस्या को हल करते समय कई क्रमिक चरणों से गुजरते हैं. इन चरणों का रिकॉर्ड, भले ही मॉडल की वास्तविक आंतरिक सोच का पूर्ण प्रतिनिधित्व न हो, शोधकर्ताओं को संभावित गलत व्यवहार या misalignment के संकेत समझने में मदद कर सकता है. मीडिया रिपोर्ट्स के अनुसार, OpenAI के हालिया rogue agent activity से जुड़े मामलों में chain-of-thought records ने एजेंटों के व्यवहार के कारणों की पड़ताल में भूमिका निभाई थी.

Opaque recurrence में मॉडल एक ही query को एक linear sequence के बजाय कई बार लूप में process करता है. इससे reasoning के ऐसे traces बन सकते हैं जो पारंपरिक chain-of-thought रिकॉर्ड की तुलना में कम स्पष्ट हों. यही वजह है कि विशेषज्ञ इसे AI safety monitoring के लिए संभावित चुनौती मान रहे हैं.

सुरक्षा विशेषज्ञों ने क्या कहा

Redwood के CEO Buck Shlegeris ने चिंता जताई कि अगर OpenAI भविष्य में recurrence की मात्रा काफी बढ़ाता है, तो chain-of-thought monitoring की उपयोगिता बहुत कम हो सकती है. उन्होंने यह भी कहा कि उन्हें अभी निश्चित रूप से नहीं पता कि Astra पिछले मॉडलों की तुलना में कितना कम monitorable होगा.

AI safety advocate Zvi Mowshowitz ने चेतावनी दी कि ऐसी तकनीक AI कंपनियों के बीच निगरानी क्षमता घटाने वाली प्रतिस्पर्धा को बढ़ावा दे सकती है. उनके अनुसार, अधिक व्यापक opaque reasoning chain-of-thought की monitorability को नुकसान पहुंचा सकती है.

Redwood Research के chief scientist Ryan Greenblatt ने आशंका जताई कि opaque reasoning पारंपरिक chain-of-thought reasoning की तुलना में तेजी से scale हो सकती है. उनका कहना है कि इसका अगला चरण ऐसा हो सकता है जिसमें मॉडल का reasoning अधिकांशतः visible channels के बाहर, latent space में हो.

OpenAI का जवाब और आगे की बहस

OpenAI के chief scientist Jakub Pachocki ने कहा कि कंपनी अपने शुरुआती reasoning models से ही legible chain of thought को संरक्षित करने और उसका इस्तेमाल करने पर काम कर रही है. उन्होंने इसे कंपनी के मौजूदा research program का core goal बताया. OpenAI ने अपनी भविष्य की safety plans में व्यापक chain-of-thought monitoring systems शामिल करने की बात भी कही है.

रिपोर्ट में यह caveat भी दिया गया है कि सभी AI models कुछ हद तक opaque reasoning करते हैं और शोधकर्ता chain-of-thought logs को मॉडल की वास्तविक सोच का सीधा रिकॉर्ड नहीं मानते. इसके बावजूद, विशेषज्ञों की चिंता यह है कि opaque recurrence का इस्तेमाल अलग-अलग मॉडलों में बढ़ने पर monitoring और safety evaluation कठिन हो सकती है. The Information की एक follow-up रिपोर्ट में Anthropic और Google DeepMind के भी इस तकनीक पर चर्चा करने का उल्लेख किया गया है.