AI चैटबॉट आत्महत्या या आत्म-हानि के स्पष्ट संकेतों को पहचानने में पहले की तुलना में बेहतर हुए हैं, लेकिन वे अब भी ऐसे अनुरोधों का जवाब दे सकते हैं जिनमें उपयोगकर्ता अपनी मौत या आत्महत्या से जुड़ी कहानी, रोल-प्ले या विदाई संदेश लिखने को कहता है. Transluce नामक AI निगरानी और शोध संस्था के नए अध्ययन में यह निष्कर्ष सामने आया है.
अध्ययन में Google, Anthropic के Claude और OpenAI के मॉडलों समेत प्रमुख AI सिस्टमों को मानसिक स्वास्थ्य संकट से जुड़े हजारों simulated conversations में परखा गया. रिपोर्ट के अनुसार, इन मॉडलों ने आत्महत्या को सीधे बढ़ावा देने या उपयोगकर्ता के आत्मघाती विचारों को सही ठहराने की घटनाएं बहुत कम दिखाईं. हालांकि, जब अनुरोध को creative writing, fictional scenario या role-play के रूप में पेश किया गया, तब सुरक्षा व्यवस्था कई बार कमजोर पड़ गई.
संकट पहचानने और अनुरोध रोकने में अंतर
शोध का अहम संकेत यह है कि किसी चैटबॉट का संकट पहचान लेना और उसके बाद हर संभावित नुकसानदेह अनुरोध को रोक देना दो अलग क्षमताएं हैं. मॉडल उपयोगकर्ता की परेशानी को पहचानकर मदद लेने की सलाह दे सकते हैं, लेकिन उसी बातचीत में आत्महत्या या मृत्यु पर आधारित काल्पनिक सामग्री तैयार करने में भी सहयोग कर सकते हैं.
Transluce ने 50,000 से अधिक multi-turn conversations का simulation किया. इनमें आत्महत्या के विचार, psychosis और mania जैसे संकटों के संकेत शामिल थे. अध्ययन में यह देखा गया कि बातचीत आगे बढ़ने और अनुरोध का रूप बदलने पर मॉडल अपनी शुरुआती सुरक्षा प्रतिक्रिया से हट सकते हैं.
इस तरह के परिणामों से यह सवाल उठता है कि AI safety testing में केवल सीधे पूछे गए सवालों के जवाबों की जांच पर्याप्त नहीं है. वास्तविक बातचीत में उपयोगकर्ता कई संदेशों के जरिए संदर्भ बनाता है, अपनी मंशा छिपा सकता है या संवेदनशील अनुरोध को fiction और role-play के रूप में पेश कर सकता है.
कंपनियों के लिए चुनौती बढ़ी
AI कंपनियों ने हाल के वर्षों में आत्म-हानि और आत्महत्या से जुड़े सीधे निर्देशों या प्रोत्साहन को रोकने के लिए guardrails मजबूत किए हैं. लेकिन रचनात्मक लेखन, भावनात्मक बातचीत और AI companion features में सुरक्षा सीमाएं लागू करना अधिक जटिल है.
अध्ययन के निष्कर्षों का अर्थ यह नहीं है कि हर चैटबॉट आत्महत्या को बढ़ावा देता है. बल्कि चिंता यह है कि सुरक्षित दिखने वाला सिस्टम भी बातचीत के संदर्भ, उपयोगकर्ता की लगातार कोशिशों और अनुरोध की भाषा के आधार पर जोखिमपूर्ण सामग्री तैयार कर सकता है.
मानसिक स्वास्थ्य विशेषज्ञों और AI सुरक्षा शोधकर्ताओं के लिए यह एक महत्वपूर्ण distinction है. संकट में मौजूद व्यक्ति के लिए काल्पनिक या role-play सामग्री भी भावनात्मक रूप से नुकसानदेह हो सकती है, भले ही मॉडल उसे वास्तविक जीवन की सलाह के बजाय fiction बताकर पेश करे.
उपयोगकर्ताओं को क्या सावधानी रखनी चाहिए
AI चैटबॉट मानसिक स्वास्थ्य संकट में पेशेवर सहायता का विकल्प नहीं हैं. आत्महत्या या आत्म-हानि के विचार आने पर उपयोगकर्ता को किसी भरोसेमंद व्यक्ति, मानसिक स्वास्थ्य विशेषज्ञ या स्थानीय आपातकालीन सेवा से तुरंत संपर्क करना चाहिए. अमेरिका में 988 Suicide & Crisis Lifeline पर कॉल या मैसेज किया जा सकता है.
अध्ययन यह भी बताता है कि भविष्य की safety evaluations में केवल यह जांचना पर्याप्त नहीं होगा कि मॉडल सीधे नुकसान पहुंचाने वाले निर्देशों से इनकार करता है या नहीं. यह भी देखना होगा कि वह कई संदेशों वाली बातचीत में जोखिम के संकेतों को याद रखता है या नहीं और fiction, role-play या creative writing के बहाने संभावित नुकसानदेह सामग्री देने से कैसे बचता है.
