OpenAI ने बाल यौन शोषण सामग्री (CSAM) की पहचान के लिए नया classifier टूल लॉन्च किया है. कंपनी के अनुसार, यह टूल तस्वीरों में संभावित शोषण के दृश्य संकेतों का विश्लेषण करता है और फिर सामग्री को स्कोर करता है, ताकि मानव समीक्षक उन तस्वीरों पर पहले ध्यान दे सकें जिनमें जोखिम अधिक हो सकता है.

OpenAI ने कहा है कि उसका classifier ऐसे संकेत की सुविधा देने वाले शुरुआती व्यापक रूप से उपलब्ध टूल्स में शामिल है, जिससे यह अनुमान लगाने में मदद मिल सकती है कि कोई तस्वीर AI से बनाई गई है. हालांकि, यह टूल अंतिम निर्णय खुद नहीं करता; इसकी भूमिका समीक्षा प्रक्रिया को प्राथमिकता देने में सहायता करना है.

कंपनी के मुताबिक, इस टूल का इस्तेमाल उन संस्थाओं द्वारा किया जा सकता है जिन्हें CSAM का पता लगाने की कानूनी अनुमति या जिम्मेदारी है. कुछ ऐसे डेवलपर भी इसका उपयोग कर सकेंगे जो OpenAI का API इस्तेमाल करते हैं. OpenAI ने इसे ROOST नामक गैर-लाभकारी संस्था के open-source detection और reporting software Coop के साथ काम करने के लिए भी उपलब्ध कराया है. Coop उपयोगकर्ताओं को सामग्री को चिह्नित करने, उसकी समीक्षा करने और उसे National Center for Missing & Exploited Children को रिपोर्ट करने में मदद करता है.

OpenAI ने classifier के साथ एक model card भी जारी किया है, जिसमें टूल के परीक्षण और सीमाओं से जुड़ी जानकारी दी गई है. ROOST की अध्यक्ष Camille François ने इसे child safety क्षेत्र में पारदर्शिता की दिशा में महत्वपूर्ण कदम बताया.

OpenAI के शुरुआती परीक्षणों के अनुसार, नया मॉडल लगभग समान संख्या में आपत्तिजनक तस्वीरें पहचानते हुए false positives के कारण होने वाली समीक्षा को कम कर सकता है. Childlight के विश्लेषण के मुताबिक, 2023 से 2025 के बीच AI से जुड़े CSAM रिपोर्ट्स में वैश्विक स्तर पर 8,400 प्रतिशत से अधिक वृद्धि हुई.