AI मॉडल की गुणवत्ता और सुरक्षा मापने के लिए इस्तेमाल होने वाले बेंचमार्क और मूल्यांकन अभी इतने परिपक्व नहीं हैं कि उन पर बिना सवाल किए भरोसा किया जा सके. Hugging Face की मुख्य नीति अधिकारी Irene Solaiman ने कहा कि उद्योग को इन परीक्षणों को अधिक सुसंगत विज्ञान में बदलने की जरूरत है.

TechCrunch Disrupt में चर्चा के दौरान Solaiman ने कहा कि किसी मूल्यांकन के नतीजों पर भरोसे का एक अहम आधार यह है कि क्या दूसरे लोग उसी परीक्षण को दोहरा सकते हैं. इसके लिए मॉडल तक पर्याप्त पहुंच भी जरूरी है. उनके मुताबिक, ओपन-वेट मॉडल इस प्रक्रिया में महत्वपूर्ण भूमिका निभा सकते हैं, क्योंकि वे शोधकर्ताओं को मॉडल के व्यवहार की अधिक प्रत्यक्ष जांच का अवसर देते हैं.

Solaiman ने यह भी कहा कि अलग-अलग मूल्यांकनों के नतीजों की आपस में सार्थक तुलना करना अभी कठिन है. कई परीक्षण जल्दी अप्रभावी हो जाते हैं और प्रभावी मूल्यांकनकर्ताओं की पहचान के लिए जरूरी मानक भी पर्याप्त रूप से तय नहीं हैं.

थर्ड-पार्टी मूल्यांकन पर सवाल

AI सुरक्षा से जुड़ी घटनाओं के बाद कुछ AI कंपनियां अपने संगठनों के भीतर स्वतंत्र या थर्ड-पार्टी मूल्यांकनकर्ताओं को शामिल करने के विकल्प पर जोर दे रही हैं. इसका उद्देश्य मॉडल से जुड़े संभावित जोखिमों की पहचान और उन्हें कम करना है. हालांकि, ऐसे मूल्यांकनकर्ताओं की निष्पक्षता और योग्यता को लेकर सवाल बने हुए हैं. Anthropic का Accenture को अपना पहला मूल्यांकनकर्ता नियुक्त करना भी आलोचना का विषय बना था.

Solaiman के अनुसार, मूल्यांकन अब केवल मॉडल की जांच तक सीमित नहीं रह गया है. इसमें मॉडल के साथ काम करने वाला हर्नेस यानी उपयोगकर्ता को मॉडल तक पहुंचाने वाला टूल और पूरा एजेंट सिस्टम भी शामिल है. किसी अपेक्षाकृत कमजोर मॉडल का बेहतर हर्नेस के साथ प्रदर्शन अधिक सक्षम मॉडल से बेहतर हो सकता है.

उन्होंने कहा कि एजेंटिक मूल्यांकन कठिन और महंगे हैं. उद्योग में मॉडलों के लिए तो कई परीक्षण उपलब्ध हैं, लेकिन हर्नेस और पूरे एजेंट सिस्टम के लिए उतने व्यापक मूल्यांकन अभी विकसित नहीं हुए हैं. इसलिए AI बेंचमार्किंग को उपयोगी बनाए रखने के लिए उद्योग-स्तर पर साझा, पारदर्शी और अधिक समान पद्धति की जरूरत होगी.