AI से बनाए गए टेक्स्ट की पहचान के लिए इस्तेमाल होने वाली वॉटरमार्किंग तकनीक कुछ परिस्थितियों में मॉडल के सुरक्षा व्यवहार को बदल सकती है. नए शोध के मुताबिक Google की SynthID-Text तकनीक लागू होने के बाद मॉडल उन निर्देशों का पालन कर सकते हैं, जिन्हें बिना वॉटरमार्किंग के वे सामान्यतः अस्वीकार कर देते.
SynthID-Text मॉडल द्वारा अगला शब्द चुनने की प्रक्रिया में गुप्त कुंजी के आधार पर सूक्ष्म बदलाव करती है. उदाहरण के तौर पर, मॉडल किसी वाक्य में सबसे संभावित शब्द के बजाय उसका दूसरा समानार्थी शब्द चुन सकता है. बाद में इसी पैटर्न से यह पता लगाने की कोशिश की जा सकती है कि टेक्स्ट संबंधित प्लेटफॉर्म से बना है या नहीं.
शोध में कहा गया है कि ये बदलाव केवल शब्दों तक सीमित नहीं रहते. वे इस बात को भी प्रभावित कर सकते हैं कि कोई मॉडल कौन-से टूल इस्तेमाल करता है और अपने सुरक्षा नियंत्रणों का कितना पालन करता है. प्रतिकूल या adversarial prompt की स्थिति में जोखिम बढ़ सकता है. ऐसे prompt का उद्देश्य मॉडल से पासवर्ड या दूसरी संवेदनशील जानकारी उजागर कराने जैसे हानिकारक काम करवाना होता है.
AI सुरक्षा शोधकर्ता Andrea Siposova के मुताबिक वॉटरमार्किंग मॉडल के व्यवहार में बदलाव ला सकती है, खासकर तब जब मॉडल adversarial परिस्थितियों में हो या किसी एजेंट के लिए टूल इस्तेमाल कर रहा हो. शोधकर्ताओं ने डेवलपर्स से वॉटरमार्किंग लागू करने के बाद LLM और AI agents का सुरक्षा परीक्षण करने की जरूरत पर जोर दिया है.
