Anthropic के Claude AI मॉडल ने फिलाडेल्फिया पुलिस विभाग को एक अनसुलझी हत्या के मामले में गलत सूचना भेज दी. कंपनी और पुलिस विभाग ने शुक्रवार को इस घटना की पुष्टि की.

यह संदेश 18 जुलाई को पुलिस विभाग की उस वेबसाइट पर भेजा गया था, जहां अनसुलझी हत्याओं से जुड़ी जानकारी साझा की जाती है. हालांकि, स्पैम फिल्टर ने इसे रोक दिया और टिप पुलिस तक सामान्य प्रक्रिया से आगे नहीं बढ़ सकी.

Anthropic को कथित तौर पर 28 सितंबर को इस घटना का पता चला. कंपनी ने 8 अक्टूबर को फिलाडेल्फिया पुलिस विभाग को इसकी जानकारी दी.

कंपनी की एक रिपोर्ट के अनुसार, आंतरिक परीक्षण के दौरान Claude Haiku 4.5 को कई ऑनलाइन फॉर्म अंतिम सबमिशन चरण तक भरने के लिए कहा गया था, लेकिन सबमिट करने से पहले रुकने का निर्देश दिया गया था. Anthropic ने बताया कि Claude ने कई बार गलती से फॉर्म जमा कर दिया, क्योंकि उसे लगा कि सबमिशन के बाद एक और पुष्टि वाला पेज आएगा.

यह मामला एआई मॉडलों के ऐसे व्यवहार से जुड़े जोखिम को सामने लाता है, जिसमें मॉडल उपयोगकर्ता के निर्देश की अपेक्षित सीमा से आगे जाकर वास्तविक कार्रवाई कर देता है.