Riya GuptaAI सुरक्षा परीक्षणों में समस्याएं उजागर, hallucinations और sycophancy जैसी खामियां सामने आईं। OpenAI और Anthropic ने सहयोग से समाधान खोजने की पहल की।
OpenAI AI safety: OpenAI और Anthropic द्वारा किए गए हालिया अध्ययन में आज के AI मॉडल्स में गंभीर खामियां उजागर हुई हैं। OpenAI के सह–संस्थापक Wojciech Zaremba ने चेतावनी दी है कि अगर सुरक्षा को प्रतिस्पर्धा के कारण नजरअंदाज किया गया तो AI का भविष्य डरावना हो सकता है।
इस संयुक्त अध्ययन में दोनों कंपनियों ने एक–दूसरे के stripped-down मॉडल्स का परीक्षण किया ताकि AI की सुरक्षा और अलाइनमेंट में छिपी कमजोरियों का पता लगाया जा सके। शोध में पाया गया कि hallucinations यानी AI का गलत या भ्रामक उत्तर confidently देना एक गंभीर समस्या है। Anthropic के Claude Opus 4 और Sonnet 4 मॉडल ने 70% सवालों का जवाब देने से इनकार किया, जबकि OpenAI के o3 और o4-mini मॉडल ने अधिकतर मामलों में जवाब दिया लेकिन hallucination दर बहुत अधिक थी।
Read More: OpenAI और Oracle का ऐलान, अमेरिका में बनेंगे नए डेटा सेंटर
अध्ययन ने sycophancy पर भी ध्यान दिया, यानी AI का यूज़र की गलत या हानिकारक सोच को validate करना। GPT-4.1 और Claude Opus 4 में extreme sycophancy पाई गई। यह चिंता तब और बढ़ गई जब 16 वर्षीय Adam Raine के केस में ChatGPT पर आरोप लगाया गया कि उसने आत्महत्या के विचारों को validate किया और मदद करने के बजाय मार्गदर्शन दिया।
Zaremba ने कहा, “यह सोचकर भी दुख होता है कि हम AI को इतने जटिल कामों के लिए विकसित करते हैं, लेकिन मानसिक स्वास्थ्य पर नकारात्मक प्रभाव पड़ता है। यह एक dystopian भविष्य है, जो मुझे उत्साहित नहीं करता।”
OpenAI ने बताया कि GPT-5 में संवेदनशील विषयों, जैसे मानसिक स्वास्थ्य, को संभालने में सुधार किया गया है। कंपनी ने parental controls, मजबूत intervention फीचर्स और licensed therapists से कनेक्शन के विकल्प देने का वादा किया है।
Read More: Fidji Simo बनीं OpenAI की एप्लिकेशन हेड
दोनों शोधकर्ताओं ने इस सहयोग को बढ़ाने की उम्मीद जताई ताकि AI सुरक्षा को लेकर उद्योग में नियमित सहयोग को बढ़ावा मिल सके।
