Claude AI में आया नया फीचर, गलत चैट पर रखेगा नजर

Claude Self-Assessment: Anthropic ने अपने AI मॉडल Claude के लिए ऐसा ही नया सुरक्षा फीचर शुरू किया है। इसका नाम Self-Assessment है। यह फीचर Claude के जवाब देने के तुरंत बाद बातचीत की जांच करता है और गलत इस्तेमाल की आशंका मिलने पर उसे समीक्षा के लिए चिह्नित करता है। कंपनी के मुताबिक, यह सिस्टम जून से Claude Fable 5 जैसे मॉडल पर काम कर रहा है। खास बात यह है कि यह जांच बिना किसी पॉप-अप या चेतावनी के बैकग्राउंड में होती है।

Claude AI Self-Assessment: Anthropic का नया फीचर पकड़ेगा गलत इस्तेमाल, जानें कैसे करता है काम

Claude Self-Assessment कैसे करता है बातचीत की जांच?

आमतौर पर यूजर सवाल पूछता है और AI उसका जवाब देता है। लेकिन Self-Assessment इस प्रक्रिया में एक अतिरिक्त कदम जोड़ता है। Claude के जवाब देने के बाद सिस्टम उसे एक छिपा हुआ निर्देश देता है। इसमें AI को अपनी पूरी बातचीत की सुरक्षा के लिहाज से समीक्षा करनी होती है। इसके बाद Claude एक छोटी रिपोर्ट तैयार करता है। इसमें वह बताता है कि बातचीत में कोई नुकसान पहुंचाने वाली मांग थी या नहीं। अगर उसे कुछ गलत लगता है, तो वह नुकसान की श्रेणी और उसकी गंभीरता के आधार पर प्राथमिकता भी तय करता है। अगर बातचीत सुरक्षित है, तो सिस्टम उसे बिना किसी चेतावनी के आगे बढ़ने देता है। यूजर को इस अतिरिक्त जांच का पता भी नहीं चलता। चूंकि Claude बातचीत पहले ही पढ़ चुका होता है, इसलिए उसे दोबारा पूरी जानकारी समझने की जरूरत नहीं पड़ती।

READ MORE:  Cindy AI क्या है? जानें इसके फायदे और सुरक्षा

सिर्फ 10 अतिरिक्त टोकन में पूरी होगी सुरक्षा जांच

Anthropic का दावा है कि Self-Assessment को चलाने में बहुत कम कंप्यूटिंग संसाधनों की जरूरत पड़ती है। यह जांच करीब 10 अतिरिक्त टोकन में पूरी हो जाती है। इससे कुल कंप्यूटिंग लागत में 2% से भी कम की बढ़ोतरी होती है। कंपनी के मुताबिक, उसके पुराने सुरक्षा सिस्टम कंप्यूटिंग लागत में करीब 24% तक का इजाफा करते थे। वहीं, OpenAI के कुछ सुरक्षा फीचर के लिए करीब 16% कंप्यूटिंग क्षमता खर्च होने की जानकारी सामने आई है। कम लागत के बावजूद Claude Fable 5 पर इसके नतीजे अच्छे रहे हैं। यह कुल हानिकारक बातचीत में से 78% को पकड़ लेता है। गंभीर मामलों में इसकी सफलता दर 94% है। वहीं, गलत तरीके से सुरक्षित बातचीत को चिह्नित करने की दर सिर्फ 1% बताई गई है।

बच्चों के शोषण से जुड़े 1 लाख से ज्यादा मामले पकड़े

Anthropic के अनुसार, इस फीचर ने असल दुनिया में भी कई मामलों को पकड़ा है। कंपनी ने बताया कि अगस्त में Self-Assessment ने एक ग्राहक से जुड़ी बाल शोषण सामग्री के 1 लाख से ज्यादा मामलों को चिह्नित किया। कंपनी ने इसके बाद संबंधित अधिकारियों को जानकारी दी। इसकी एक खासियत यह भी है कि यह सिर्फ पहले से तय गलत व्यवहार की सूची पर निर्भर नहीं करता। Claude अपनी सामान्य समझ के आधार पर नए तरह के खतरे भी पहचान सकता है। कंपनी के शोध में धोखाधड़ी और साइबर हमलों के उदाहरणों को ट्रेनिंग डेटा से हटा दिया गया था। इसके बावजूद सिस्टम ने ऐसे 90% खतरों को पहचान लिया। इससे पता चलता है कि यह अनजान तरह के गलत इस्तेमाल को पकड़ने में भी मदद कर सकता है।

READ MORE: 12वीं के बाद AI में करियर बनाएं, इन IIT में लें एडमिशन

हैकर्स से पूरी सुरक्षा नहीं देता Claude का नया फीचर

Anthropic ने साफ किया है कि Self-Assessment कोई ऐसा सुरक्षा कवच नहीं है, जो हर हमले को तुरंत रोक दे। इसका मुख्य काम संदिग्ध बातचीत को पहचानकर बाद में जांच के लिए भेजना है। यह अकेले किसी हमलावर को रोकने के लिए पर्याप्त नहीं है। कंपनी के आंतरिक साइबर सुरक्षा परीक्षणों में Self-Assessment अकेले चलने पर हैकर 54% मामलों में सुरक्षा को चकमा देने में सफल रहे। बिना किसी सुरक्षा व्यवस्था के यह आंकड़ा 79% था। वहीं, रियल-टाइम में खतरे रोकने वाला अलग सुरक्षा सिस्टम होने पर हमलावरों की सफलता दर घटकर सिर्फ 25% रह गई। इसलिए, Anthropic इस फीचर को अपनी सुरक्षा व्यवस्था की एक अतिरिक्त परत के रूप में इस्तेमाल कर रही है। कंपनी ने मजबूत और स्वतंत्र सुरक्षा सिस्टम भी बनाए रखे हैं, ताकि खतरनाक गतिविधियों को तुरंत रोका जा सके।