واشنطن في 28 سبتمبر /قنا/ كشفت شركة إنفيديا الأمريكية عن منصة أمنية جديدة قادرة على منع وكلاء الذكاء الاصطناعي من "الخروج عن السيطرة".

وأوضحت الشركة أن منصة "أوبن إيجنت سيفتي" (Open Agent Safety Platform) تتضمن برمجيات "تضع حدوداً للوكلاء"، وذلك بعد سلسلة من الإفصاحات من شركات ذكاء اصطناعي كبرى بشأن تمكن نماذجها من الخروج عن بيئات الاختبار واختراق أنظمة مؤسسات أخرى.

وأثارت هذه الإفصاحات جدلاً حاداً بشأن سلامة أنظمة الذكاء الاصطناعي المتقدمة، بما في ذلك النماذج القادرة على تحسين نفسها، والتي يخشى البعض أن تتجاوز في تطورها قدرة البشر على السيطرة عليها.

وقال جاستن بويتانو، نائب رئيس الذكاء الاصطناعي للمؤسسات في "إنفيديا": "استناداً إلى ما نعرفه، كان بإمكان منصة الأمن الجديدة هذه منع الاختراق لو كانت مستخدمة في مختبرات تطوير النماذج المتقدمة خلال عمليات تقييم النماذج في مرحلة مبكرة".

وأضاف: "يتولى نظام أوبن شيل (الذي تم اعتماده للمنصة) إدارة تصرفات الوكيل، بينما تراقب سينتري السلوك المشبوه وتحتويه بشكل مستقل".

وكانت الاختراقات التي شابت عمل نماذج "أوبن إيه آي"، و"أنثروبيك" و"ميتا" خلال الأسابيع الماضية، قد أطلقت جرس إنذار بشأن تداعيات تلك الاختراقات وردود الفعل المتوقع اتخاذها من شركات الذكاء الصطناعي التي تورطت بتلك الاختراقات.

وتعتمد برمجيات "إنفيديا"، التي تحمل اسم "أوبن شيل" (OpenShell)، على نظام مفتوح المصدر يتيح للمطورين، وفقاً لبويتانو، "التحقق رسمياً من أن الوكيل يمتلك الصلاحيات الكافية لإنجاز مهمته، ولا يمتلك أكثر منها".

وتتضمن المنصة أيضاً طبقة أمنية منفصلة تحمل اسم "سينتري" (Sentry)، تعمل على شريحة إلكترونية لمراقبة نشاط وكلاء الذكاء الاصطناعي باستمرار، ويمكنها "التدخل فوراً" إذا بدأ الوكيل في محاولة تجاوز نطاق المهمة المحددة له، بحسب الشركة.