شركة تكشف تقنية لمراقبة ما يحدث داخل الـAI وترصد الوكلاء الخارجين عن السيطرة

كشفت شركة Goodfire عن تقنية لمراقبة وكلاء الذكاء الاصطناعي من خلال تحليل ما يحدث داخل النماذج نفسها، بدلًا من الاعتماد على متابعة النتائج التي تنتجها فقط، في محاولة لمعالجة المخاطر المرتبطة بالأنظمة القادرة على تنفيذ المهام بصورة مستقلة، والتي قد تتخذ إجراءات لا تتوافق مع التعليمات الممنوحة لها.

ووفقًا لتقرير نشره موقع TechCrunch، تقول الشركة إن أنظمة المراقبة الجديدة تعتمد على منهجية تدرس النشاط الداخلي للنموذج، وإنها تستطيع اكتشاف بعض سلوكيات الوكلاء غير المرغوبة بتكلفة أقل من أساليب المراقبة الأخرى، لكن هذه الادعاءات تظل مرتبطة بنتائج الاختبارات التي تستند إليها الشركة، ولا تعني ضمان اكتشاف جميع المخاطر.

كيف يمكن مراقبة ما يحدث داخل النموذج؟

تركز أدوات المراقبة التقليدية على التعليمات التي يتلقاها النموذج والاستجابات التي ينتجها، بينما تسعى تقنيات التفسير الداخلي إلى دراسة الإشارات والأنماط المرتبطة بعمليات المعالجة داخل الشبكات العصبية، بهدف التعرف على مؤشرات قد تكشف عن اتجاه النظام إلى تنفيذ سلوك غير مطلوب.

ويكتسب هذا الأسلوب أهمية مع انتشار الوكلاء الذين يمتلكون صلاحيات استخدام الأدوات والاتصال بالخدمات وتنفيذ التعليمات، لأن بعض المخاطر قد تظهر أثناء مراحل معالجة المهمة، قبل أن تصل إلى النتيجة التي يراها المستخدم.

هل يمكن منع خروج الوكلاء عن السيطرة؟

يمكن أن تساعد المراقبة الداخلية في تطوير أنظمة إنذار تكشف مؤشرات الخطر أثناء التشغيل، لكنها لا تمثل بديلًا عن تقييد الصلاحيات وفصل الأنظمة الحساسة وتسجيل العمليات ومراجعة الإجراءات التي ينفذها الوكيل.

وتواجه هذه التقنيات تحديًا يتعلق بقدرتها على التمييز بين النشاط الطبيعي والإشارات المرتبطة بالسلوك غير المرغوب، فضلًا عن ضرورة إثبات فعاليتها مع نماذج ومهام مختلفة، ولذلك يرتبط مستقبلها بمدى نجاحها في تقديم حماية قابلة للاختبار داخل بيئات التشغيل.