أعلنت شركة OpenAI أنها بدأت باستخدام نظام أمني جديد. يهدف هذا النظام إلى حماية نماذج الذكاء الاصطناعي o3 وo4-mini من الاستخدام في تطوير تهديدات بيولوجية أو كيميائية. جاء ذلك ضمن تقرير رسمي نشرته الشركة مؤخرًا.
أشارت الشركة إلى أن النموذجين يُمثلان تطورًا كبيرًا في قدراتهما. وهذا التطور قد يفتح الباب أمام مخاطر جديدة، خاصة في حال استخدام النماذج من قبل جهات خبيثة.
مراقبة ذكية ومباشرة للمحتوى الحساس
طوّر فريق OpenAI نظامًا أطلق عليه اسم “مراقب الاستدلال الآمن“. هذا النظام يعمل فوق نماذج o3 وo4-mini. يراقب المحتوى ويمنع النماذج من تقديم إجابات تتعلق بمخاطر بيولوجية أو كيميائية.
درّبت الشركة النظام ليُطبّق سياساتها الداخلية للمحتوى. يعمل المراقب على رصد أي سؤال موجه للنموذج يحمل خطرًا محتملًا، ثم يوجه النموذج لرفض الإجابة عليه.
فرق الاختبار شاركت في ضبط النظام
استعانت OpenAI بفِرق “الاختبار الأحمر” لتدريب النظام. خصصت الشركة أكثر من 1000 ساعة لرصد وتحديد الحوارات غير الآمنة.
وفي اختبار داخلي، رفضت النماذج الرد على 98.7٪ من الأسئلة المصنفة عالية الخطورة. يُظهر ذلك فاعلية النظام الجديد في حماية المستخدمين.
استمرار دور المراقبة البشرية
رغم نجاح النظام، تعترف OpenAI بأن بعض المستخدمين قد يحاولون التحايل. لذلك أكدت أنها ستُبقي المراقبة البشرية كجزء من خططها الأمنية.
لاحظت الشركة أن نماذج o3 وo4-mini لا تقع تحت تصنيف “الخطر العالي”. لكنها أكدت أنها أكثر دقة في الإجابة عن أسئلة حساسة مقارنة بنماذج مثل GPT-4 وo1.
إطار جديد للجاهزية والتحكم في المخاطر
أعلنت OpenAI أنها تُطور ما تسميه “إطار الجاهزية“. يهدف هذا الإطار إلى مراقبة وتقييم مدى خطورة النماذج في الاستخدامات البيولوجية أو الكيميائية.
كما تستخدم الشركة نفس آلية المراقبة في GPT-4o لمنع توليد صور حساسة. على سبيل المثال، تمنع التقنية إنشاء أي محتوى بصري يتعلّق بإساءة معاملة الأطفال.
قلق الباحثين من ضعف تقارير الأمان
رغم هذه التطورات، انتقد بعض الباحثين OpenAI. قالوا إن الشركة لا تُعطي الأمان أولوية كافية. وأشار شريكها في الاختبار، Metr، إلى أنه لم يحصل على وقت كافٍ لاختبار نموذج o3 على سلوكيات خادعة.
كما أثارت OpenAI الجدل بعد أن طرحت GPT-4.1 دون إصدار تقرير أمان خاص به. وهذا ما اعتبره بعض الخبراء مؤشرًا على تراجع الشفافية.
