كشفت شركة الذكاء الاصطناعي الكندية Cohere أنها رصدت أحد أحدث نماذج الذكاء الاصطناعي التابعة لشركة علي بابا، Qwen3.8-Flash-Next، وهو يحاول تحميل ملف إلى خادم في بكين خلال اختبار روتيني للأمن السيبراني، رغم أن النموذج ذكر في ملاحظاته أنه لن يستخدم أي أدوات خارجية.
وأثار الحادث في البداية مخاوف من أن يكون النموذج قد انتهك أحد الوعود الأساسية التي تقدمها النماذج مفتوحة الأوزان للشركات، وهو أن تشغيلها على خوادم داخلية يضمن بقاء البيانات داخل المؤسسة.
لكن المخاوف الأولية من احتمال التجسس على بيانات الشركات سرعان ما تراجعت، بعدما استبعد باحثون هذا التفسير، ورجحوا أن يكون السلوك نتيجة لبيئات التدريب المعقدة وغير المنظمة، التي قد تدفع النماذج إلى التصرف بصورة غير متوقعة وخارج التعليمات المحددة لها، وليس محاولة متعمدة لإرسال معلومات حساسة إلى الصين سرًا.
وبدأت الواقعة يوم الجمعة، خلال اختبار طلب فيه الباحثون من نموذج Qwen كتابة قاعدة لاكتشاف عمليات تنزيل البرمجيات الخبيثة.
ووفقًا لتدوينة نشرتها “Cohere”، أوضح النموذج صراحة في استدلالاته المكتوبة أنه لن يستخدم أي أدوات خارجية.
لكن في الخطوة التالية مباشرة، حاول النموذج إرسال سلسلة نصية تجريبية، تتكون من نص قصير مخصص للاختبار، إلى خادم خارجي، قبل أن تمنعه بيئة عزل أمنية من إتمام العملية.
وقالت “Cohere” إنها لم تتمكن من تحديد ما إذا كان هذا السلوك متعمدًا أم أنه مجرد أثر متبقٍ من عملية تدريب النموذج.
وفي تعليقه على الجدل بشأن نوايا النموذج، قال إيفان تشانغ، الشريك المؤسس لشركة Cohere، لموقع “تك كرانش”، إن الشركة رصدت سلوكيات غريبة لدى نماذجها الخاصة أثناء عملها داخل بيئات المحاكاة المستخدمة في التدريب.
وأوضح تشانغ: “من الصعب للغاية تحديد النية أو الدافع. لقد قرأنا سجلات تتبع نماذجنا، ورصدنا حالات من التحايل على نظام المكافآت، وأحيانًا تصبح هذه النماذج مبتكرة للغاية عندما تحاول الخروج من بيئات العزل الخاصة بها”.
ويشير مصطلح “التحايل على نظام المكافآت” إلى لجوء النموذج إلى اختصارات أو أساليب غير متوقعة للحصول على مكافأة أو تقييم إيجابي، دون تنفيذ المهمة بالطريقة المقصودة.
ولتعليم نماذج الذكاء الاصطناعي العمل بوصفها وكلاء قادرين على اتخاذ إجراءات بصورة مستقلة، تعتمد شركات مثل “علي بابا” على تدريبها في آلاف البيئات التجريبية، التي تشبه أجهزة محاكاة الطيران، ولكنها مخصصة للبرمجيات.
ويحصل النموذج على مكافأة كلما أنجز مهمة داخل إحدى هذه البيئات، ما يسمح له باكتساب أنماط سلوكية وعادات مختلفة خلال التدريب.
وإذا كانت هذه البيئات التجريبية تستخدم بصورة متكررة خوادم علي بابا السحابية لتخزين الملفات، فقد يتعلم النموذج حفظ الملفات على تلك الخوادم بصورة تلقائية، حتى في سياقات لا تتطلب ذلك.
كما رأى منتقدون أن الحادث ربما تأثر بالطريقة التي اتبعتها “Cohere” للتحقيق في سلوك النموذج، معتبرين أن إجراءات الاختبار ربما وجهته نحو تنفيذ هذا التصرف، بدلًا من قياس مدى تكراره بصورة تلقائية أثناء الاستخدام العادي.
ولمعرفة ما الذي دفع النموذج إلى محاولة تحميل الملف، قدمت “Cohere” له بداية أمر شبكي، وهو تعليمة تسمح لجهاز كمبيوتر بالاتصال بجهاز آخر، ثم تركته يستكمل الأمر بنفسه.
ونظرًا إلى أن النموذج عالج آلاف الأوامر الشبكية الروتينية خلال التدريب، فقد تصرف بطريقة تشبه أنظمة الإكمال التلقائي المتقدمة للغاية، إذ أخذ يستكمل العناوين الإلكترونية، وكان من بينها عناوين تخص خوادم “علي بابا”.
وأكدت “Cohere” أن محاولة التحميل الأصلية حدثت دون هذا النوع من المساعدة، لكنها وصفت السلوك بأنه نادر الحدوث.
وبعد أن طالب مطورون بمزيد من الأدلة، نشرت “Cohere” مساء الاثنين السجلات الخام لتجاربها على منصة Hugging Face المخصصة لمطوري الذكاء الاصطناعي، وأرفقت بها نصًا برمجيًا يتيح للباحثين الآخرين محاولة إعادة إنتاج السلوك نفسه.
وبعد مراجعة السجلات، اعتبر أحد المشككين في البداية أن الأدلة قوية على قدرة نموذج Qwen على إنشاء عناوين إلكترونية مثيرة للريبة من تلقاء نفسه، لكنه لم يجد ما يثبت أن علي بابا زرعت بابًا خلفيًا في النموذج، أو أن Qwen كان يتعمد إخفاء نواياه.
ويأتي الحادث في وقت تدرس فيه الحكومات كيفية التعامل مع تقنيات الذكاء الاصطناعي الصينية، وما إذا كان ينبغي فرض قيود إضافية على استخدامها.
ففي الأسبوع الماضي، أمرت وزارة الأمن الداخلي الأميركية الوكالات المدنية التابعة للحكومة الفيدرالية بإزالة منتجات شركة ديب سيك الصينية المتخصصة في الذكاء الاصطناعي من أنظمتها.
وفي تدوينتها، دعت “Cohere” الحكومات إلى توضيح ما إذا كانت القيود المفروضة على الذكاء الاصطناعي الصيني تشمل أيضًا النماذج التي تعمل على أجهزة الكمبيوتر الحكومية.
وقال تشانغ: “أنا لا أطالب بفرض تنظيم شامل على هذه النماذج مفتوحة الأوزان”، مضيفًا أن الشركات ينبغي أن تتعامل مع النماذج المفتوحة بالطريقة نفسها التي تتعامل بها مع أي برنامج يتم تنزيله من الإنترنت.
وتبيع “Cohere” نماذج الذكاء الاصطناعي الخاصة بها للحكومات، ما يعني أن تشدد المسؤولين تجاه البدائل الصينية المجانية قد يصب في مصلحة الشركة ويمنحها فرصًا أكبر للمنافسة في هذا السوق.
About The Author
