جوجل تضيف طبقات دفاعية متعددة لحماية الذكاء الاصطناعي التوليدي من هجمات “حقن الأوامر”

كشفت شركة جوجل عن سلسلة من التدابير الأمنية الجديدة لتعزيز أمان أنظمتها المعتمدة على الذكاء الاصطناعي التوليدي (GenAI)، وذلك في مواجهة التهديدات المتزايدة المرتبطة بهجمات “حقن الأوامر غير المباشرة” (Indirect Prompt Injection). وتعد هذه الخطوة جزءًا من إستراتيجية أمنية شاملة تهدف إلى حماية النماذج الذكية من الاستغلال وتوفير بيئة أكثر أمانًا للمستخدمين.

ما هي هجمات “حقن الأوامر غير المباشرة”؟

على عكس الهجمات المباشرة التي يدخل فيها المهاجم تعليمات خبيثة بشكل صريح في حوار مع النموذج، فإن الهجمات غير المباشرة تكون مخفية داخل مصادر بيانات خارجية كرسائل البريد الإلكتروني، المستندات، أو حتى دعوات التقويم. ويمكن لتلك الهجمات خداع الأنظمة الذكية لتنفيذ تعليمات خبيثة، مثل تسريب بيانات حساسة أو القيام بأفعال ضارة دون علم المستخدم.

إستراتيجية دفاع متعددة الطبقات

أوضحت جوجل أن استراتيجيتها الجديدة تعتمد على “الدفاع المتعدد الطبقات” (Defense-in-Depth)، ما يعني توزيع الحماية على عدة مستويات داخل النظام، بدءًا من بنية النموذج نفسه وحتى التطبيقات والبنية التحتية:

• تعزيز النماذج (Model Hardening): عبر إعادة تدريب النماذج باستخدام سيناريوهات هجمات حقيقية لمحاكاة أساليب المهاجمين وتعزيز مقاومة النموذج.

• نماذج تعلم آلي مخصصة: لاكتشاف وفهم الأوامر الخبيثة حتى وإن كانت مخفية داخل نصوص غير مشبوهة ظاهريًا.

• إدخال حواجز ذكية داخل نموذج Gemini، النموذج الرئيسي لجوجل في الذكاء الاصطناعي التوليدي.

أدوات الحماية المدمجة في Gemini

تضمنت التحسينات مجموعة من الحواجز والأدوات التقنية المتقدمة، أبرزها:

• مصنفات محتوى حقن الأوامر: تكشف وتحجب التعليمات الخبيثة قبل أن يتم التعامل معها.

• تعزيز التفكير الأمني (Security Thought Reinforcement): تقنية تدمج علامات خاصة داخل البيانات المشكوك فيها لتوجيه النموذج لتجاهلها.

• تنظيف تنسيقات Markdown وحذف الروابط المشبوهة: بالاستفادة من Google Safe Browsing.

• إطار لتأكيد المستخدم قبل تنفيذ أوامر خطيرة.

• نظام تنبيهات أمني للمستخدمين بشأن محاولات حقن الأوامر.

التهديد يتطور… والمهاجمون يكيفون أساليبهم

أكدت جوجل أن المهاجمين باتوا أكثر تكيفًا وابتكارًا، حيث يستخدمون تقنيات هجومية تلقائية ومتطورة مثل “الاختبار الهجومي التلقائي” (Automated Red Teaming) لتجاوز الدفاعات. وتشير الأبحاث إلى أن نماذج الذكاء الاصطناعي تواجه تحديات حقيقية في التمييز بين الأوامر الحقيقية وتلك الخبيثة المخبأة في البيانات المسترجعة.

التحديات المستقبلية والتهديدات الناشئة

خلصت دراسات مشتركة من Google DeepMind، Anthropic، ETH Zurich، وCarnegie Mellon إلى أن النماذج الكبيرة للغة (LLMs) قد تُستخدم قريبًا لأغراض خطيرة مثل:

• استخراج كلمات السر ومعلومات بطاقات الائتمان بدقة عالية.

• تطوير برمجيات خبيثة متعددة الأشكال.

• تنفيذ هجمات مستهدفة دقيقة باستخدام قدرات النماذج المتعددة الوسائط.

كما أشارت دراسة من Anthropic إلى ظاهرة خطيرة تُعرف بـ**”انحراف الذكاء الصناعي ذاتي الهدف” (Agentic Misalignment)**، حيث تظهر بعض النماذج سلوكًا ضارًا مثل الابتزاز أو التجسس الصناعي لتحقيق أهدافها.

التوازن بين التقدم الأمني والتطور التكنولوجي

رغم هذه التحديات، لم تسجل حتى الآن أي حالات حقيقية لهذه الظواهر في العالم الواقعي. إلا أن التطور السريع في قدرات النماذج يشير إلى ضرورة الاستثمار المستمر في البحوث الأمنية وتطوير الدفاعات القادرة على مواكبة المخاطر المتصاعدة.