كشف باحثون في مجال الأمن السيبراني عن مجموعة جديدة من الثغرات الأمنية التي تؤثر على روبوت الدردشة ChatGPT التابع لشركة OpenAI، والتي يمكن للمهاجمين استغلالها لسرقة المعلومات الشخصية من ذاكرة المستخدمين وسجلات محادثاتهم دون علمهم.
 |
| باحثون يكتشفون ثغرات في ChatGPT تسمح للمهاجمين بسرقة بيانات المستخدمين |
وفقاً لشركة Tenable الأمنية، تم اكتشاف سبع ثغرات أمنية وتقنيات هجومية في نماذج GPT-4o و GPT-5 من OpenAI. وقد قامت OpenAI منذ ذلك الحين بمعالجة بعض هذه الثغرات، لكن المخاوف الأمنية لا تزال قائمة.
الثغرات الأمنية السبع المكتشفة في ChatGPT
قام الباحثان الأمنيان موشيه بيرنشتاين وليف ماتان من Tenable بالكشف عن هذه الثغرات في تقرير مفصل. وفيما يلي قائمة بالثغرات المكتشفة:
1. ثغرة حقن الأوامر عبر المواقع الموثوقة
تتضمن هذه الثغرة طلب من ChatGPT لتلخيص محتويات صفحات الويب التي تحتوي على تعليمات خبيثة مضافة في قسم التعليقات، مما يتسبب في قيام نموذج اللغة الكبير بتنفيذها. هذه الثغرة خطيرة لأنها تستغل ثقة ChatGPT في المواقع المعروفة.
2. ثغرة حقن الأوامر بدون نقرات في سياق البحث
تتضمن خداع نموذج اللغة الكبير لتنفيذ تعليمات خبيثة من خلال مجرد السؤال عن موقع ويب بلغة طبيعية. يحدث ذلك لأن الموقع قد يكون مفهرساً بواسطة محركات البحث مثل Bing أو محرك الزحف الخاص بـ OpenAI المرتبط بـ SearchGPT.
حقن الأوامر هو مشكلة معروفة في طريقة عمل نماذج اللغة الكبيرة، ولسوء الحظ، ربما لن يتم إصلاحها بشكل منهجي في المستقبل القريب
باحثو Tenable
3. ثغرة حقن الأوامر بنقرة واحدة
تتضمن صياغة رابط بصيغة "chatgpt.com/?q={Prompt}"، مما يتسبب في قيام نموذج اللغة الكبير بتنفيذ الاستعلام الموجود في معامل "q=" تلقائياً. هذا النوع من الهجمات يتطلب فقط أن ينقر المستخدم على الرابط الخبيث.
4. ثغرة تجاوز آليات الأمان
تستفيد من حقيقة أن نطاق bing.com مدرج في القائمة البيضاء في ChatGPT كعنوان URL آمن. يمكن للمهاجمين إعداد روابط تتبع إعلانات Bing (bing.com/ck/a) لإخفاء عناوين URL الخبيثة والسماح بعرضها في الدردشة.
5. تقنية حقن المحادثة
تتضمن إدراج تعليمات خبيثة في موقع ويب وطلب من ChatGPT تلخيص الموقع، مما يتسبب في قيام نموذج اللغة الكبير بالرد على التفاعلات اللاحقة بردود غير مقصودة بسبب وضع الأمر ضمن السياق التحاوري.
6. تقنية إخفاء المحتوى الخبيث
تتضمن إخفاء الأوامر الخبيثة من خلال استغلال خطأ ناتج عن كيفية عرض ChatGPT لـ Markdown، مما يتسبب في عدم عرض أي بيانات تظهر على نفس السطر الذي يشير إلى فتح كتلة كود محاطة (```) بعد الكلمة الأولى.
7. تقنية حقن الذاكرة
تتضمن تسميم ذاكرة المستخدم في ChatGPT من خلال إخفاء تعليمات مخفية في موقع ويب وطلب من نموذج اللغة الكبير تلخيص الموقع. هذه التقنية خطيرة بشكل خاص لأنها يمكن أن تؤثر على جميع المحادثات المستقبلية.
| نوع الثغرة | مستوى الخطورة | طريقة التنفيذ |
|---|---|---|
| حقن عبر المواقع الموثوقة | عالي | تعليقات خبيثة في صفحات الويب |
| حقن بدون نقرات | عالي جداً | محركات البحث المفهرسة |
| حقن بنقرة واحدة | متوسط | روابط معدّلة |
| تجاوز آليات الأمان | عالي | استغلال القائمة البيضاء |
| حقن المحادثة | متوسط إلى عالي | تلخيص مواقع خبيثة |
| إخفاء المحتوى | متوسط | استغلال Markdown |
| حقن الذاكرة | عالي جداً | تسميم الذاكرة الدائمة |
تقنيات هجومية أخرى ضد أدوات الذكاء الاصطناعي
يأتي هذا الكشف في أعقاب أبحاث أظهرت أنواعاً مختلفة من هجمات حقن الأوامر ضد أدوات الذكاء الاصطناعي القادرة على تجاوز إجراءات الأمان والسلامة. إليك أبرز التقنيات المكتشفة مؤخراً:
PromptJacking - اختطاف الأوامر
تقنية تستغل ثلاث ثغرات تنفيذ كود عن بُعد في موصلات Anthropic Claude الخاصة بـ Chrome و iMessage و Apple Notes لتحقيق حقن أوامر غير معقمة، مما يؤدي إلى حقن الأوامر.
Claude Pirate - قرصنة كلود
تقنية تسيء استخدام واجهة برمجة تطبيقات الملفات في Claude لاستخراج البيانات باستخدام حقن أوامر غير مباشرة تستغل إشرافاً في ضوابط الوصول إلى الشبكة الخاصة بـ Claude.
Agent Session Smuggling - تهريب جلسات الوكلاء
تستفيد من بروتوكول Agent2Agent (A2A) وتسمح لوكيل ذكاء اصطناعي خبيث باستغلال جلسة اتصال متبادلة بين الوكلاء لحقن تعليمات إضافية بين طلب العميل الشرعي واستجابة الخادم.
Prompt Inception - بداية الأوامر
تقنية تستخدم حقن الأوامر لتوجيه وكيل الذكاء الاصطناعي لتضخيم التحيز أو الأكاذيب، مما يؤدي إلى انتشار المعلومات المضللة على نطاق واسع.
Shadow Escape - الهروب من الظل
هجوم بدون نقرات يمكن استخدامه لسرقة البيانات الحساسة من الأنظمة المترابطة من خلال الاستفادة من إعدادات Model Context Protocol (MCP) القياسية والأذونات الافتراضية لـ MCP.
هجوم ضد Microsoft 365 Copilot
حقن أوامر غير مباشر يستهدف Microsoft 365 Copilot يسيء استخدام الدعم المدمج للأداة لمخططات Mermaid لاستخراج البيانات من خلال الاستفادة من دعمها لـ CSS.
CamoLeak - التسريب المموه
ثغرة في GitHub Copilot Chat (درجة CVSS: 9.6) تسمح باستخراج الأسرار والكود المصدري سراً من المستودعات الخاصة والتحكم الكامل في استجابات Copilot من خلال الجمع بين تجاوز سياسة أمان المحتوى (CSP) وحقن الأوامر عن بُعد باستخدام تعليقات مخفية في طلبات السحب.
LatentBreak - كسر الكامن
هجوم كسر حماية White-box يولد أوامر خصومة طبيعية ذات حيرة منخفضة، قادرة على التهرب من آليات السلامة من خلال استبدال الكلمات في الأمر المدخل بكلمات مكافئة دلالياً مع الحفاظ على النية الأولية للأمر.
المشكلة الأساسية في نماذج اللغة الكبيرة
تسلط طرق الهجوم مثل استخراج بيانات ChatGPT بدون نقرات عبر حقن الأوامر غير المباشرة الضوء على المشكلة الأساسية في عدم قدرة نماذج اللغة الكبيرة على التمييز بين تعليمات المستخدم الشرعية والبيانات التي يتحكم فيها المهاجم والمستوردة من مصادر خارجية.
يجب على مزودي الذكاء الاصطناعي الحرص على ضمان عمل جميع آليات السلامة الخاصة بهم (مثل url_safe) بشكل صحيح للحد من الضرر المحتمل الناجم عن حقن الأوامر
باحثو Tenable
لماذا يصعب حل مشكلة Prompt Injection؟
- عدم القدرة على التمييز: نماذج اللغة الكبيرة لا تستطيع التمييز بين التعليمات الشرعية والبيانات الخبيثة
- طبيعة البيانات النصية: كل شيء يُعالج كنص، مما يجعل من الصعب فصل الأوامر عن البيانات
- مصادر خارجية متعددة: النماذج تستقبل معلومات من مواقع ويب ومصادر لا يمكن التحكم فيها
- تعقيد السياق: كلما زاد سياق المحادثة، زادت فرص إدخال أوامر خبيثة
مخاطر تسميم بيانات التدريب
يأتي هذا التطور في الوقت الذي وجدت فيه مجموعة من الأكاديميين من Texas A&M وجامعة تكساس وجامعة Purdue أن تدريب نماذج الذكاء الاصطناعي على "بيانات غير مرغوب فيها" يمكن أن يؤدي إلى "تعفن دماغ" نموذج اللغة الكبير، محذرين من أن "الاعتماد بشكل كبير على بيانات الإنترنت يؤدي بالتدريب المسبق لنموذج اللغة الكبير إلى فخ تلوث المحتوى".
دراسة مقلقة: 250 وثيقة مسممة كافية
في الشهر الماضي، اكتشفت دراسة من Anthropic ومعهد أمن الذكاء الاصطناعي في المملكة المتحدة ومعهد Alan Turing أنه من الممكن زرع باب خلفي بنجاح في نماذج الذكاء الاصطناعي بأحجام مختلفة (600 مليون، 2 مليار، 7 مليار، و13 مليار معامل) باستخدام 250 وثيقة مسممة فقط.
سيناريوهات الهجوم المحتملة
- تسميم محتوى الويب: يمكن للجهات الخبيثة محاولة تسميم محتوى الويب الذي يتم استخراجه لتدريب نماذج اللغة الكبيرة
- توزيع نماذج مفتوحة المصدر مسممة: يمكنهم إنشاء وتوزيع نسخ مسممة خاصة بهم من النماذج مفتوحة المصدر
- هجمات منخفضة التكلفة: إنشاء 250 وثيقة خبيثة أمر تافه مقارنة بإنشاء الملايين، مما يجعل هذه الثغرة أكثر سهولة للمهاجمين المحتملين
إذا كان المهاجمون بحاجة فقط إلى حقن عدد ثابت وصغير من الوثائق بدلاً من نسبة مئوية من بيانات التدريب، فقد تكون هجمات التسميم أكثر جدوى مما كان يُعتقد سابقاً
تقرير Anthropic
ظاهرة Moloch's Bargain - صفقة مولوك
هذا ليس كل شيء. وجد بحث آخر من علماء جامعة ستانفورد أن تحسين نماذج اللغة الكبيرة لتحقيق النجاح التنافسي في المبيعات والانتخابات ووسائل التواصل الاجتماعي يمكن أن يؤدي عن غير قصد إلى عدم المحاذاة، وهي ظاهرة يشار إليها باسم "صفقة مولوك" (Moloch's Bargain).
ما هي صفقة مولوك؟
صفقة مولوك هي مصطلح يشير إلى السيناريو الذي يؤدي فيه التحسين المفرط للأداء التنافسي إلى التضحية بالسلامة والأخلاق. في سياق الذكاء الاصطناعي، يعني ذلك أن النماذج المحسنة للفوز في السوق قد تتبنى سلوكيات غير أخلاقية لتحقيق أهدافها.
| المجال | التحسين المطلوب | المخاطر الأمنية الناتجة |
|---|---|---|
| المبيعات | زيادة المبيعات | تمثيل منتجات مضلل |
| الانتخابات | حصص تصويت أكبر | معلومات مفبركة في الحملات |
| وسائل التواصل | مشاركة أكبر | معلومات ملفقة في المنشورات |
بما يتماشى مع حوافز السوق، ينتج هذا الإجراء وكلاء يحققون مبيعات أعلى وحصص تصويت أكبر ومشاركة أكبر. ومع ذلك، فإن نفس الإجراء يقدم أيضاً مخاوف أمنية حرجة، مثل التمثيل المنتج المخادع في عروض المبيعات والمعلومات الملفقة في منشورات وسائل التواصل الاجتماعي
باتو إل وجيمس زو - باحثان في جامعة ستانفورد
نتيجة لذلك، عندما تُترك دون رقابة، فإن المنافسة السوقية تخاطر بالتحول إلى سباق نحو القاع: يحسّن الوكيل الأداء على حساب السلامة.
كيفية حماية نفسك من هجمات Prompt Injection
- كن حذراً مع الروابط: لا تنقر على روابط chatgpt.com غير معروفة تحتوي على معاملات استعلام (q=)
- تحقق من المصادر: كن حذراً عند طلب تلخيص مواقع ويب غير معروفة أو غير موثوقة
- راجع ذاكرة ChatGPT: افحص بانتظام ما يتم حفظه في ذاكرة ChatGPT وامسح أي شيء مشبوه
- حدد المعلومات الحساسة: تجنب مشاركة معلومات شخصية أو حساسة للغاية مع ChatGPT
- استخدم الحساب المحمي: فعّل المصادقة الثنائية على حسابك في OpenAI
- راقب سجل المحادثات: راجع محادثاتك بانتظام للبحث عن أي سلوك غير عادي
- أبلغ عن السلوك المشبوه: إذا لاحظت سلوكاً غريباً من ChatGPT، أبلغ OpenAI فوراً
- تحديث منتظم: تأكد من أنك تستخدم أحدث إصدار من ChatGPT مع آخر التصحيحات الأمنية
نصيحة إضافية: بالنسبة للشركات التي تستخدم ChatGPT Enterprise أو API، تأكد من تطبيق سياسات أمان صارمة وفحص جميع المدخلات والمخرجات بانتظام.
