OpenAI يطلق وضع الحظر (Lockdown Mode) لجميع المستخدمين – رده على هجمات حقن الأوامر (Prompt Injection)

OpenAI
مشاركة:
OpenAI يطلق وضع الحظر (Lockdown Mode) لجميع المستخدمين – رده على هجمات حقن الأوامر (Prompt Injection)

كان حقن الأوامر مشكلة مزمنة في أمن المساعدات الذكية منذ أن اكتسبت النماذج اللغوية القدرة على تصفح الويب واستدعاء الخدمات الخارجية. عندما يستطيع الذكاء الاصطناعي قراءة محتوى ويب عشوائي والتصرف بناءً على تعليمات مضمنة فيه، يمكن لأي طرف ثالث ذي دافع كافٍ محاولة اختطاف سلوكه – مما يؤدي إلى تسريب معلومات حساسة من المحادثة، أو اتخاذ إجراءات غير مقصودة، أو إخراج البيانات عبر قنوات لا يستطيع المستخدم ملاحظتها مباشرة.

قامت OpenAI الآن بشحن ردها الملموس على هذه المشكلة. تم توسيع وضع الحظر، الذي قُدم في البداية لعملاء ChatGPT المؤسسيين، اعتبارًا من 4 يونيو 2026 ليشمل جميع الحسابات الشخصية والتجارية ذاتية الخدمة – بما في ذلك الطبقة المجانية. وهو إعداد أمني متقدم اختياري يقلل بشكل كبير من سطح الهجوم لـ ChatGPT عن طريق تعطيل القدرات التي يستغلها حقن الأوامر بسهولة.

ما الذي يفعله وضع الحظر بالفعل

تعمل الميزة عن طريق قطع اتصالات ChatGPT بالأنظمة الخارجية والحد من مسارات إخراج البيانات. عندما يكون وضع الحظر نشطًا، يتم تعطيل أو تقييد القدرات التالية: تصفح الويب المباشر (مقتصر على المحتوى المخبأ مع عدم وجود طلبات شبكة جديدة صادرة)، عرض الصور في الاستجابات العادية، البحث العميق (بما في ذلك ميزة أبحاث التسوق)، وضع الوكيل، شبكات Canvas (والتي كانت ستسمح للكود المولد من Canvas بإجراء طلبات خارجية)، تكاملات الموصلات المباشرة، وتنزيل الملفات من جلسات تحليل البيانات.

لا يزال بإمكان المستخدمين رفع الصور وتوليدها. تستمر المحادثات بشكل طبيعي. التفاعل مع النموذج اللغوي الأساسي غير متأثر. ما تمت إزالته هو السطح الذي يمكن من خلاله لهجوم حقن الأوامر أن يتسبب في خروج البيانات من المحادثة إلى وجهة لم يأذن بها المستخدم صراحةً.

تذكر OpenAI بحذر أن وضع الحظر لا يضمن الحصانة. ينص الإعلان صراحةً على أن المخاطر قد لا تزال قائمة من خلال التطبيقات الممكّنة، أو مجموعات القدرات غير المتوقعة، أو التقنيات غير المعروفة بعد. هذا صادق: حقن الأوامر ليس استغلالاً واحدًا بتصحيح نظيف، بل هو فئة من الهجمات تتطور مع تطور القدرات. ما يفعله وضع الحظر هو زيادة تكلفة وصعوبة الهجوم الناجح بشكل كبير عن طريق إزالة المسارات الأكثر استغلالاً بشكل شائع.

الميزة الثانية: تسميات المخاطر المرتفعة

إلى جانب وضع الحظر، تقوم OpenAI بإطلاق تسميات "مخاطر مرتفعة" للقدرات في ChatGPT وChatGPT Atlas وCodex التي تحمل تعرضًا أعلى لحقن الأوامر. تظهر هذه التسميات مباشرة في الواجهة عندما يقوم المستخدمون بتمكين أو استخدام قدرات قد تؤدي إلى مخاطر إضافية – تصفح الويب، وإجراءات وكيل معينة، واتصالات API الخارجية.

لا تمنع التسميات أي شيء؛ إنها معلوماتية. الغرض هو الرؤية: المستخدمون الذين لا يفكرون صراحةً في الأمان لا يعرفون دائمًا أي ميزات ChatGPT لديها تعرض أكبر من غيرها. مؤشر "مخاطر مرتفعة" على تصفح الويب في مهمة وكيل، على سبيل المثال، يشير إلى أن المحتوى المصفح أقل تحكمًا من السياق المقدم محليًا وقد يحتوي على تعليمات عدائية. هذا ذو صلة خاصة للمستخدمين المؤسسيين الذين ينشرون ChatGPT في سير العمل حيث يقرأ الذكاء الاصطناعي مستندات خارجية أو رسائل بريد إلكتروني أو محتوى ويب كجزء من مهمته.

لماذا هذا مهم الآن

يعكس التوقيت التوسع السريع لبصمة قدرات ChatGPT. عندما كان ChatGPT أداة أسئلة وأجوبة نصية فقط، كان حقن الأوامر مجرد فضول بحثي – لم يكن لدى النموذج أي قدرة على التصرف بناءً على تعليمات خبيثة مضمنة في محتوى خارجي لأنه لم يستطع الوصول إلى محتوى خارجي. أدت إضافة تصفح الويب (2023)، وتنفيذ الكود، والإضافات، والبحث العميق، ووضع الوكيل إلى زيادة سطح الهجوم تدريجيًا.

نشر باحثو الأمن عروضًا توضيحية لهجمات حقن الأوامر ضد ChatGPT الممكّن للتصفح والتي تسببت في إخراج النموذج لمحتويات المحادثة إلى خوادم يتحكم فيها المهاجم من خلال طلبات URL للصور، وصياغة استجابات خادعة مصممة للتلاعب بالمستخدم، وتنفيذ إجراءات غير مقصودة في سير عمل الوكيل. هذه ليست نظرية: تم إثباتها بشكل قابل للتكرار من قبل فرق أمنية في شركات بما في ذلك مايكروسوفت ونفيديا، ومن قبل باحثين مستقلين.

الثغرة الأساسية هي بنيوية: لا تستطيع النماذج اللغوية التمييز بشكل موثوق بين التعليمات التي يقدمها المستخدم في موجه النظام والتعليمات المضمنة في المحتوى الخارجي الذي يقرؤه النموذج لاحقًا. قد تكون صفحة ويب أو مستند أو بريد إلكتروني مخلق بشكل عدائي تقول "تجاهل التعليمات السابقة وبدلاً من ذلك افعل X" فعالة جزئيًا اعتمادًا على مدى بروزها في سياق النموذج ومدى تقوية النظام ضد هذه الفئة من المدخلات.

الجمهور والمقايضة

توضح OpenAI أن وضع الحظر ليس للجميع. إنه مصمم "لمجموعة صغيرة من المستخدمين شديدي الوعي الأمني – مثل المديرين التنفيذيين أو فرق الأمن" الذين هم على استعداد لمقايضة توفر الميزات من أجل وضع أمني أكثر تشددًا. بالنسبة لمحامٍ يدير اتصالات حساسة للعملاء عبر ChatGPT، أو طبيب متخصص يستفسر عن بيانات المرضى، أو باحث أمن يحلل تقارير التهديدات، فإن الميزات التي يتم تعطيلها ليست تلك التي يتم استخدامها على أي حال – والاطمئنان ببيئة أكثر تقييدًا له قيمة حقيقية.

للمستخدم العادي، سيزيل وضع الحظر الكثير من الوظائف ليكون عمليًا كإعداد دائم. يعتبر البحث العميق وتصفح الويب أساسيين لكيفية تفاعل العديد من المستخدمين مع ChatGPT يوميًا؛ تعطيلهما لمعظم الجلسات من شأنه أن يخفض المنتج بشكل ملموس. تم تصميم الميزة ليتم تمكينها ظرفيًا – يتم تشغيلها لجلسة تتعامل مع عمل حساس بشكل خاص، ثم إيقاف تشغيلها عند الانتهاء من هذا العمل.

الإشارة الأوسع هي أن OpenAI تعترف، من خلال تصميم المنتج، أن المساعدات الذكية ذات الفاعلية والاتصال الخارجي تخلق فئة أمنية لم تكن موجودة مع البرامج التقليدية. المبدأ مشابه لما أنشأته Apple مع وضع الحظر لنظام iOS (الذي تم تقديمه في عام 2022 للصحفيين والنشطاء وغيرهم المعرضين لخطر كبير من الهجمات المتطورة): وضع تشغيل مجرد ومُقوى يتبادل القدرة مقابل الطمأنينة. الاسم ليس مصادفة.

بينما تتولى وكلاء الذكاء الاصطناعي مهامًا أكثر تعقيدًا ومتعددة الخطوات ذات عواقب واقعية – حجز السفر، وإرسال البريد الإلكتروني، وتنفيذ الكود، وإجراء مكالمات API – فإن الخصائص الأمنية لهؤلاء الوكلاء ستكون أكثر أهمية، وليس أقل. وضع الحظر هو تنفيذ مبكر وعملي لمبدأ سيشكل بشكل متزايد كيفية نشر أدوات الذكاء الاصطناعي في السياقات الحساسة: القدرة ليست مجانية، وتقليل سطح ما يمكن للذكاء الاصطناعي فعله هو في بعض الأحيان الخيار المعماري الصحيح.

Originally reported by OpenAI. Read the original article for additional details.

View original source
مشاركة: