كيف تختبر ذكاء خدمة العملاء ضد حقن الأوامر

اختبر ذكاء خدمة العملاء ضد حقن الأوامر عبر فحص ما يمكن أن تدفعه رسالة غير موثوقة إلى كشفه أو تغييره أو تنفيذه في النظام كله. نفذ الاختبارات في بيئة تجريبية بعملاء وبيانات اصطناعية وأدوات محدودة، وسجل النتيجة في كل خطوة. رفض النموذج لطلب واحد واضح لا يثبت أن النظام آمن.

يحدث حقن الأوامر عندما يغير محتوى غير موثوق سلوك النموذج بطريقة لم يقصدها الفريق. قد يأتي المحتوى مباشرة من رسالة العميل، أو بصورة غير مباشرة من مقال في قاعدة المعرفة أو ملف مرفق أو صفحة ويب أو نتيجة أداة أو محادثة محفوظة. يصنف مشروع أمن الذكاء الاصطناعي التوليدي التابع لـ OWASP هذا الخطر في المرتبة LLM01 لعام 2025، ويوضح أن الاسترجاع والضبط الدقيق لا يزيلانه بالكامل.

في خدمة العملاء، لا تتوقف المسألة عند إجابة غريبة. قد يرى الوكيل سجلات العملاء، ويسترجع تعليمات، ويضيف وسما، ويغير تذكرة، أو يبدأ تحويلا إلى موظف. لذلك يجب أن يتبع الاختبار المسار من الرسالة إلى النتيجة.

ابدأ بحدود الصلاحيات

اكتب بوضوح ما الذي يستطيع الوكيل قراءته واتخاذ قرار بشأنه وتغييره قبل إعداد حالات الاختبار. افصل الإجابات العادية عن الإجراءات ذات الأثر.

قد يسمح للوكيل مثلا بشرح سياسة إرجاع منشورة. لكن لا ينبغي له كشف طلب يخص عميلا آخر، أو تغيير حالة استرداد مبلغ، أو اختراع استثناء، أو إرسال بيانات الحساب إلى عنوان جديد. وإذا كان سير العمل يستطيع إنشاء عميل محتمل أو تحديث تذكرة، فحدد الحقول التي يمكن تعديلها والشروط التي يجب تحققها.

تتبع كل حالة بهذه الأسئلة:

اختبر كل طريق للمحتوى غير الموثوق

ابدأ برسائل مباشرة تحاول تغيير دور الوكيل، أو طلب بيانات خارج حساب العميل الحالي، أو تعديل سياسة، أو تشغيل أداة بلا شرط صحيح. سجل نوع السلوك المطلوب من دون نشر نصوص هجومية جاهزة لإعادة الاستخدام.

ثم افحص الطرق غير المباشرة. ضع تعليمات اختبار غير ضارة في مقال تجريبي بقاعدة المعرفة، وملف مرفق، ووصف منتج، وتذكرة قديمة، ونتيجة أداة وهمية. النتيجة المتوقعة هي أن يعامل النظام هذا المحتوى كمعلومات، لا كسلطة أعلى من قواعده.

أضف محادثات متعددة الجولات، ولغات مختلفة، وتنسيقات غير معتادة، ومحادثات طويلة، ومرفقات، ومحاولات متكررة. توضح إرشادات المركز الوطني للأمن السيبراني في المملكة المتحدة أن التلاعب قد يكون مباشرا أو غير مباشر، وقد يصل إلى الوكيل عبر نتيجة أداة أو وكيل آخر. لذلك يجب أن يشمل النطاق صندوق الوارد والاسترجاع والأدوات والذاكرة.

أبق الاختبار بعيدا عن العملاء الحقيقيين

استخدم مساحة تجريبية مستقلة بأسماء وطلبات وعناوين ومدفوعات وسجلات دعم اصطناعية. امنحها بيانات اعتماد لا تصل إلى الإنتاج. عطل الرسائل الحقيقية، واسترداد الأموال، والحجوزات، وحذف السجلات، أو وجه كل إجراء إلى خدمة اختبار خاضعة للتحكم.

اختبر فقط الأنظمة التي تملكها أو لديك تصريح بفحصها. لا تضع أسرار الإنتاج داخل الرسائل. ولا تستخدم محادثات عملاء حقيقية كمادة للاختبار إلا ضمن عملية أمن وخصوصية معتمدة.

سجل إصدار الوكيل، وتعليمات النظام، والمحتوى المسترجع، والأدوات المتاحة، والصلاحيات، والإجراء الذي حاول تنفيذه، ونتيجة التحقق، والرد، والتحويل البشري. من دون هذه الأدلة قد يختفي الفشل عند إعادة المحادثة.

قس أثر النتيجة

الإجابة الغريبة أقل أهمية من الضرر الممكن. صنف كل حالة حسب أسوأ إجراء يستطيع النظام إكماله.

• أثر منخفض يعني إجابة ضعيفة أو خارج الموضوع بلا كشف بيانات أو تغيير حالة.
• أثر ملموس يعني سياسة خاطئة، أو حالة تذكرة غير صحيحة، أو تحويل مفقود، أو تواصل غير مرغوب فيه.
• أثر مرتفع يعني كشف بيانات بين العملاء، أو إجراء غير مصرح به على الحساب، أو تغيير دفع أو استرداد، أو كشف بيانات اعتماد، أو أثر خارجي حقيقي.

ميز أيضا بين محاولة منعها النظام، ومحاولة اكتشفها، ومحاولة احتواها، ومحاولة نجحت. قد يرسل الكاشف تنبيها بعد اكتمال الإجراء الضار. أما الاحتواء فيعني أن الضوابط المحيطة منعت النتيجة حتى لو اتبع النموذج المحتوى غير الموثوق.

أصلح النظام المحيط بالنموذج

لا تعتمد على تعليمات نظام أشد صياغة. تقول OWASP إنه لا توجد وسيلة مضمونة بالكامل، وتوصي بطبقات متعددة من الحماية. امنح الوكيل أقل قدر لازم من البيانات والأدوات. طبق صلاحيات العميل ومساحة العمل في كود حتمي. تحقق من مدخلات الأدوات ومخرجاتها. افصل المحتوى المسترجع غير الموثوق عن تعليمات النظام. واطلب موافقة بشرية قبل الإجراءات عالية المخاطر.

يتعامل ملف NIST لإدارة مخاطر الذكاء الاصطناعي التوليدي مع حقن الأوامر ضمن عمل مستمر يشمل التصميم والنشر والتقييم والمراقبة. لذلك يجب أن يقلل الإصلاح أثر الفشل وأن ينتج دليلا واضحا، لا أن يوقف جملة اختبار واحدة فقط.

أعد تشغيل المجموعة كاملة بعد تغيير النموذج أو التعليمات أو قاعدة المعرفة أو أداة أو صلاحية أو ذاكرة أو سير عمل. احتفظ بالحالات الفاشلة كاختبارات رجوع. ولا تطلق النظام حتى يعرف فريق الاستلام حدوده المتبقية وطريقة إيقافه.

مثال من متجر لتأجير الكاميرات

تخيل ذكاء اصطناعيا يجيب عن أسئلة متجر لتأجير الكاميرات. يمكنه قراءة إرشادات المعدات العامة وفحص التوفر للعميل الحالي. يجب أن يثبت الاختبار أن ملفا مرفوعا لا يستطيع تغيير سياسة التأجير، وأن العميل لا يصل إلى حجز شخص آخر، وأن الوكيل لا يؤكد حجزا من دون فحص الهوية والتوفر المعتاد.

إذا كانت الرسالة غامضة أو تطلب استثناء، فقد تكون النتيجة الصحيحة تحويلا إلى موظف مع حفظ السؤال والإجراء المقصود. الوكيل الآمن ليس من يجيب عن كل شيء، بل من تبقى صلاحياته ضيقة عندما تصبح المحادثة عدائية أو غير واضحة.

في DripTell AI تستطيع الفرق التحكم في المعرفة والنوايا وإنشاء العملاء المحتملين والتحويل البشري، بينما تحدد ضوابط الأمان الأدوار والوصول. ومع ذلك يحتاج كل تطبيق إلى خطة اختبار تناسب البيانات والإجراءات التي أتيح له استخدامها.

الأسئلة الشائعة

هل يمكن منع حقن الأوامر تماما

لا يضمن أي ضابط حالي منعا كاملا. استخدم أقل الصلاحيات، وتحققا حتميا من الوصول والإجراءات، وموافقة بشرية، ومراقبة، واختبارات متكررة لتقليل احتمال الفشل وأثره.

هل ينبغي استخدام بيانات عملاء حقيقية في الاختبار

لا. ابدأ في بيئة تجريبية معزولة بسجلات اصطناعية وآثار جانبية معطلة. ولا تدخل بيانات الإنتاج في اختبار أمني إلا عبر عملية معتمدة بضوابط خصوصية واضحة.

ماذا يحدث عند فشل الاختبار

احفظ مسار التنفيذ، وامنع الإجراء الخطر، وحدد حد الثقة الذي فشل، وقلص الصلاحيات أو أضف تحققا حتميا، ثم أعد الحالة الفاشلة مع مجموعة اختبارات الرجوع كاملة قبل الإطلاق.