يتطور وكلاء الذكاء الاصطناعي من أدوات تجيب عن الأسئلة إلى أنظمة قادرة على فهم الأهداف، وبناء الخطط، والوصول إلى البيانات، واستخدام البرمجيات، وتنفيذ إجراءات نيابة عن المستخدمين. فقد يستطيع الوكيل مراجعة المستندات، أو تحديث سجلات العملاء، أو إرسال الرسائل، أو تعديل التعليمات البرمجية، أو المشاركة في سير عمل مالي.
توفر هذه القدرات قيمة تشغيلية كبيرة، لكنها توسع أيضاً نطاق الأضرار المحتملة عند وقوع خطأ أو اختراق. لذلك لا يقتصر أمن وكلاء الذكاء الاصطناعي على مراقبة النصوص التي ينتجها النموذج، بل يشمل حماية هوية الوكيل وصلاحياته وأدواته وذاكرته واتصالاته بالبيانات وسلوكه أثناء التشغيل.
الهدف ليس منع الوكيل من العمل باستقلالية، بل إنشاء استقلالية خاضعة للرقابة، بحيث يتمكن النظام من إنجاز المهام بكفاءة داخل حدود واضحة يمكن التحقق منها وإنفاذها.
## لماذا يحتاج وكلاء الذكاء الاصطناعي إلى ضوابط مختلفة؟
تتبع التطبيقات التقليدية عادةً مسارات محددة مسبقاً داخل التعليمات البرمجية. أما وكيل الذكاء الاصطناعي، فيستطيع تفسير السياق واختيار الخطوات والأدوات بصورة ديناميكية. وقد تؤدي طلبات متشابهة إلى خطط أو نتائج أو إجراءات مختلفة.
تظل ضوابط أمن التطبيقات التقليدية، مثل المصادقة والتفويض وفحص الثغرات وحماية الشبكات، ضرورية. لكن الأنظمة الوكيلة تحتاج أيضاً إلى حماية التعليمات اللغوية، والسياق المسترجع، والذاكرة، واختيار الأدوات، والاستدلال متعدد الخطوات، والعمليات التي ينفذها الوكيل فعلياً.
كل أداة أو خدمة متصلة بالوكيل توسع سطح الهجوم. وقد يستطيع وكيل مرتبط بالبريد الإلكتروني والتخزين السحابي ومستودعات التعليمات البرمجية وقواعد بيانات العملاء الجمع بين هذه الصلاحيات بطرق لم يتوقعها المصممون. ولهذا يجب ألا يقتصر قرار الأمان على سؤال: هل يستطيع الوكيل الاتصال بالنظام؟ بل يجب أن يشمل أيضاً: ماذا يحاول أن يفعل، ولماذا، وبأي بيانات؟
## أبرز مخاطر أمن الوكلاء
يُعد حقن الأوامر من أشهر المخاطر. يمكن للمهاجم وضع تعليمات ضارة داخل مطالبة مباشرة أو صفحة ويب أو بريد إلكتروني أو مستند أو تذكرة دعم أو سجل في قاعدة بيانات. وعندما يقرأ الوكيل هذا المحتوى، قد يتعامل مع بيانات غير موثوقة على أنها تعليمات مصرح بها.
قد يدفع الهجوم الناجح الوكيل إلى تجاهل قواعده، أو الكشف عن معلومات محمية، أو استخدام أداة خارج نطاق مهمته. ويصبح الخطر أكبر عندما يستطيع الوكيل تنفيذ إجراء حقيقي بدلاً من الاكتفاء بإنشاء إجابة نصية.
يمثل الوصول غير المصرح به خطراً أساسياً آخر. فقد يحصل الوكيل، بهدف تسهيل العمل، على صلاحيات أوسع بكثير مما تتطلبه مهمته. وإذا تعرض هذا الوكيل للاختراق أو اتخذ قراراً خاطئاً، فقد يصل إلى سجلات سرية، أو يغير بيانات الإنتاج، أو يرسل مراسلات غير مصرح بها، أو يبدأ معاملة مالية.
كما يمكن أن تتسبب إساءة استخدام الأدوات في تحويل خطأ في الاستدلال إلى ضرر عملي. قد يختار الوكيل الأداة الخاطئة، أو يرسل معلمات غير آمنة، أو ينفذ الإجراء في توقيت غير مناسب، أو يسيء فهم نية المستخدم. فالإجابة غير الدقيقة مشكلة، لكن أمر قاعدة بيانات خاطئ أو تحويل مالي غير صحيح قد تكون له عواقب أشد بكثير.
وقد يحدث تسرب البيانات عندما يسترجع الوكيل معلومات تتجاوز صلاحيات المستخدم، أو يضع أسراراً داخل مخرجاته، أو يرسل سياقاً سرياً إلى خدمة خارجية، أو يحفظ بيانات حساسة في سجلات تشغيل غير محمية. وبسبب اتصال الوكلاء بعدة أنظمة، يمكن أن تنتقل معلومات جُمعت من بيئة موثوقة إلى وجهة أخرى بصورة غير مقصودة.
## تسميم الذاكرة ومخاطر سلسلة التوريد
يحدث تسميم الذاكرة أو السياق عندما يُدخل مهاجم معلومات زائفة أو ضارة في مصادر يعتمد عليها الوكيل لاحقاً، مثل الذاكرة طويلة الأمد، أو قواعد البيانات المتجهية، أو المستندات المشتركة، أو سجلات العملاء، أو قواعد المعرفة.
تكمن خطورة هذا الهجوم في قدرته على الاستمرار بعد انتهاء التفاعل الأول. فقد يسترجع الوكيل المعلومات الملوثة في مهمة مستقبلية ويتعامل معها باعتبارها موثوقة. وفي بيئات الوكلاء المتعددين، يمكن أن ينتقل السياق الملوث من وكيل إلى آخر ويؤثر في سير عمل يمتلك صلاحيات أعلى.
وتضيف سلسلة توريد الذكاء الاصطناعي طبقة أخرى من المخاطر. تعتمد الوكلاء عادةً على نماذج وأطر عمل ومكونات إضافية وواجهات برمجة تطبيقات ومجموعات بيانات وحزم برمجية وخدمات خارجية. ويمكن لأي مكوّن مخترق أو مصدر بيانات تم التلاعب به أن يغيّر ما يفهمه الوكيل وما يقرره وما ينفذه.
لهذا تحتاج المؤسسات إلى سجل واضح لأصول الذكاء الاصطناعي ومكوناته، مع التحقق من مصادر الأدوات والنماذج، وتثبيت الإصدارات الموثوقة، وفحص التبعيات باستمرار، ومراقبة السلوك غير المعتاد للخدمات الخارجية.
## هوية مستقلة ومبدأ الحد الأدنى من الصلاحيات
يجب أن يمتلك كل وكيل مستخدم في بيئة الإنتاج هوية مستقلة وقابلة للتتبع. ولا ينبغي للوكلاء مشاركة حسابات شخصية أو هويات خدمة عامة أو بيانات اعتماد طويلة الأجل. تتيح الهوية المنفصلة تحديد المسؤولية، وتطبيق السياسات، وتدوير بيانات الاعتماد، والتحقيق في الحوادث، وتعطيل الوكيل بسرعة عند الضرورة.
ينبغي حصر الصلاحيات وفق الدور والمهمة ومصدر البيانات والبيئة ونوع الإجراء. فالوكيل الذي يلخص سجلات العملاء لا يحتاج إلى وصول غير محدود إلى قاعدة البيانات. ويُفضل فصل صلاحيات القراءة عن الكتابة، واستخدام بيانات اعتماد قصيرة العمر، وإزالة الأذونات التي لم تعد مطلوبة.
كما ينبغي أن تعمل الأدوات وواجهات البرمجة وفق سياسة المنع الافتراضي. يجب أن تمتلك كل أداة معتمدة مخططاً واضحاً للمدخلات، وحدوداً للوصول، وضوابط لمعدل الاستخدام، وقواعد لمعالجة المخرجات، وسجلاً كاملاً للعمليات. أما الأدوات الحساسة فينبغي وضعها خلف بوابات آمنة تتحقق من كل طلب قبل تنفيذه.
## التعامل مع المدخلات والمخرجات باعتبارها غير موثوقة
لا ينبغي اعتبار المحتوى الوارد من المستخدمين أو المواقع أو الرسائل أو المستندات أو نتائج الأدوات آمناً بصورة تلقائية. يجب فصل تعليمات النظام الموثوقة بوضوح عن المحتوى الخارجي، والتحقق من مصدر المعلومات المسترجعة ومستوى صلاحية المستخدم للوصول إليها.
ولا تقل مراقبة المخرجات أهمية عن مراقبة المدخلات. فقد تتحول الإجابة التي ينشئها الوكيل إلى أمر تنفذه بيئة سطر أوامر أو متصفح أو قاعدة بيانات أو منصة مراسلة. لذلك يجب فحص المعلمات وفق مخططات وسياسات محددة قبل التنفيذ، مع طلب تأكيد صريح قبل العمليات التخريبية أو الخارجية.
تحتاج الذاكرة أيضاً إلى ضوابط مستقلة. يجب تحديد الجهات المسموح لها بالكتابة في الذاكرة المستمرة، وتسجيل مصدر المعلومات، وتنقية الإدخالات الجديدة، وحذف البيانات التي انتهت الحاجة إليها. ذاكرة الوكيل مخزن بيانات محتمل الاستهداف، وليست مصدراً موثوقاً للحقيقة بصورة افتراضية.
## المراقبة المستمرة والإشراف البشري
لا تستطيع اختبارات ما قبل النشر توقع كل مسار قد يختاره الوكيل. لذلك يجب أن تشمل المراقبة أثناء التشغيل المطالبات، والسياق المسترجع، وعمليات فحص الصلاحيات، واستدعاءات الأدوات، وتحديثات الذاكرة، والإجراءات المحظورة، والموافقات البشرية، والنتائج النهائية.
ينبغي البحث عن تسلسلات أدوات غير مألوفة، ومحاولات وصول فاشلة ومتكررة، ووجهات خارجية غير متوقعة، وزيادات مفاجئة في نقل البيانات، وتغييرات في الصلاحيات، وإجراءات لا تتفق مع الغرض المحدد للوكيل. كما تحتاج البيئات عالية المخاطر إلى وسيلة فورية لإيقاف الوكيل أو سحب بيانات اعتماده أو إنهاء سير العمل.
لا تستدعي كل عملية مراجعة بشرية. يمكن أتمتة المهام الروتينية والقابلة للعكس ومنخفضة المخاطر، بينما يجب أن تخضع العمليات التي تؤثر في بيانات الإنتاج أو الأموال أو الصلاحيات أو الاتصالات الخارجية أو المعلومات المنظمة لمستوى أعلى من الموافقة.
يُبنى أمن وكلاء الذكاء الاصطناعي في النهاية على الجمع بين الاستقلالية والمساءلة. وتشكل الهوية القوية، والحد الأدنى من الصلاحيات، وحوكمة الأدوات، وحماية السياق، والمراقبة المستمرة، والموافقة البشرية المبنية على مستوى المخاطر دفاعاً متعدد الطبقات.
ومع تطور قدرات الوكلاء، تواصل KAEL AI مشاركة الرؤى العملية حول الحوكمة والأتمتة الموثوقة عبر [Facebook](https://www.facebook.com/profile.php?id=61594050729769) و[X](https://x.com/KAELAI001)، لمساعدة الفرق على توسيع نطاق الأتمتة دون التضحية بالشفافية أو التحكم أو المسؤولية.