أمن الذكاء الاصطناعي

استشارات الأمن

حقن التعليمات وتسريب البيانات عبر مخرجات النموذج وإساءة استخدام الأدوات والاسترجاع المسموم ليست صيغاً من ثغرات الويب المعروفة. نُنمذِج التهديدات خصيصاً لهذه الأنظمة ونصمم المعمارية والضوابط التي تحتوي ما نجده.

التحدي التجاري

تحرك حد الثقة ولم يُعِد أحد رسمه

في التطبيقات التقليدية تنفصل البيانات عن التعليمات. أما في الأنظمة المبنية حول نماذج اللغة فتصل عبر القناة نفسها، فيصبح أي محتوى يقرؤه النموذج تعليمة محتملة. وهذه الخاصية وحدها تكسر افتراضات في نموذج الأمن كله: مستند أو صفحة ويب أو رسالة بريد أو طلب دعم قد يحمل تعليمة سيتبعها النموذج. أضيفوا الأدوات والوصول إلى الأنظمة، فتتوقف النتيجة عن كونها إجابة خاطئة وتصبح فعلاً.

ما الذي نقوم به

نمذِجوا التهديدات ثم قيّدوا بالتصميم

نحدد ما سيستهدفه المهاجم وما سيكسبه، ثم نصمم بحيث يكون الضرر الممكن محدوداً بغض النظر عن سلوك النموذج. ويعني ذلك أدنى صلاحيات للأدوات، واستدعاءات متحقَّقاً منها، ومعاملة المحتوى المسترجع كبيانات غير موثوقة، وبوابات موافقة على الإجراءات ذات الأثر، وضوابط مخرجات حيث يصل نص النموذج إلى نظام آخر. ونحدد أيضاً ما يجب تسجيله، لأن الاحتواء بلا كشف نصف ضابط.

استشارات الأمن

القدرات

  • نمذجة التهديدات

  • معمارية أمن LLM

  • معمارية أمن الوكلاء

  • تقييم المخاطر

  • مخاطر حقن التعليمات

  • تقييم تسرب البيانات

  • مخاطر سلسلة التوريد

  • معمارية آمنة

حالات الاستخدام الشائعة

حالات الاستخدام الشائعة

  • نمذجة التهديدات لتطبيق قبل انتقاله إلى الإنتاج.
  • إرساء معمارية مرجعية آمنة تبني عليها الفرق الأخرى.
  • تقييم مساعد قائم يملك وصولاً إلى الأنظمة لم يراجعه أحد.
  • تحديد ما يجب أن يثبته المورد قبل اعتماد ميزته.

كيف ننفذ

كيف ننفذ

  1. نمذجة التهديدات

    تحديد ما سيستهدفه المهاجم وما الذي سيكسبه إن وصل إليه.

  2. الاختبار

    اختبار خصومي مقابل إساءة استخدام واقعية، لا قائمة سلاسل نصية معروفة.

  3. التقرير

    نتائج بخطوات إعادة الإنتاج والخطورة والإصلاح، مرتبة حسب قابلية الاستغلال.

  4. إعادة الاختبار

    التأكد من ثبات الإصلاحات، مع ترك الاختبارات ليظهر أي ارتداد.

التقنية

التقنية

  • OWASP LLM Top 10
  • MITRE ATLAS
  • Garak
  • Burp Suite
  • ISO/IEC 27001

الأمن والحوكمة

الأمن والحوكمة

يُصرَّح بالاختبار كتابةً، ويُحصَر بأهداف متفق عليها، ويُنفَّذ على بيئة غير إنتاجية ما لم تقرروا خلاف ذلك. تُعامَل النتائج بسرية وتُبلَّغ لكم قبل أي جهة أخرى. ولا يُحتفَظ بشيء بعد انتهاء المهمة سوى التقرير واختبارات الانحدار التي طلبتم تركها.

نماذج التعاون

نماذج التعاون

الاستشارات

استشاريون خبراء يقدمون الاستراتيجية والمعمارية والتقييم وتوجيه التحول.

المشروع

نتحمل مسؤولية تصميم حل محدد وتسليمه.

خدمة مُدارة

نشغّل ونراقب ونحسّن باستمرار الأنظمة العاملة في الإنتاج.

لماذا TeamExtension.ai

المعمارية هي الضابط الوحيد الدائم

المرشحات وحواجز الحماية تستحق الوجود وستُتجاوَز في النهاية. أما الضوابط التي تصمد فمعمارية: ما يُسمح للنظام ببلوغه، وما يستطيع فعله هناك، وما يتطلب إنساناً. نصمم من هذا المنطلق، ولهذا تتعلق توصياتنا عادةً بالصلاحيات والحدود لا بقواعد الكشف.

عملاء مختارون

الأسئلة الشائعة

الأسئلة الشائعة

هل يمكن حل حقن التعليمات؟
لا يمكن القضاء عليه. لكنه يُخفَّف بالمعمارية: عاملوا كل محتوى مسترجع كغير موثوق، وضيّقوا نطاق الأدوات، وضعوا الإجراءات ذات الأثر خلف موافقة، وصمموا بحيث يبلغ الحقن الناجح شيئاً محدوداً. ومن يعرض منعاً كاملاً يبيع مرشحاً.
هل تغطي اختبارات الاختراق الحالية ذلك؟
جزئياً فقط. يغطي الاختبار التقليدي سطح التطبيق حول النموذج. لكنه لا يغطي عادةً الحقن عبر المحتوى المسترجع، ولا التسريب عبر مخرجات النموذج، ولا إساءة استخدام الأدوات، لأنها ليست فئات ثغرات تقليدية.
ما أكثر النتائج شيوعاً؟
صلاحيات أدوات واسعة أكثر من اللازم. تُمنَح الأنظمة وصولاً واسعاً أثناء التطوير لأنه مريح، ولا يُضيَّق النطاق قط قبل الإنتاج. وهي أيضاً عادةً أرخص نتيجة إصلاحاً.
كيف يتوافق ذلك مع وظيفة الأمن لدينا؟
يوسّعها. نعمل مع فريق الأمن لديكم لا حوله، والمخرج يُقصَد به أن يصبح معيارهم لا تقريرنا. وحيث ينقصهم العمق المتخصص، نبنيه معهم.

ناقش مبادرتك في الذكاء الاصطناعي

نمذِجوا تهديدات الأنظمة وصمموا المعمارية والضوابط والحدود التي تحتوي المخاطر.