This is the Trace Id: 1306e7109c03f11af649ae6cf8238ed4

سلسلة أمان تطبيقات الذكاء الاصطناعي رقم 1: اعتبارات الأمان عند تبني أدوات الذكاء الاصطناعي

صورة لامرأة تنظر إلى شاشة الكمبيوتر.

تحقيق التوازن بين مخاطر الذكاء الاصطناعي ومكافأته

انتقل الذكاء الاصطناعي (AI) بسرعة من مرحلة التجربة إلى مرحلة التنفيذ، حيث أعاد تشكيل كيفية عمل المنظمات واتخاذها للقرارات وإدارتها للمخاطر. ومع اندماج الذكاء الاصطناعي في الإنتاجية والتعاون ومهام سير عمل الأمان، فإنه يغير أيضًا سرعة الإنجاز وحجمه.

لكن هذا التسارع يفتح أيضًا مسارات إضافية للاستغلال. تستغل الجهات المهدِّدة الذكاء الاصطناعي بالفعل في الاستكشاف والانتحال بالهندسة الاجتماعية والتشغيل التلقائي؛ ما يحول أداة دفاعية قوية إلى سلاح هجومي محتمل. لذلك لم يعد الأمان يقتصر على حماية الأنظمة والبيانات التقليدية؛ بل أصبح يتعلق بفهم وتأمين كيف يتم الوصول إلى الذكاء الاصطناعي واستخدامه وتطبيقه داخل مؤسستك.

كما أن أدوات الذكاء الاصطناعي تفرض تحديات أكثر دقة أيضًا. قد تسيء الأنظمة تفسير البيانات، أو ترتكب أخطاء، أو تُظهر تفضيلات غير متوقعة. وقد تتغير المخرجات بمرور الوقت مع تحديث النماذج أو إعادة تدريبها. وهذا يعني أن الأمان لا يقتصر فقط على حماية البرنامج؛ بل يتعلق بمراقبة السلوك، والتحقق من صحة النتائج، وتطبيق أطر حوكمة تضمن استخدام أدوات الذكاء الاصطناعي بمسؤولية. من دون هذه الإجراءات، قد تنتج مخاطر تشغيلية حتى من جانب التطبيقات ذات النوايا الحسنة.

تستعرض هذه المقالة اعتبارات الأمان العملية التي ينبغي على المنظمات وضعها في الاعتبار مع تزايد اعتماد الذكاء الاصطناعي في العمل. بدءًا من المساعدة في منع سوء الاستخدام وفرض الحوكمة، وصولًا إلى مراقبة الوصول والتحكم فيه، سنستعرض كيف يمكن للمنظمات الاستفادة من الذكاء الاصطناعي بأمان وفعالية.

توسيع مسارات استغلال تطبيقات الذكاء الاصطناعي

إن الاعتماد المتزايد على الذكاء الاصطناعي يضيف المزيد من مسارات الدخول المحتملة للجهات المهدِّدة حتى تستغلها. يمكن للجهات المهدِّدة الآن الاستفادة من الذكاء الاصطناعي لتوسيع حملات التصيد الاحتيالي، وتخصيص رسائل الانتحال بالهندسة الاجتماعية، أو تشغيل مهام الهجوم المتكررة تلقائيًا.

ومع تحول أدوات الذكاء الاصطناعي إلى جزء أساسي من عمليات الأعمال، يجب على المنظمات إدراك أن التبني يوسّع نطاق الأجزاء المعرضة للهجوم ويزيد من حدة المخاطر القائمة. أربعة مجالات رئيسية للقلق تتضمن:

مخاطر البيانات: باستخدام الأذونات المناسبة، يمكن لـ Microsoft Copilot الوصول إلى رسائل البريد الإلكتروني والمستندات ورسائل Teams لتقديم ردود على دراية بالسياق. قد يؤدي هذا الوصول إلى كشف معلومات حساسة بدون قصد. على سبيل المثال، إذا قام المستخدم بتضمين معلومات حساسة في مطالبة مثل كلمات المرور أو التعليمات البرمجية الخاصة أو البيانات السرية، فقد يتم كشفها. يمكن للمنظمات التخفيف من هذه المخاطر باستخدام سياسات تفادي فقدان البيانات (DLP) في Microsoft Purview، وتطبيق مبدأ أقل امتياز، وفرض تصنيف البيانات.

سلوك الذكاء الاصطناعي ومخاطر المحتوى: Copilot يستجيب مباشرةً للمدخلات التي يتلقاها. يمكن للتعليمات الخبيثة أو المضللة أن تؤدي إلى مخرجات غير آمنة، سواء كانت مضمنة أو مخفية في المستندات أو قواعد المعرفة. قد تكشف هجمات إدخال المطالبات أو المحتوى المُخترق معلومات حساسة أو تنتج توصيات غير صحيحة. ولا يقتصر الخطر على الجهات الخارجية فقط، فالموظفون الذين لديهم وصول مشروع قد يسيئون استخدام الأنظمة أيضًا. يمكن للمنظمات تقليل المخاطر باستخدام التحقق من صحة المدخلات، ومراقبة الخطر الداخلي، وفحص بيانات التعريف، واستيعاب المحتوى بشكل مضبوط، والمراجعة البشرية.

التشغيل التلقائي وسوء الاستخدام التشغيلي:
ينفذ الذكاء الاصطناعي المهام المتكررة بسرعة، من صياغة رسائل البريد الإلكتروني إلى إنشاء التقارير. قد تؤدي هذه الكفاءة إلى تعزيز الأخطاء أو إلى إساءة استخدام الكفاءة من الداخل. على سبيل المثال، قد يعتمد محلل أمان مضغوط على مخرجات Security Copilot بشكل مفرط ويفوّت سياقًا بالغ الأهمية. إن الجمع بين المراجعة البشرية، والمراقبة، وسياسات الحوكمة مثل التدريب الإلزامي للموظفين يضمن أن يساعد الذكاء الاصطناعي الإنسان بدلًا من أن يحلّ محل حكمه.

مخاطر النشر والبنية التحتية:
يتكامل Copilot بعمق مع Microsoft 365، وAzure، وتطبيقات الجهات الخارجية. يمكن للموصلات التي تم تكوينها بشكل غير صحيح أو عمليات التكامل المفرطة في الأذونات أن توسّع نطاق الوصول، مما يخلق نقاط دخول محتملة للمهاجمين. المراجعات المنتظمة للإعدادات، وسياسات الوصول المشروط، ومراقبة واجهات برمجة التطبيقات تساعد في الحفاظ على بيئة آمنة.

حوادث الذكاء الاصطناعي في الواقع: دروس من هجمات حقيقية

ومع تحول أدوات الذكاء الاصطناعي مثل Microsoft Copilot إلى عنصر محوري بشكل متزايد في عمليات المؤسسات، يكشف البحث والاختبار على أرض الواقع عن ثغرات جديدة. تسارع الجهات المهدِّدة إلى استكشاف طرق إضافية لاستغلال هذه الأدوات، مثل استخدامها كجزء من سلسلة هجومها، مثل أسلوب العيش على موارد النظام في الهجمات التقليدية. وعلى الرغم من حداثة هذه التقنية، تدمجها Microsoft في عمليات معروفة ومثبتة مثل الإفصاح المنسق عن الثغرات لضمان تحديد المخاطر وتخفيفها بأمان. توفر هذه الحالات دروسًا قيّمة للمنظمات، ليس لأن الأدوات "فشلت" بالمعنى التقليدي، بل لأنها تكشف عن طرق غير متوقعة يمكن أن يتم إساءة استخدام الذكاء الاصطناعي بها في تفاعله مع البيانات وسير العمل البشري.

CVE-2025-32711 (2025)
كان EchoLeak، وقد تم إصلاحه الآن، أسلوبًا لهجوم إدخال متعدد المراحل عبر مطالبات متعددة، الذي يمكنه في ظروف معينة استخراج بيانات محدودة يكون لدى الضحية إمكانية الوصول إليها بالفعل. قد يتسبب بريد إلكتروني مُصاغ بعناية، مُصمم ليبدوا غير ضار، في "تسميم" المطالبة التي يراها Copilot بصمت، مما يتسبب في تسريب Copilot لبيانات داخلية من دون علم الضحية. أصدرت Microsoft تحديثات بسرعة لمعالجة مشكلة CVE-2025-32711. سلطت الثغرة الضوء على خطر خفي لكنه بالغ الأهمية: إمكانية أن تكشف أنظمة الذكاء الاصطناعي بيانات حساسة للعملاء عن غير قصد عبر التلاعب غير المباشر بالمطالبات.

مخاطر الإفراط في الأذونات
يرث Copilot الأذونات الممنوحة لمستخدميه. إذا احتفظ شخص ما بإمكانية الوصول إلى بيانات من قسم سابق، فقد يعرض Copilot تلك المعلومات ضمن المخرجات التي ينشئها. وبالمثل، قد تظهر البيانات الحساسة المتاحة لموظف واحد في ملخصات الذكاء الاصطناعي، مما يخلق مخاطر على الامتثال والخصوصية. يمكن للمنظمات تخفيف ذلك عبر تطبيق مبدأ إمكانية الوصول ذات أقل الامتيازات، وضوابط التحكم القائمة على الأدوار، وسياسات DLP في Microsoft Purview. إضافةً إلى ذلك، يمكن أن يساعد استخدام وضع "الباحث" في M365 Copilot على اكتشاف تسربات الأذونات بشكل استباقي قبل أن تتحول إلى مشكلة أمنية. المبدأ الأساسي هو منح الذكاء الاصطناعي إمكانية الوصول إلى البيانات التي لا تمانع في أن يطّلع عليها فقط، أي المعلومات التي يمكنك تحمل كشفها. ينبغي على المنظمات تنفيذ تقييم لنموذج المخاطر وخطة للتخفيف منها، لتقييم البيانات التي يمكن لـ Copilot التعامل معه بأمان، بدلًا من وضعه في صميم سير عمل شديد الحساسية.

سوء الاستخدام الداخلي والأخطاء التشغيلية
لا تنتج جميع الحوادث عن تهديدات خارجية. في بعض الحالات، قد يستخدم المستخدمون الداخليون أدوات مثل copilot لإنشاء تقارير تتضمن بيانات حساسة بدون مراجعتها بدقة. يشمل التخفيف التدريب، والمراقبة، واكتشاف الخارج عن المألوف، وسياسات الحوكمة، للحفاظ على الذكاء الاصطناعي كمساعد موثوق به وليس أداة بلا ضوابط.

تسميم البيانات غير المباشر والتلاعب بالمطالبات
تكون أنظمة الذكاء الاصطناعي ضعيفة بطرق متعددة، بما في ذلك من خلال أساليب دقيقة لكنها شديدة التأثير مثل تسميم البيانات غير المباشر والتلاعب بالمطالبات، والتي يمكن أن تغيّر سلوك النموذج بهدوء من دون مؤشرات تحذير واضحة. وتعتمد هذه الأساليب على صياغة مدخلات توجه المخرجات نحو طرق محفوفة بالمخاطر، مثل كشف معلومات حساسة أو إدخال تحيز. يمكن للمطالبات المخفية، مثل النص المشفر بصيغة سداسية عشرية أو التنسيق غير المرئي، أن تؤثر بشكل كبير في ملخصات Copilot، ما يؤدي أحيانًا إلى ظهور معلومات قديمة أو غير متوقعة. ومن خلال تطبيق الاستيعاب المضبوط للمحتوى، والتحقق من صحة بيانات التعريف، والحفاظ على الإشراف الواعي على تفاعلات الذكاء الاصطناعي، يمكن للمنظمات الحفاظ على موثوقية أدوات الذكاء الاصطناعي وضمان استمرارها في إضافة قيمة بدون إدخال مخاطر غير مقصودة.

تُظهر الأمثلة الموجودة أعلاه أن أمن الذكاء الاصطناعي يرتبط في كثير من الأحيان بالسلوك البشري، ومعالجة البيانات، وطريقة التفسير، وليس فقط بعيوب البرنامج. ومع وجود الضوابط المناسبة، يمكن للمنظمات الاستفادة من أدوات Copilot بفعالية مع تقليل مخاطر التعرض غير المقصود. معرفة المزيد في الذكاء الاصطناعي الأمن لأساس قوي، تدريب | Microsoft Learn.

الاستعداد للحوادث في عصر الذكاء الاصطناعي: خريطة للوقاية والكشف والاستجابة


لا يتعلق المسار المستقبلي بالقضاء على كل تهديد محتمل، فذلك غير واقعي. بل يعني التصميم مع وضع الأمان في الاعتبار منذ اليوم الأول. وهذا يعني تبنّي عقلية الثقة المعدومة. ستكون المنظمات الأكثر قدرة على الصمود هي تلك التي تتعامل مع هذه الحوادث بوصفها فرصًا للتعلّم والتكيّف، وتُعيد كل درس إلى أطرها الأمنية.

فيما يلي خريطة لسيناريوهات التهديدات العملية مع عناصر التحكم الوقائية، وإشارات الاكتشاف، وكتب التشغيل الخاصة بالاستجابة التي يمكن للمنظمات استخدامها لبناء المرونة منذ البداية.
  • الوقاية: قم بتطبيق تسميات الحساسية وقواعد DLP عبر Purview، وحظر Copilot من معالجة الملفات المصنفة "سرية للغاية".

    الكشف:
    سجلات Purview/UAL التي تُظهر استعلامات Copilot عن الملفات المقيدة؛ وتنبيهات DLP في Sentinel.

    الاستجابة:
    قم بعزل المخرجات، وإعلام مالك الملف، وتعديل سياسة DLP.

    سيناريو عملي:
    يطلب مدير شؤون مالية من Copilot "تلخيص جميع التقارير الربع سنوية". يتم منع مستندات مجلس الإدارة الحساسة من التضمين.
  • الوقاية: قم بتمكين "واقيات المطالبات"، وتنقية المدخلات الواردة من رسائل البريد، والسجلات، والمصادر الخارجية قبل أن يعالجها Copilot.

    الكشف:
    يقوم Sentinel بالتنبيه بشأن المدخلات المشبوهة أو التي تبدو كأنها محاولات اختراق الحماية والمسجلة بواسطة روبوت الدردشة.

    الاستجابة:
    قم بحظر الجلسة الخبيثة، وإزالة المخرجات غير الآمنة، وتشديد الضوابط الوقائية.

    سيناريو عملي:
    ترسل أحد الجهات المهدِّدة مطالبة تم صياغتها بعناية للتلاعب بروبوت دردشة دعم العملاء القائم على تكنولوجيا الذكاء الاصطناعي لدى المنظمة؛ فيتجاهل روبوت الدردشة التعليمات المُدخلة.
  • الوقاية: تحقق من صحة مصادر الاستيعاب، وفرض التوقيع على المصدر، وتقييد إذن وصول الإضافة والحذف.

    الكشف: قم بتدقيق السجلات وتنبيهات الوصول إلى مستندات قيمة الكاناري؛ ويكتشف Sentinel التحديثات غير المعتادة في "قاعدة المعارف".

    الاستجابة:
    عد إلى حالة "قاعدة المعارف" المسممة السابقة، وألغي مفاتيح الاستيعاب، ونبه فريق الاستجابة للحوادث.

    سيناريو عملي:
    يقوم أحد المطلعين غير الموثوق بهم بتحميل دليل إجراءات "الاستجابة للحوادث" مزيف؛ فيؤدي مستند قيمة الكاناري إلى الاكتشاف.
  • الوقاية: تحقق من صحة مصادر الاستيعاب، وفرض التوقيع على المصدر، وتقييد إذن وصول الإضافة والحذف.

    الكشف:
    قم بتدقيق السجلات وتنبيهات الوصول إلى مستندات قيمة الكاناري؛ ويكتشف Sentinel التحديثات غير المعتادة في "قاعدة المعارف".

    الاستجابة:
    قم بتدوير بيانات الاعتماد المكشوفة، وإزالة الالتزام غير الآمن، وإعادة تدريب الفريق.

    سيناريو عملي:
    يلصق أحد المطورين المبتدئين مفتاح API في التعليمة البرمجية؛ فيقترحه Copilot في مكان آخر، لكن فحص الأسرار يمنع الدمج.
  • الوقاية: فرض التحكم في الوصول استناداً إلى الدور وأقل الامتيازات للموصلات؛ مع تقييد إمكانية الوصول إلى الأنظمة الحساسة.

    الكشف:
    الكشف عن ما هو خارج عن المألوف في Sentinel على استعلامات البيانات الضخمة الصادرة من Copilot.

    الاستجابة:
    قم بتعطيل الموصل، وتعليق الحساب، وإجراء مراجعة من قِبل الموارد البشرية/فريق الأمن.

    سيناريو عملي:
    يستخرج أحد مستخدمي المبيعات آلاف من سجلات العملاء عبر Copilot؛ فيؤدي الحجم غير المعتاد للاستعلامات إلى إطلاق تنبيه.
  • الوقاية: قم بتقييد أذونات موصلات Copilot؛ ومراقبة انتقال البيانات عبر المستأجرات أو إلى وجهات خارجية.

    الكشف: تنبيهات Purview وSentinel بشأن عمليات نقل الملفات الكبيرة أو الاستخدام غير المعتاد للموصلات.

    الاستجابة: قم بحظر الموصل، وإبطال الرموز المميزة، وعزل المخرجات.

    سيناريو عملي: يحاول Copilot المتصل بـ OneDrive إرسال مستندات مصنفة إلى موصل Gmail شخصي.
  • الوقاية: قم بتطبيق "الوصول المشروط" وDefender for Cloud Apps لحظر خدمات الذكاء الاصطناعي غير المصرح بها.

    الكشف: يقوم Microsoft Cloud App Security/Defender بالتنبيه بشأن حركة مرور تطبيقات الذكاء الاصطناعي؛ وتحليلات Sentinel على أحداث منح OAuth.

    الاستجابة:
    قم بإبطال الرموز المميزة، وإعلام المستخدم، وفرض استخدام Copilot المصرح به.

    سيناريو عملي:
    يحاول أحد الموظفين ربط Copilot بأداة تلخيص محتوى خارجية بالذكاء الاصطناعي من دون موافقة.
  • الوقاية: قم "بتكوين ارتباطات آمنة/مرفقات آمنة"، وتدريب الموظفين على مخاطر التصيد الاحتيالي التي تستخدم مساعدة Copilot.

    الكشف:
    يرصد Defender الارتفاعات غير المعتادة في إرسال البريد أو أنماط الصياغة التي أنشأها Copilot.

    الاستجابة:
    قم بحظر المرسل، وإبطال رموز صندوق البريد، وتعطيل القواعد تلقائيًا.

    سيناريو عملي:
    يستخدم حساب مُخترق M365 Copilot لإنشاء حملات تصيد احتيالي موجّهة.
  • الوقاية: قم بتدريب الموظفين على حدود Copilot؛ وفرض مراجعة بشرية ضمن سير العمل للمهام الحساسة.

    الكشف:
    يرصد Sentinel الإجراءات عالية المخاطر التي تنفذها الاستعلامات المقترحة من الذكاء الاصطناعي.

    الاستجابة:
    إعادة الإجراء إلى حالته السابقة، وإعلام الجهة المعتمدة، وإعادة تدريب المستخدم.

    سيناريو عملي:
    يقترح Copilot أمر معالجة خاطئ في تنبيه داخل مركز عمليات الأمان (SOC)؛ وتمنع مراجعة المحلل حدوث ضرر.

بناء ذكاء اصطناعي آمن من البداية

تعمل مساعدات الذكاء الاصطناعي على إعادة تعريف كيفية عمل المنظمات، من خلال تسريع التحليلات، وتقليل الجهد اليدوي، وتمكين الفرق من التركيز على الأعمال الأعلى قيمة. لكن التقدم من دون حماية لا يدوم طويلًا. لا تكمن الميزة التنافسية الحقيقية في تبني الذكاء الاصطناعي بأسرع ما يمكن، بل في تبنيه بأمان ومسؤولية منذ اليوم الأول.

يوضح نظام Copilot البنائي من Microsoft، بما في ذلك Security Copilot، كيف يبدو هذا التوازن عمليًا: ابتكار تقوده الحوكمة. عندما تطبّق المنظمات ضوابط وصول قوية، وسياسات متينة للتعامل مع البيانات، وإشرافًا مستمرًا على كيفية استخدام المساعدات الذكية، فإنها تحوّل الذكاء الاصطناعي من أداة لتعزيز الإنتاجية إلى أصل استراتيجي موثوق.

إن بناء ذكاء اصطناعي آمن منذ البداية ليس مجرد أولوية تقنية، بل هو ضرورة قيادية. إن المسؤولين التنفيذيين الذين يدمجون الأمن والاستعداد والشفافية في برامج الذكاء الاصطناعي لديهم لن يقللوا المخاطر فحسب، بل سيعززوا أيضًا ثقة حملة الأسهم، والموثوقية التنظيمية، والمرونة على المدى الطويل. في هذا النموذج، يصبح Security Copilot أكثر من مجرد أداة، يصبح شريكًا في بناء مستقبل آمن وخاضع للمساءلة للمؤسسة.

المزيد من هذا القبيل

صورة لغلاف كتاب يعرض شخص يستخدم جهاز كمبيوتر محمول ويشير بإصبعه إلى لوحة المفاتيح.

بدء استخدام تطبيقات الذكاء الاصطناعي

أنشئ أساساً آمناً لتطبيقات الذكاء الاصطناعي من خلال نهج تدريجي.
صورة لغلاف كتاب يوضح رجلًا ينظر إلى شاشة الكمبيوتر.

استراتيجيات لإدارة الذكاء الاصطناعي

خطوات عملية لبناء الثقة وتقليل المخاطر وخفض التكاليف وتحقيق الابتكار.
رسم خطي أبيض لورقة داخل ظرف مكتوب عليها كلمة "جديد" على خلفية زرقاء.

الحصول على ملخص CISO

ابق على اطلاع دائم بأفكار الخبراء وتوجهات المجال وأبحاث الأمان في سلسلة البريد الإلكتروني هذه التي تُرسل كل شهرين.

متابعة الأمان من Microsoft

العربية (المملكة العربية السعودية) خصوصية صحة المستهلك الاتصال بشركة Microsoft الخصوصية إدارة ملفات تعريف الارتباط بنود الاستخدام العلامات التجارية حول إعلاناتنا