This is the Trace Id: d1a2151a1c97476f293915a7eb78e765
דלג לתוכן הראשי Security Insider Cyber Pulse דוח ההגנה הדיגיטלית של Microsoft נוף איומים מגמות חדשות הירשם לתקציר CISO האבטחה של Microsoft Azure Dynamics 365 Microsoft 365 Microsoft Teams Windows 365 בינה מלאכותית ב-Microsoft Azure Space מציאות משולבת Microsoft HoloLens Microsoft Viva מחשוב קוונטי חינוך כלי רכב שירותים פיננסיים ממשל שירותי בריאות ייצור קמעונאות חיפוש שותף להיות שותף רשת השותפים Microsoft Marketplace חברות תוכנה בלוג Microsoft Advertising מרכז מפתחים תיעוד אירועים רישוי Microsoft Learn המחקר של Microsoft הצג את מפת האתר

אבטחת יישומי AI - סדרה 1: שיקולי אבטחה בעת אימוץ כלי AI

שתף
אישה מביטה במסך מחשב.

איזון בין סיכוני ה- AI לבין התועלת שלה

בינה מלאכותית (AI) עברה במהירות משלב הניסוי לשלב הביצוע, והיא מעצבת מחדש את האופן שבו ארגונים פועלים, מקבלים החלטות ומנהלים סיכונים. ככל ש- AI מוטמעת בזרימות עבודה של פרודוקטיביות, שיתוף פעולה ואבטחה, היא משנה הן את המהירות והן את ההיקף של ביצוע העבודה.

אבל ההאצה הזו מביאה איתה גם נתיבי ניצול נוספים. גורמי איום כבר מנצלים את ה- AI לצורכי איסוף זדוני של מידע, הנדסה חברתית ואוטומציה; ובכך הופכים כלי הגנתי רב-עוצמה לנשק התקפי פוטנציאלי. לכן, אבטחה כבר אינה מסתכמת בהגנה על מערכות ונתונים מסורתיים; היא דורשת הבנה ואבטחה של האופן שבו מבוצעת גישה, החלה והטמעה של AI בתוך הארגון שלכם.

כלי AI מציבים גם אתגרים עדינים יותר. מערכות עלולות לפרש נתונים באופן שגוי, לטעות או להפגין הטיות לא צפויות. רכיבי הפלט עשויים להשתנות עם הזמן, כאשר המודלים מעודכנים או מאומנים מחדש. המשמעות היא שאבטחה אינה רק הגנה על התוכנה; היא גם ניטור של ההתנהגות, אימות של התוצאות, והטמעת מסגרות ניהול שמבטיחות שימוש אחראי בכלי AI. ללא אמצעים אלה, גם יישומים שנועדו לעשות טוב עלולים לייצר סיכונים תפעוליים.

מאמר זה חוקר שיקולי אבטחה מעשיים שארגונים צריכים להביא בחשבון ככל ש- AI הופכת למרכזית יותר בעבודה. החל מהגנה מפני שימוש לרעה ואכיפת ניהול ועד ניטור ובקרת גישה, נבחן כיצד ארגונים יכולים להפיק את המרב מ- AI בצורה בטוחה ויעילה.

הרחבת נתיבי הניצול לרעה של יישומי AI

ההסתמכות הגוברת על AI יוצרת יותר נקודות כניסה פוטנציאליות שגורמי איום יכולים לנצל. גורמי איום יכולים כיום למנף את ה- AI כדי להרחיב קמפיינים של דיוג, להתאים מסרי הנדסה חברתית או להפוך משימות תקיפה חוזרות לאוטומטיות.

ככל שכלי AI הופכים לחלק בלתי נפרד מפעילות העסק, ארגונים חייבים להבין שהאימוץ מרחיב את שטח התקיפה ומעצים סיכונים קיימים. ארבעה תחומי מרכזיים של חשש כוללים:

סיכון לנתונים: באמצעות ההרשאות המתאימות, Microsoft Copilot יכול לגשת להודעות דואר אלקטרוני, למסמכים ולהודעות Teams שלכם כדי לספק תשובות שמבוססות על ההקשר. גישה זו עלולה, בלי כוונה, לחשוף מידע רגיש. לדוגמה, אם משתמשים כוללים בהנחיה מידע רגיש כמו סיסמאות, קוד קנייני או נתונים חסויים, הם עלולים להיחשף. ארגונים יכולים לצמצם את הסיכון הזה באמצעות מדיניות מניעת אובדן נתונים (DLP) ב- Microsoft Purview, גישת הרשאות מינימליות ואכיפה של סיווג נתונים.

התנהגות AI וסיכון לתוכן: Copilot מגיב ישירות לקלט שהוא מקבל. הוראות זדוניות או מטעות — בין שהוטמעו ובין שהוסתרו במסמכים או במאגרי ידע — עלולות לייצר פלט לא בטוח. מתקפות החדרת הנחיות או תוכן פגום עלולות לחשוף מידע רגיש או להוביל להמלצות שגויות. לא רק גורמים חיצוניים מהווים סיכון; גם עובדים עם גישה כשרה עלולים לעשות שימוש לרעה במערכות. ארגונים יכולים להפחית את הסיכון באמצעות אימות קלט, ניטור סיכונים פנימיים, סריקת מטה-נתונים, עיבוד מבוקר של תוכן ובקרה אנושית.

אוטומציה ושימוש תפעולי לרעה: AI מבצעת משימות חוזרות במהירות, החל מכתיבת הודעות דואר אלקטרוני ועד ליצירת דוחות. היעילות הזו עלולה להעצים טעויות או להיות אמצעי לשימוש לרעה בידי גורמים פנימיים. לדוגמה, אנליסט אבטחה שנמצא תחת לחץ עלול להסתמך יתר על המידה על רכיבי הפלט של Security Copilot ולפספס הקשר קריטי. שילוב של בקרה אנושית, ניטור ופריטי מדיניות של פיקוח כגון הדרכת עובדים הכרחית מבטיחה שה- AI תסייע ולא תחליף את שיקול הדעת האנושי.

סיכון לפריסה ולתשתית: Copilot משתלב לעומק עם Microsoft 365,‏ Azure ועם יישומי צד שלישי. מחברים שאינם מוגדרים כראוי או אינטגרציות עם הרשאות רחבות מדי עלולים להרחיב את הגישה וליצור נקודות כניסה פוטנציאליות לתוקפים. סקירות תצורה תקופתיות, מדיניות גישה מותנית וניטור API עוזרים לשמור על סביבה מאובטחת.

מקרי AI בשטח: לקחים ממתקפות אמיתיות

ככל שכלי AI כמו Microsoft Copilot הופכים למרכזיים יותר בפעילות הארגונית, מחקר ובדיקות בעולם האמיתי חושפים פגיעויות חדשות. גורמי איום ממהרים לבחון דרכים נוספות לנצל את הכלים האלה, למשל לשלב אותם בשרשרת התקיפה שלהם בדומה לטכניקת שימוש בכלים קיימים (living-off-the-land) במתקפות מסורתיות. למרות שהטכנולוגיה הזו חדשה, Microsoft משלבת אותה בתהליכים מוכרים ומוכחים כגון חשיפה מתואמת של פגיעות, כדי לוודא שהסיכונים מזוהים ומצומצמים בבטחה. המקרים האלה מספקים לארגונים תובנות חשובות, לא משום שהכלים “כשלו” במובן הקלאסי, אלא משום שהם חושפים דרכים לא צפויות שבהן ניתן לנצל AI לרעה באינטראקציה שלו עם נתונים ועם זרימות העבודה האנושיות.

‏CVE-2025-32711 (2025)
‏EchoLeak – שתוקן מאז – היה טכניקה של מתקפת החדרת הנחיות חוצת שלבים רבים, שבנסיבות מסוימות יכלה לחלץ נתונים מוגבלים שהקורבן כב ניגש אליהם. הודעת דואר אלקטרוני שנוצרה בקפידה — ונראית תמימה לחלוטין — עלולה “להרעיל” בשקט את ההנחיה ש- Copilot רואה, ולגרום לו להדליף מידע פנימי מוגבל בלי שהקורבן יידע על כך. ‏Microsoft פרסמה במהירות עדכונים כדי לתקן את הליקוי CVE-2025-32711. הפגיעות הדגישה סיכון עדין אך משמעותי: היכולת של מערכות AI לחשוף בשוגג נתוני לקוחות רגישים באמצעות תפעול עקיף של ההנחיה.

סיכוני הרשאות יתר
‏Copilot יורש את ההרשאות של המשתמשים שלו. אם למישהו נשמרה גישה לנתונים ממחלקה קודמת, Copilot עלול להציג את המידע הזה ברכיבי הפלט שהוא מייצר. באופן דומה, נתונים רגישים הזמינים לעובד אחד עשויים להופיע בסיכומי AI, וליצור סיכוני תאימות ופרטיות. ארגונים יכולים לצמצם זאת באמצעות גישת הרשות מינימליות, בקרות מבוססות על תפקיד ופריטי מדיניות DLP ב- Microsoft Purview. בנוסף, שימוש במצב Researcher של M365 Copilot יכול לסייע לזהות מראש דליפות בהרשאות לפני שהן הופכות לסיכון אבטחתי. העיקרון המרכזי הוא לסמוך על AI רק עם נתונים שאתם מרגישים בנוח שיגיע אליהם — כלומר, מידע שאתם יכולים להרשות לעצמכם לחשוף. ארגונים צריכים לבצע הערכת מודל סיכונים ותוכנית צמצום כדי לבחון בקפידה עם אילו נתונים Copilot יכול לקיים אינטראקציה בבטחה, ולא למקם אותו בלבם של תהליכים רגישים במיוחד.

שימוש לרעה מתוך הארגון ושגיאות תפעוליות
לא כל אירוע מגיע מאיומים חיצוניים. במקרים מסוימים, משתמשים פנימיים עשויים להשתמש בכלים כמו Copilot כדי ליצור דוחות המכילים נתונים רגישים, מבלי לבדוק אותם לעומק. מאמצי הצמצום כוללים הדרכה, ניטור, זיהוי חריגות ומדיניות פיקוח, כדי לשמור על AI כעוזר אמין ולא ככלי שפועל ללא בקרה.

הרעלת נתונים עקיפה ותפעול הנחיות
מערכות AI פגיעות במגוון דרכים, כולל טכניקות עדינות אך עוצמתיות כגון הרעלת נתונים עקיפה ותפעול של הנחיות, שיכולות לעצב בשקט את התנהגות המודל בלי סימני אזהרה בולטים. שיטות כאלה כוללות בנייה של רכיבי קלט שמנתבים את רכיבי הפלט לכיוונים מסוכנים, למשל חשיפת מידע רגיש או יצירת הטיה. הנחיות מוסתרות, כמו טקסט מקודד בהקסדצימאלי או עיצוב בלתי נראה, יכולות להשפיע בעדינות על הסיכומים של Copilot, ולעתים להציג מידע מיושן או בלתי צפוי. באמצעות קליטת תוכן מבוקרת, אימות מטה-נתונים ופיקוח מושכל על אינטראקציות עם AI, ארגונים יכולים לשמור על כלי ה- AI מהימנים ולוודא שהם ממשיכים להוסיף ערך בלי להכניס סיכונים לא מכוונים.

הדוגמאות לעיל מראות שאבטחת AI היא לעתים קרובות עניין של התנהגות אנושית, טיפול בנתונים ופרשנות, ולא רק של תקלות תוכנה. באמצעות מנגנוני הגנה מתאימים, ארגונים יכולים למנף את כלי Copilot ביעילות תוך צמצום החשיפה הלא מכוונת. למידע נוסף עיינו במאמר אבטחת AI ליצירת בסיס חזק - הדרכה | ‏Microsoft Learn.

מוכנות לאירועים בעידן ה- AI: מיפוי של מניעה–זיהוי–תגובה


המשך הדרך אינו עוסק בסילוק כל איום אפשרי — זה פשוט לא מציאותי. הרעיון בהמשך הוא לתכנן בשילוב אבטחה כבר מהיום הראשון. כלומר, צריך להחיל גישת אפס אמון. הארגונים שיהיו החסינים ביותר הם אלה שיתייחסו לאירועים כאלה כהזדמנויות ללמוד ולהסתגל, ויחזירו כל לקח אל מסגרות האבטחה שלהם.

להלן מיפוי של תרחישי איום מעשיים לבקרות מונעות, אותות זיהוי ומדריכי תגובה שארגונים יכולים להשתמש בהם כדי לבנות חוסן כבר מההתחלה.
  • מניעה: החלת תוויות רגישות של Purview וכללי DLP; חסימת Copilot מעיבוד קבצים מסוג “סודי ביותר”.

    זיהוי:     יומני רישום של Purview/UAL שמציגים שאילתות של Copilot מול קבצים מוגבלים; התראות DLP ב- Sentinel.

    תגובה:     העברת הפלט להסגר, עדכון בעלי הקובץ, והתאמה של מדיניות DLP.

    תרחיש מעשי:     מנהלי כספים מבקשים מ- Copilot ל“סכם את כל דוחות הרבעון.” אפשרות ההכללה של מסמכי דירקטוריון רגישים נחסמת.
  • מניעה: יש להפעיל 'מגיני הנחיות'; לנקות רכיבי קלט מהודעות דואר אלקטרוני, יומני רישום והזנות חיצוניים לפני ש- Copilot מעבד אותם.

    זיהוי:     התראות ב- Sentinel על קלט משתמש חשוד או בסגנון פריצת Jailbreak שנרשם על-ידי הצ'אטבוט.

    תגובה:     חסימת ההפעלה הזדונית, הסרת רכיבי פלט לא בטוחים, והידוק של מנגנוני ההגנה.

    תרחיש מעשי:     גורם איום שולח הנחיה בנויה מראש כדי לתפעל את הצ'אטבוט המבוסס על AI של שירות הלקוחות בארגון; הצ'אטבוט מתעלם מההוראות שהוחדרו אליו.
  • מניעה: איות מקורות קליטה, אכיפת חתימה על המקור והגבלת גישת כתיבה.

    זיהוי: יומני רישום של ביקורת והתראות על גישת מסמך ערך קנרית;‏ Sentinel מזהה עדכונים חריגים בבסיס ידע.

    תגובה:     לחזור למצב קודם את בסיס הידע המורעל, ביטול מפתחות קליטה, והתרעה לצוות התגובה לאירועים.

    תרחיש מעשי:     גורם פנימי סורר מעלה מדריך מזויף של “תגובה לתקריות”; מסמך ערך קנרית מפעיל את הזיהוי.
  • מניעה: איות מקורות קליטה, אכיפת חתימה על המקור והגבלת גישת כתיבה.

    זיהוי:     יומני רישום של ביקורת והתראות על גישת canary doc;‏ Sentinel מזהה עדכונים חריגים בבסיס ידע.

    תגובה:     סיבוב אישורים שנחשפו, הסרת פקודת ביצוע לא בטוחה, והעברת הצוות רענון הדרכה.

    תרחיש מעשי:     מפתחים זוטרים מדביקים מפתח API בקוד; Copilot מציע אותו במקום אחר, אבל סריקת סודות מונעת את המיזוג.
  • מניעה: בקרת גישה מבוססת תפקיד ועקרון ההרשאות המינימליות עבור מחברים; הגבלת גישה למערכות רגישות.

    זיהוי:     זיהוי חריגות ב- Sentinel על שאילתות נתונים בהיקף גדול מ- Copilot.

    תגובה:     השבתת המחבר, השעיית החשבון, וביצוע בדיקת משאבי אנוש/אבטחה.

    תרחיש מעשי:     משתמשי מכירות מחלצים אלפי רשומות לקוחות באמצעות Copilot; נפח שאילתות חריג מפעיל התראה.
  • מניעה: הגבלת ההרשאות של מחבר Copilot; ניטור תנועת נתונים חוצת דיירים או חיצונית.

    זיהוי: התראות מ- Purview ומ- Sentinel על העברות קבצים גדולות או שימוש חריג במחבר.

    תגובה: חסימת המחבר, ביטול אסימונים והעברת רכיבי הפלט להסגר.

    תרחיש מעשי: Copilot שמחובר ל- OneDrive מנסה לשלוח מסמכים מסומנים בתוויות למחבר אישי ב- Gmail.
  • מניעה: החלת גישה מותנית ויישומי ענן של Defender כדי לחסום שירותי AI לא מאושרים.

    זיהוי: התראות של אבטחת יישומי ענן של Microsoft‏/Defender על תעבורת יישומי AI; ניתוח ב- Sentinel על אירועי שקיבלו OAuth.

    תגובה:     ביטול אסימונים, הודעה למשתמשים, ואכיפת שימוש מאושר ב- Copilot.

    תרחיש מעשי:     עובדים מנסים לחבר את Copilot לכלי חיצוני לסיכום באמצעות AI בלי אישור.
  • מניעה: קביעת תצורה של קישורים בטוחים/קבצים מצורפים בטוחים, והדרכת הצוות לגבי סיכוני דיוג בסיוע Copilot.

    זיהוי:     Defender מזהה קפיצות חריגות בשליחת דואר או דפוסי ניסוח שנוצרו על-ידי Copilot.

    תגובה:     חסימת השולח, ביטול אסימונים של תיבת הדואר, והשבתה אוטומטית של כללים.

    תרחיש מעשי:     חשבון שנפרץ משתמש ב- M365 Copilot כדי ליצור קמפיינים של דיוג מוקד.
  • מניעה: הדרכת הצוות על המגבלות של Copilot; אכיפת סקירה של הגורם האנושי בלולאה בזרימות עבודה רגישות.

    זיהוי:     Sentinel מזהה פעולות בסיכון גבוה שמופעלות על-ידי שאילתות בהמלצת AI.

    תגובה:     לחזור למצב קודם, ליידע את הגורם המאשר, והעברת המשתמש הכשרה מחדש.

    תרחיש מעשי:     Copilot מציע פקודת תיקון שגויה בהתראה של מרכז פעולות האבטחה (SOC); סקירה של אנליסט מונעת נזק.

בניית AI מאובטחת מההתחלה

סוכני AI של Copilot מגדירים מחדש את האופן שבו ארגונים פועלים — הם עוזרים להאיץ תובנות, לצמצם עבודה ידנית ולאפשר לצוותים להתמקד בעבודה בעלת ערך גבוה יותר. אבל התקדמות בלי הגנה לא שורדת הרבה זמן. היתרון התחרותי האמיתי לא טמון באימוץ AI במהירות הרבה ביותר, אלא באימוץ שלו בצורה מאובטחת ואחראית מהיום הראשון.

האקוסיסטמה של Copilot של Microsoft, כולל Security Copilot, מדגימה איך האיזון הזה נראה בפועל: חדשנות שמונחית על-ידי פיקוח. כשארגונים מיישמים בקרות גישה חזקות, פריטי מדיניות חזקים לטיפול בנתונים והשגחה מתמשכת על האופן שבו משתמשים בסוכני copilot, הם הופכים את ה- AI ממנוע פרודוקטיביות לנכס אסטרטגי מהימן.

בניית AI מאובטחת מההתחלה היא לא רק עדיפות טכנית, אלא גם הכרח ניהולי. מנהלים שמשלבים אבטחה, מוכנות ושקיפות בתוכניות ה- AI שלהם לא רק מצמצמים סיכונים, אלא גם מחזקים את אמון בעלי העניין, את האמון הרגולטורי ואת החוסן לטווח ארוך. במודל הזה, Security Copilot הופך ליותר מכלי. הוא הופך לשותף בבניית עתיד מאובטח ואחראי עבור הארגון.

תוכן דומה נוסף

כריכה של ספר מציגה אדם משתמש במחשב נישא ומצביע באצבע על המקלדת.

תחילת העבודה עם יישומי בינה מלאכותית

יצירת תשתית מאובטחת ליישומי AI עם גישה מדורגת.
קריאת המדריך
כריכה של ספר מציגה אדם מביט במסך מחשב.

אסטרטגיות לניהול אפקטיבי של בינה מלאכותית

צעדים מעשיים לבניית אמון, הפחתת סיכונים, צמצום עלויות וקידום חדשנות.
קריאת המדריך
ציור של קו לבן של נייר בתוך מעטפה עם המילה New על רקע כחול.

הורד את הסיכום למנהלי CISO

הישאר מעודכן עם תובנות של מומחים, מגמות בתעשייה ומחקר בנושא אבטחה עם סדרת העדכונים הדו-חודשית הזו בדוא"ל.
הירשם

עקוב אחר 'האבטחה של Microsoft'

Copilot לארגונים Copilot לשימוש אישי Microsoft 365 אפליקציות של Windows 11‏ פרופיל החשבון מרכז ההורדות החזרות מעקב אחר הזמנות Microsoft Education מכשירים לחינוך Microsoft Teams בתחום החינוך Microsoft 365 Education Office Education הדרכות ופיתוח למחנכים מבצעים לתלמידים ולהורים Azure לסטודנטים
Microsoft AI האבטחה של Microsoft Azure Dynamics 365 Microsoft 365 Microsoft Advertising Microsoft 365 Copilot Microsoft Teams מפתח של Microsoft Microsoft Learn תמיכה באפליקציות השוק של AI קהילת Microsoft Tech Microsoft Marketplace Microsoft Power Platform חברות תוכנה Visual Studio קריירה אודות Microsoft פרטיות ב-Microsoft משקיעים
עברית (ישראל) פרטיות בריאות הצרכן צור קשר עם Microsoft פרטיות ניהול קבצי Cookie תנאי השימוש סימנים מסחריים אודות הפרסומות שלנו נגישות