This is the Trace Id: 12277ff381c70b9dc127adcb656366b1
跳到主要內容 Security Insider Cyber Pulse Microsoft 數位防禦報告 威脅形勢 新興趨勢 註冊 CISO Digest Microsoft 安全性 Azure Dynamics 365 Microsoft 365 Microsoft Teams Windows 365 Microsoft AI Azure Space 混合實境 Microsoft HoloLens Microsoft Viva 量子運算 教育 汽車業 金融服務 政府機關 醫療保健 製造 零售 尋找合作夥伴 成為合作夥伴 合作夥伴網絡 Microsoft Marketplace 軟件公司 網誌 Microsoft 廣告 開發人員中心 文件 活動 授權 Microsoft 學習 Microsoft 研究 查看網站地圖

在 AI 時代駕馭網路威脅以及加強防禦

一群人站在街區上

Cyber Signals 第 6 期

每天有超過 25 億次雲端式 AI 驅動型偵測保護 Microsoft 客戶。

如今,網路安全世界正在經歷一場巨大的變革。人工智慧 (AI) 處於這一變更的最前沿,既是威脅也是機遇。雖然人工智慧有可能使組織能以機器速度擊敗網路攻擊,並推動威脅偵測、搜尋和事件回應方面的創新和效率,但對手可以將人工智慧作為其惡意探索的組件。對我們來說,安全地設計、部署和使用 AI 前所未有地重要。

在 Microsoft,我們正在探索 AI 的潛力,以增強我們的安全措施、解鎖新的進階保護以及編譯更好的軟體。借助 AI,我們有能力適應不斷變化的威脅,即時檢測異常情況,快速回應,以消除風險,並根據組織的需求定製防禦措施。

人工智慧還可以幫助我們克服該產業的另一個最大查問。面對全球網路安全性工作力短缺,全球大約需要 400 萬名網路安全性專業人員,AI 有可能成為縮小人才缺口和幫助防禦者提高生產力的重要工具。

我們已在一項研究中看到,無論安全性分析師的專業程度如何,Microsoft Security Copilot 都能提供幫助。在所有的工作中,參與者的準確率提高了 44%,速度提高了 26%。

在展望更安全的未來時,我們必須確保為 AI 做好安全準備,同時兼顧 AI 的優勢,因為 AI 有能力提升人類潛能,並解決我們面臨的幾項最嚴峻的挑戰。

人工智慧的未來更加安全,需要軟體工程的根本性進步。這將要求我們理解和應對人工智慧驅動的威脅,將其作為任何安全性策略的重要元件。我們必須共同努力,在公共和私營部門之間建立深入的共同作業和夥伴關係,以打擊不良行為者。

作為這項工作和我們自有安全未來專案的一部分,OpenAI 和 Microsoft 今天發佈了新的情報,詳細說明瞭威脅執行者測試和探索大型語言模型(LLM)在攻擊技術中的有用性的企圖。

我們希望這些資訊對各行各業都有用,因為我們都在努力創造一個更安全的未來。因為歸根結底,我們都是防禦者。

Bret Arsenault,
CVP,首席網路安全性顧問

觀看 Cyber Signals 數位簡報,了解 Microsoft 安全性商務公司副總裁 Vasu Jakkal 針對 AI 時代的網路威脅、Microsoft 用 AI 增強安全性的方式,以及組織協助加強防禦可以採取的措施等主題,對主要威脅情報專家進行的採訪。

探索 AI 技術的攻擊者

隨著攻擊者的積極性日益提高、愈發老練,而且資源日漸豐富,網路威脅形勢變得更具有挑戰性。威脅執行者和防禦者都在尋求人工智慧,包括 LLM,以美化其生產力,並利用可能適合他們目標和攻擊技術的可訪問平臺。

鑒於威脅形勢的快速發展,今天我們宣佈 Microsoft 指導我們行動的準則,以降低威脅執行者的風險,包括進階持續性威脅 (APT)、進階持續性操縱器 (APM),以及使用 AI 平臺和 API 的網路犯罪集團。這些準則包括識別惡意威脅執行者對 AI 的使用及行動、通知其他 AI 服務提供者、與其他利益相關者合作以及透明度。

儘管威脅執行者的動機和複雜程度各異,但他們在部署攻擊時分擔共同的任務。這些包括偵察,例如研究潛在受害者的行業、地點和人際關係;編碼,包括改進軟體腳本和惡意軟體開發;以及學習和使用人類和機器語言的協助。

民族國家有效率調控人工智慧的企圖

通過與 OpenAI 合作,我們正在共用威脅情報,顯示檢測到的國家/地區附屬敵人(追蹤為 Forest Blizzard、Emerald Sleet、Crimson Sandstorm、Charcoal Typhoon 和 Salmon Typhoon)使用 LLM 來增強網路行動。

Microsoft 與 OpenAI 建立研究合作夥伴關係的目標是確保安全和負責任地使用 ChatGPT 等 AI 技術,堅持最高標準的道德應用,以保護社區免受潛在的濫用。

Forest Blizzard (STRONTIUM),一個與俄羅斯武裝部隊總參謀部總局或 GRU 部隊 26165 有連結的高效俄羅斯軍事情報執行者,將目標瞄準了對俄羅斯政府具有戰術和戰略利益的受害者。其活動涵蓋多個領域,包括國防、運輸/物流、政府、能源、非政府組織和資訊技術
Emerald Sleet (Velvet Chollima)是一個北韓威脅行為者,Microsoft 發現其冒充信譽良好的學術機構和非政府組織來引誘受害者回覆與北韓相關的外交政策的專家見解和評論。

Emerald Sleet 對 LLM 的使用涉及對智庫和北韓專家的研究,以及產生可能用於魚叉式網路釣魚活動的內容。Emerald Sleet 還與 LLM 進行互動,了解已知的漏洞、技術問題疑難排解以及使用各種 Web 技術的幫助。

Crimson Sandstorm (CURIUM) 是伊朗威脅行為者,被評估為與伊斯蘭革命衛隊 (IRGC) 有關聯。LLM 的使用涉及請求有關社交工程的支援、協助錯誤疑難排解、.NET 開發以及攻擊者在遭入侵的機器上可能逃避偵測的方式。
Charcoal Typhoon (CHROMIUM) 是一個隸屬於中國的威脅行為者,主要專注於追蹤臺灣、泰國、蒙古、馬來西亞、法國、尼泊爾的群組以及全球反對中國政策的個人。在最近的行動中,Charcoal Typhoon 被觀察到與 LLM 合作,以獲得研究的深入解析,了解特定技術、平臺和漏洞,這表明了初步的資訊收集階段。

另一個由中國支持的組織 Salmon Typhoon,則一直在估量 2023 全年使用 LLM 來獲取有關潛在敏感話題、知名人士、區域地緣政治、美國影響力和內政資訊的有效性。與 LLM 的這種試探性業務開發既反映了其情報收集工具組的擴大,也反映了評估新興技術能力的實驗階段。

我們對 OpenAI 的研究尚未發現有任何重大攻擊使用我們密切監控的 LLM。

我們已採取措施破壞與這些威脅執行者相關的資產和帳戶,並圍繞我們的模型塑造成立條件圍欄和安全機制。

其他 AI 威脅出現

人工智慧驅動的欺詐是另一個危急問題。語音合成就是一個例子,其中三秒鐘的語音樣本可以訓練模型聽起來逼真,和任何人毫無二致。即使是像語音訊息問候語之類無害的語音也可以用來獲得足夠的取樣。

我們彼此互動和開展業務的方式很大程度上依賴於身分識別證明,例如識別一個人的聲音、臉部、電子郵件位址或寫作風格。

至關重要的是,我們必須了解惡意執行者如何使用人工智慧來破壞長期存在的身分識別證明系統,以便我們能夠處理複雜的欺詐案例和其他模糊身分識別的新興社交工程威脅。

人工智慧還可用於幫助公司破壞欺詐企圖。雖然 Microsoft 已中止與巴西一家公司的業務開發,但我們的人工智慧系統偵測到該公司試圖重建自己以重新輸入我們的生態系統。

該組織不斷試圖混淆其資訊,隱瞞擁有者根源,並重新進入,但我們的人工智慧檢測使用了近十幾個風險旗標來標記欺詐公司,並將其與先前識別的可疑行為聯繫起來,從而阻止了其企圖。

Microsoft 承諾負責任的人類為主導的 AI,其特點是隱私和安全,並由人類提供監督、評量訴求以及解釋政策和法規。

對員工和公眾進行網路風險教育:

  • 使用條件式存取原則:這些原則提供明確的自行部署指南,以增強安全性態勢,根據風險訊號、授權和使用方式自動保護租用戶。條件式存取原則是可自訂的,並將適應不斷變化的網路威脅形勢。
  • 對員工進行社交工程策略的訓練和再訓練:
    教育員工和公眾識別並反應網路釣魚電子郵件、語音釣魚 (語音信箱)、簡訊網路釣魚、(簡訊/文字) 社交工程攻擊,並套用 Microsoft Teams 的安全性最佳做法。
  • 嚴格保護資料:
    確保資料保持私密性,並全程加以控制。
  • 利用生成式 AI 安全性工具:使用 Security Copilot 等工具可以擴展功能並增強組織的安全性態勢。
  • 啟用多重要素驗證:為所有使用者啟用多重要素驗證,特別是管理員功能,即可將帳戶接管風險降低 99% 以上。

防範攻擊

Microsoft 通過結合生成式 AI 的全方位安全性保持領先地位

Microsoft 檢測到大量惡意流量,每天超過 65 萬億個網路安全性信號。人工智慧正在提高我們分析這些資訊的能力,並確保最有價值的見解顯現,以幫助阻止威脅。我們還使用這種訊號智慧來支援生成式 AI,以實現高級威脅防護、資料安全和身分識別安全,幫助防禦者抓住其他人所錯過的內容。

Microsoft 使用多種方法來保護自己和客戶免受網路威脅,包括支援 AI 的威脅偵測,以發現網路上資源或流量使用方式的變更;行為分析,用於偵測有風險的登錄和異常行為;用於檢測有風險的登錄和惡意軟體的機器學習(ML)模型;零信任模型,其中每個存取請求都必須經過完全身份驗證、授權和加密;以及設備在連接到企業網路之前進行裝置健康情況驗證。

由於威脅執行者了解 Microsoft 嚴格使用多重要素驗證(MFA)來保護自己(我們所有的員工都設置為 MFA 或無密碼保護),因此我們已經看到攻擊者傾向於社交工程,試圖入侵我們的員工。

這方面的作用點包括傳達有價值物品的領域,例如服務或產品的免費試用或促銷價格。在這些區域,攻擊者一次竊取一個訂閱無利可圖,因此他們試圖在不被偵測的情況下實施和擴展這些攻擊。

當然,我們組建 AI 模型來為 Microsoft 和我們的客戶偵測這些攻擊。我們偵測虛假的學生和學校帳戶、虛假公司或組織,這些公司或組織改變了企業統計資料或隱瞞真實身份以逃避制裁、規避控制或隱藏過去的犯罪行為,如貪污定罪、盜竊未遂等。

使用 GitHub Copilot、Microsoft Security Copilot 和整合到我們內部工程和營運基礎結構中的其他 Copilot 聊天功能,有助於防止可能影響營運的事件。

為了應對電子郵件威脅,Microsoft 正在改進收集電子郵件組成之外訊號的功能,以了解其是否為惡意。隨著人工智慧掌握在威脅執行者手中,大量文風無懈可擊的電子郵件湧入,這些電子郵件改善了通常會揭示網路釣魚企圖的明顯語言和語法錯誤,而使網路釣魚嘗試更難以露出破綻

我們需要持續的員工教育和公眾意識運動才能協助打擊社交工程,因為這類手法完全仰賴人為失誤。歷史告訴我們,有效的公眾意識運動可以改變行為。

Microsoft 預計,人工智慧將發展社交工程策略,創造更複雜的攻擊,包括深度偽造和語音複製,特別是如果攻擊者找到在缺少負責任做法和內置安全性控制情況下運行的人工智慧技術。

無論傳統的還是人工智慧啟用的,預防是應對所有網路威脅的關鍵。

建議:

套用廠商 AI 控制並持續評估其調整:對於引入企業的任何 AI,請查找相應供應商的內置功能,以將 AI 存取範圍擴大到使用該技術的員工和團隊,促進符合安全規範的 AI 採用。將整個組織的網路風險利益相關者聚集在一處,以在定義的 AI 員工使用案例和存取控制方面保持一致。風險主管和首席資訊安全官應定期確定使用案例和原則是否足夠,或者是否必須隨著目標和學習的發展而變更。
防範提示注入攻擊:對使用者提供的提示實施嚴格的輸入驗證和清理。使用內容感知篩選和輸出編碼來防止提示操作。一般更新並微調 LLM,以提高其對惡意輸入和邊緣案例的理解。監視和記錄 LLM 互動,以偵測和分析潛在的提示注入嘗試。
授權 AI 供應鏈全面透明:透過清晰和開放的做法,評估 AI 可能接觸組織資料的所有環節,包括第三方合作夥伴和供應商。利用合作夥伴關係和跨職能網路風險團隊,探索經驗教訓,並縮小由此產生的任何差距。在 AI 時代,維護當前的零信任和資料控管計劃前所未有地愈發重要。
保持溝通焦點:網路風險負責人必須認識到,員工正在目睹人工智慧對其個人生活的影響和好處,並且自然希望探索在混合式工作環境中應用類似技術。首席資訊安全官和其他管理網路風險的負責人可以主動分享和擴大其組織關於人工智慧使用和風險的原則,包括哪些指定的人工智慧工具被批准用於企業,以及存取和資訊的連絡點。主動溝通有助於讓員工了解情況並獲得授權,同時降低其將非受控 AI 與企業 IT 資產接觸的風險。

從偵測分析經理、首席資料和應用科學經理 Homa Hayatafar 那裡獲取有關 AI 的更多深入解析。

傳統工具已無法跟緊網路罪犯構成的威脅。最近網路攻擊的速度、規模和複雜性不斷提高,需要一種新的安全性方法。此外,鑒於網路安全性工作力短缺,以及網路威脅的頻率和嚴重性不斷增加,橋接這一段技能差距是當務之急。

AI 對防禦者大有助益。最近一項針對 Microsoft Security Copilot (目前處於客戶預覽版測試階段) 的研究表示,無論安全性分析師的專業水準如何,在識別攻擊者使用的指令碼、建立事件報告和識別適當補救步驟等常見工作中,都提高了速度和準確性1

  • Security Copilot 使用者在所有工作中的準確率提高 44%1
  • Security Copilot 使用者完成所有工作的速度提高 26%1
  • 90% 的人表示,下次執行相同工作時仍希望使用 Copilot1
  1. [1]
    方法:1 快照資料代表一項隨機對照試驗 (RCT),我們測試了 149 人,以衡量使用 Microsoft Security Copilot 對生產力的影響。在這項隨機對照試驗中,我們隨機將 Copilot 分配給一些分析師而不是一般人,然後減去他們的表現和情緒,並排除任何基礎效果,即取得 Copilot 的成果。測試對象具有基本的 IT 技能,但均為安全性新手,因此我們可以測試 Copilot 協助「職業新手」分析師的程度。Microsoft Security Copilot 隨機對照試驗是由 Microsoft Office 首席經濟學家於 2023 年 11 月進行。此外,Microsoft Entra ID 提供了威脅活動的匿名資料,例如惡意電子郵件帳戶、網路釣魚電子郵件和攻擊者在網路內的移動情形。更多的深入解析來自 Microsoft 每天獲得的 65 兆個安全性訊號,包括雲端、端點、智慧邊緣,以及我們的入侵修復安全性實務團隊和偵測及回應團隊,還有來自 Microsoft 平台和服務的遙測資料,包括 Microsoft Defender 和 2023 年《Microsoft 數位防禦報告》。

相關文章

在 AI 時代搶先於威脅執行者一步

Microsoft 與 OpenAI 合作,正在發佈關於人工智慧時代新興威脅的研究,重點關注與已知威脅執行者 Forest Blizzard、Emerald Sleet、Crimson Sandstorm 等相關的已識別活動。觀察到的活動包括提示注入、濫用大型語言模型 (LLM)企圖和欺詐。

專家檔案:Homa Hayatyfar

首席資料和應用科學經理 Homa Hayatyfar 描述了將機器學習模型用於加強防禦,這只是 AI 改變安全性面貌的眾多方式之一。

安全性取決於您的威脅情報

更多的增援已經抵達。威脅情報負責人 John Lambert 解釋 AI 增強了威脅情報社群。