零基礎駭客時代來了？Cato Networks發現 LLM新型越獄技術，輕鬆打造竊密惡意程式
發布日期：2025/03/31
Cato Networks 發布 2025 年 Cato CTRL™ 威脅報告，揭露了一項驚人的發現：即使毫無惡意軟體開發經驗，駭客也能透過 LLM（大型語言模型）越獄技術，輕鬆打造資訊竊取工具！
在這次測試中，Cato CTRL 的威脅研究員成功欺騙 ChatGPT、Microsoft Copilot 和 DeepSeek 等熱門 GenAI 工具，讓它們在不知情的情況下協助撰寫 Chrome 資訊竊取程式。這項新型 LLM 越獄技術被命名為 「沉浸式世界」（Immersive World）。
駭客如何「玩弄」 AI？
研究團隊設計了一個完整的虛構世界，每個 AI 工具有各自的角色、任務與挑戰，並透過敘述性引導，逐步繞過安全機制，使受限操作變得「合理化」。最終，這些 AI 工具竟然真的輸出了惡意程式碼！
「我們發現了一種全新的 LLM 越獄手法——‘沉浸式世界’，這讓創建惡意軟體變得前所未有的簡單！」
——Cato Networks 威脅情報研究員 Vitaly Simonovich
GenAI 風險擴大，企業安全該怎麼辦？
這份報告突顯了一個令人擔憂的趨勢：「零基礎駭客」的時代可能已經來臨。 以往開發惡意軟體需要專業技術，但現在任何人都能透過 GenAI 工具輕鬆「外包」開發工作，讓企業資安風險急速升高。
企業資安負責人、CISO 和 IT 團隊應該關注以下幾點：
✅ 積極應對 GenAI 風險：不僅是 AI 工具開發者，企業內部的使用者也需提高警覺。
✅ 強化 AI 安全策略：針對 AI 生成內容的安全防護措施應成為企業資安策略的一環。
✅ 提高內部教育與意識：確保員工了解 AI 可能帶來的資安風險，避免誤用。
Cato Networks 首席安全策略師 Etay Maor 表示：「這項 LLM 越獄技術本應該被 GenAI 的安全防護機制阻擋，但實測結果顯示，它們仍存在嚴重漏洞。」
「我們的報告重點在於提升業界對 AI 風險的認識，唯有更好的防護措施，才能真正防止 GenAI 遭到濫用！」
📖 完整2025 年 Cato CTRL™ 威脅報告詳情，請參閱 Cato Networks 官網：