介紹 Splunk App for Behavioral Profiling

Splunk 是一個適用於各種使用情境的平台，可用於調查安全性、可觀測性、詐騙、商業情報等諸多領域的營運資料。然而，當我在 Splunk 工作時，我逐漸意識到所有客戶都面對著來自於同一核心問題的挑戰：

在爆炸性的巨量資料中，找出對組織的韌性最具威脅性的異常行為實體。

容我向您介紹 Splunk App for Behavioral Profiling，這是一整組的工作流程，讓您能夠在複雜環境中系統化地進行異常行為的偵測和評分，並和設定檔進行關聯，然後找出影響韌性的個體。它可以幫助以下對象：

• 反詐騙部門的工作是找出手法日益精進的攻擊者。攻擊者會不斷進化他們的手法，涵蓋實體和數位管道，盡力避開簡單的偵測規則。
• IT 營運團隊支援現代化的基礎架構、服務和解決方案。他們必須負責許多不同的工作，其中任何一部分都可能悄悄出現可能危害平台韌性並導致整個服務中斷的問題。
• 內部威脅分析師試圖追蹤象徵犯罪活動的不尋常行為，同時努力克服缺乏彈性、透明度，並對營運作業過於複雜的傳統解決方案。
• 平台管理員會找出張貼攻擊性或非法言論的惡意使用者，因為如果沒有在專屬平台上找出不適用的解決方案，將會直接影響營收和客戶感受。

背景
首先，我們先來定義一些基礎術語。

前面我已經多次使用了「實體」(entity) 這個術語，但實體是什麼？它可以是任何東西，任何可對應的一組「事物」，您可以對它進行比較並找到異常行為。例如，實體可以是客戶、業務單位、員工、應用程式、伺服器、分公司等。

而「行為異常」則是與預期行為有偏差者；可以是實體與其同儕之間的差異、實體與其歷史行為之間的差異，或兩者的某種結合。

在過去，對 Splunk 來說，大規模進行行為異常偵測並追溯到相關的實體是一項複雜的工作。為此需要了解和實作以下項目：

• 利用 Splunk 的搜尋處理語言 (SPL) 來定義搜尋
• 排程進行搜尋來操作該搜尋
• 使用機器學習和 ML-SPL 來定義和解釋何謂異常

此外，還需要利用摘要索引和 KV 儲存等功能，以實現將異常搜尋真正擴展到可能涵蓋數百萬個實體的規模。如需詳細資訊，您可以閱讀 Josh Cowling 這一篇絕妙的部落格文章。

Splunk App for Behavioral Profiling 應用套件解決了這個問題，可透過簡單的點擊操作協調上述所有步驟。有了它，您能夠使用一行 SPL 部署行為式指標搜尋，並導入簡單的評分機制，以便將注意力從誤報轉移到真正重要的實體上。

運作原理
該應用套件使用三層式架構，將您的原始資料來源轉換為經過行為分析的實體：

1. 首先，會部署追蹤實體行為的指標搜尋，並按照使用者定義的排程將指標輸出到指標索引中。
2. 然後，此指標索引會被當成使用者定義評分規則的輸入項。這些規則會利用簡單的條件邏輯 (例如指標值 > 5000) 到機器學習型異常偵測等標準，識別出行為異常的實體，並在評分索引中動態評分。
3. 然後，評分索引會匯出到一個行為儀表板，列出一份按照彙整行為評分排序的實體清單，以供進一步調查使用。

部署
部署一個指標搜尋，就像將工作流程指向一個資料集一樣簡單，只要選擇代表唯一實體的欄位，從下拉式選單選擇一個函數來建立您想要追蹤的指標度量即可 (更有經驗的用戶可以完全利用 SPL 搜尋)。一旦滿意設定，您可以透過快顯功能表儲存、排程，並立即更新結果。

定義並儲存新的指標規則

然後，使用指標索引中的資料來定義評分規則。在這裡，您可以選擇使用靜態條件邏輯、標準差閾值或由 Splunk 機器學習工具套件援的異常偵測，定義出判斷異常行為的規則，對象可以是每個實體或整個群體。

一旦確認異常標準，您只需定義評分邏輯，然後再次儲存、排程並更新評分規則。

定義用於判斷和評分指標搜尋異常的邏輯

調查
當您部署了評分規則以後，評分成果將立即與其他成果彙整，填入到 Entity Behaviral Scores (實體行為評分) 儀表板。該儀表板提供了實體行為分析的見解，以及一份根據優先性排序的異常實體清單。點按深入研究一個實體後，您將進入 Single Entity Profile (單一實體概要) 檢視。此時您可以看到該實體的歷史記錄、個別行為分數的歸因，以及相關的原始事件。在這個檢視中，您可以將實體標記為已審查，或將其新增到允許清單中，將它移出所有的底層搜尋。

維護
了解規則效能非常重要，以確保您的環境能夠持續識別出最關鍵的實體。因此，這個應用套件還提供了多個檢視，讓您可以發現規則是否偏離或遇到效能問題。

檢視評分規則儀表板

Entity Behavior Scores 儀表板中包含觸發每個規則的數量和評分歸因的資訊，可指導您應該如何調整規則。與此同時，Review Indicators (檢視指標) 和 Review Scoring Rules (檢視評分規則) 儀表板則提供了隨著時間進行，從您部署的搜尋所回傳的事件數量和搜尋效能的相關資訊。

立即開始！
如果您想要開始尋找環境中行為最異常的實體，請從 Splunkbase 下載 Splunk App for Behavior Profiling，其支援已經在環境中使用詐騙和服務監控使用案例的 Splunk Enterprise/Cloud 客戶，並提供支援文件和影片示範。

感謝您，祝您分析愉快！

特別感謝我在開發此應用套件時的合作者 Josh Cowling，感謝他的大力支持，也感謝所有協助這個應用套件發展的 Splunk 公司成員和客戶們。

POSTED BY
Rupert Truman
Rupert 是 Splunk 在英國的解決方案工程師，他除了幫助企業實現他們的資料價值，還喜歡偷偷進行瘋狂的機器學習額外專案。在空閒時間，他愛看各種的運動比賽，還試圖說服自己沒有浪費錢購買唱盤，並不斷收集更多黑膠唱片來填滿他的房子。