發布日期:2023/08/18
在度量或時間序列資料中進行異常偵測,是 Splunk 安全性和 Observability 客戶最常用到的機器學習應用之一。客戶希望獲得易於使用、並由機器學習提供支援的高保真異常偵測,以便在首次出現故障點或安全事件的跡象時就獲得警示。
雖然客戶對於機器學習洞察力的需求迅速成長,但許多 Splunk 客戶仍無法將機器學習納入他們的 Splunk 環境中。大多數 Splunk 系統管理員、分析師和其他用戶都不是資料科學家或機器學習工程師,缺乏該領域的知識或使用機器學習框架所需的經驗,所以無法充分利用機器學習帶來的許多好處。現有的市售解決方案大多需要投入大量且持續的時間和資源才能進行異常偵測,因為使用者需要判斷哪些資料適合機器學習、選擇適當的機器學習模型、訓練模型,並且還要監控和維護這些模型。如果在偵測異常時需要考慮資料的季節性 (如特定時間範圍或節日),現有的機器學習解決方案會要求使用者手動輸入季節性數據,但這會使模型容易受到人為錯誤的影響,特別是由於預期的季節性可能會隨著時間而改變。Splunk 客戶希望無需深入探究機器學習的實務和方法就能獲得機器學習的洞察力。
現在,您可以透過 Splunk 異常偵測應用套件 Splunk App for Anomaly Detection 來解決這些問題!Splunk App for Anomaly Detection 可降低客戶在日常工作中發揮機器學習能力的門檻,同時簡化過去複雜且耗時的工作。有了這個應用套件,您可以在幾次點擊內就找出資料集中的異常情形。您只需載入時間序列資料集,選擇想要監控的欄位,然後點擊「Detect Anomalies」即可。再也不需要猜測應該如何設定偵測了。
與現有的 Splunk 異常偵測解決方案相比,Splunk App for Anomaly Detection 的一大改進是它能夠自動偵測並考慮資料的季節性。您不需要告訴應用套件資料在不同時間範圍內的模式不同,也無須在發展業務和競爭環境改變時更新季節性資訊。如此一來,您可以節省大量的前期作業和時間,大幅縮短了使用者實現價值的時間。

資料健康檢查
Splunk App for Anomaly Detection 有一個很棒的功能,就是會在您選擇進行異常偵測的欄位時進行資料健康診斷。這個應用套件會進行檢查,確保資料適合使用該應用套件的演算法進行異常偵測。如果健康檢查顯示資料已準備好,您就可以開始進行。但若健康檢查顯示有問題出現,該應用套件能讓您輕鬆修改資料以進行異常偵測。

它的補救工作流程能讓您解決資料的不一致,例如時間戳記不均勻或不均等的情形,然後輕鬆地產生間隔均勻的貯體,以便在其上執行異常偵測。應用套件還會對資料進行插值以填充遺失的資料點,並警告使用者該資料有遺失的情況。上述做法確保使用者能夠修復資料,而不必處理錯誤和反覆嘗試。

透過簡單的使用者介面進行異常偵測
除了使異常偵測更容易外,Splunk App for Anomaly Detection 還具備了一系列功能,以便更容易地實現異常偵測。您可以透過點擊按鈕調整結果的靈敏度。當您對結果滿意後,可以建立一個新的異常偵測作業,並在作業儀表板 (Job Dashboard) 中進行管理。如果您想在 Splunk 內部建立一個 SPL 查詢並在其他地方操作它,該應用套件也提供了一種簡單的方法來實現這一點!

您可以從作業儀表板根據需要排程作業,以固定的間隔執行偵測,還可以根據發現的異常情形數量和其信心評分來架設警示。您可以選擇當警示觸發時要執行的操作,例如將其新增到已觸發的警示或記錄事件,也可以選擇在遺失資料時收到警示。該應用套件可以讓您設定連續遺失的資料點數量,以觸發相關警示。


下一步
Splunk App for Anomaly Detection 1.1.0 今天已經在 Splunkbase 上架,可供在 Splunk Cloud 平台和 Splunk Enterprise 上使用。如需如何使用此應用套件的更多資訊,請參考此文件。若要立即開始使用這個最新版本,請造訪 Splunkbase。
作者
Poonam Yadav
Poonam Yadav 將她深厚的技術背景與對打造優秀產品的熱情結合在一起。她是 Splunk 的機器學習資深產品經理。之前,Poonam 曾是應用安全領域的產品經理。她主導過 Micro Focus Fortify 的旗艦產品,即靜態程式碼分析器,這是一個靜態的應用程式安全產品,可用於解析並找出應用程式來源程式碼中的漏洞。Poonam 擁有康奈爾大學的工商管理碩士學位,印度理工學院孟買分校的微電子學碩士學位,以及孟買大學的電子工程學士學位。