發布日期:2023/04/07
Edge Processor
我們明白了——將數據導入Splunk不僅需要花費大量的時間、金錢和資源,而且還需要努力以提供最大價值的方式塑造數據。 但它不再需要了,這要歸功於Splunk在數據處理方面的最新創新。
Splunk很高興地宣佈Splunk Edge Processor正式發佈,這是Splunk Cloud Platform內的一項服務,旨在幫助客戶在靠近數據源的數據轉換中實現更高的效率,並提高對動態數據的可見性。 Edge Processor為客戶提供了新的功能,可以在將數據路由到受支援的目標之前對其進行篩選和遮罩,並以其他方式轉換其數據。 Edge Processor加入採集操作,作為 Splunk 預攝取數據轉換功能的一部分。 所有當前的Edge Processor功能都免費提供給所有Splunk Cloud客戶。
賦予Edge Processor數據轉換能力的是Splunk的下一代數據搜索和準備語言SPL2。 使用SPL2,客戶可以更靈活地調整數據,以便在發送數據進行索引之前完全按照他們想要的方式格式化數據。
Edge Processor的獨特之處在於其架構,主要是基於雲的控制平面。 Edge Processor節點可通過單個命令在客戶伺服器或客戶雲基礎架構上輕鬆安裝和配置,並完全通過Splunk雲平臺進行管理。 這些節點是中間轉發層,從邊緣源接收數據。 客戶管理其整個Edge Processor機群,並通過其Edge Processor網路查看入站和出站數據量,所有這些都可以從一個位置進行。 然後,任何節點都可以水準擴展,只需添加實例即可處理不斷增加的處理或數據量需求。

客戶有詳細的指標來查看其管道對流經每個Edge Processor的數據的影響,並且可以密切跟蹤數據中意外的峰值或低谷
從中央雲控制平面,客戶定義數據處理邏輯(管道),這些邏輯規定了所需的過濾、遮罩和路由邏輯,並且可以將其管道應用於網路中的任何或所有Edge Processor。 Edge Processor管道是在新的管道編輯器體驗中使用 SPL2 構造的,用戶可以在其中查看資料的預覽,顯示進行更改之前應用管道的影響。
數據平面完全在客戶控制範圍內 — 客戶將數據源指向安裝在其主機上的Edge Processor節點,並且該數據僅發送到客戶指示發送數據的位置。 在啟動時,Edge Processor可以從 Splunk Universal 和 Heavyweight Forwarders 接收數據,並將數據路由到 Splunk Enterprise、Splunk Cloud Platform 和 Amazon S3。

客戶具有引導式管道編輯器體驗,能夠預覽其管道對他們提供的範例數據的影響
使用SPL2的Edge Processor使資料轉換變得簡單而靈活。 Edge Processor最常見的用例之一是篩選詳細數據源(如 Windows 事件日誌),以保留選定的事件或事件中的內容。 此使用案例的一組顯式示例是僅保留與特定事件代碼匹配的 Windows 事件,遮罩 Windows 事件末尾的大量消息欄位元,並將未經篩選的數據副本路由到 AWS S3 儲存桶。 下面的管道顯示了這些示例是如何構造的; 使用者控制管道應用於哪些數據、如何處理這些數據,以及將處理後的數據路由到的位置。
|
|
Pipeline definition (SPL2) |
$source |
$destination |
|
Filter Windows system events on event id, route to Splunk Cloud index “Security” |
$pipeline = | from $source// Extract event code field| rex field=_raw /EventCode=(?P<event_code>\d+)/ // retain all events with windows event code = 9| where event_code = 9| into $destination; |
sourcetype = winEventLog: system |
Splunk index: |
|
Mask Windows system events to remove the final “Message” contents, route this copy to Splunk Cloud index “Main” |
$pipeline = | from $source | eval _raw=replace(_raw, /(Message=.*[\r\n?|\n])((?:.|\r\n?|\n)*)/, "\\...") | into $destination; |
sourcetype = winEventLog: system |
Splunk index: |
|
Route unfiltered copy of ALL Windows events to AWS S3 bucket “Windows” |
$pipeline = | from $source | into $destination; |
Sourcetype = winEventLog* |
S3 bucket: |
借助Edge Processor,客戶將體驗到動態數據和大規模提高工作效率、簡化性和對數據轉換的控制。 更重要的是,Edge Processor是幫助客戶管理成本並從您的 Splunk 投資中提升價值的另一種功能,作為一種強制功能,根據用例組織和確定數據的優先順序,以便您在需要的位置只處理所需的數據。
如果您是目前託管在美國或都柏林 Splunk Cloud 區域的 Splunk 雲平臺客戶,則可以立即訪問Edge Processor。 請與您的 Splunk 銷售代表聯繫,或向 EdgeProcessor@splunk.com 發送電子郵件, 其中包含您的公司名稱、Splunk 雲堆疊名稱和Splunk雲區域。 如果您是託管在其他 Splunk Cloud 區域的 Splunk 雲平臺客戶,請同時聯繫您的 Splunk 銷售代表或發送電子郵件,以便在您所在地區提供Edge Processor後加入要啟用的清單。