新聞中心
什么是Apache Storm?
Apache Storm是一個分布式實時大數(shù)據處理系統(tǒng)。Storm設計用于在容錯和水平可擴展方法中處理大量數(shù)據。它是一個流數(shù)據框架,具有最高的攝取率。雖然Storm是無狀態(tài)的,它通過Apache ZooKeeper管理分布式環(huán)境和集群狀態(tài)。它很簡單,您可以并行地對實時數(shù)據執(zhí)行各種操作。

創(chuàng)新互聯(lián)公司一直在為企業(yè)提供服務,多年的磨煉,使我們在創(chuàng)意設計,全網整合營銷推廣到技術研發(fā)擁有了開發(fā)經驗。我們擅長傾聽企業(yè)需求,挖掘用戶對產品需求服務價值,為企業(yè)制作有用的創(chuàng)意設計體驗。核心團隊擁有超過10多年以上行業(yè)經驗,涵蓋創(chuàng)意,策化,開發(fā)等專業(yè)領域,公司涉及領域有基礎互聯(lián)網服務移動服務器托管、APP應用開發(fā)、手機移動建站、網頁設計、網絡整合營銷。
Apache Storm繼續(xù)成為實時數(shù)據分析的領導者。Storm易于設置和操作,并且它保證每個消息將通過拓撲至少處理一次。
Apache Storm vs Hadoop
基本上Hadoop和Storm框架用于分析大數(shù)據。兩者互補,在某些方面有所不同。Apache Storm執(zhí)行除持久性之外的所有操作,而Hadoop在所有方面都很好,但滯后于實時計算。下表比較了Storm和Hadoop的屬性。
| Storm | Hadoop |
|---|---|
| 實時流處理 | 批量處理 |
| 無狀態(tài) | 有狀態(tài) |
| 主/從架構與基于ZooKeeper的協(xié)調。主節(jié)點稱為nimbus,從屬節(jié)點是主管。 | 具有/不具有基于ZooKeeper的協(xié)調的主 - 從結構。主節(jié)點是作業(yè)跟蹤器,從節(jié)點是任務跟蹤器。 |
| Storm流過程在集群上每秒可以訪問數(shù)萬條消息。 | Hadoop分布式文件系統(tǒng)(HDFS)使用MapReduce框架來處理大量的數(shù)據,需要幾分鐘或幾小時。 |
| Storm拓撲運行直到用戶關閉或意外的不可恢復故障。 | MapReduce作業(yè)按順序執(zhí)行并最終完成。 |
| 兩者都是分布式和容錯的 | |
| 如果nimbus / supervisor死機,重新啟動使它從它停止的地方繼續(xù),因此沒有什么受到影響。 | 如果JobTracker死機,所有正在運行的作業(yè)都會丟失。 |
使用Apache Storm的例子
Apache Storm對于實時大數(shù)據流處理非常有名。因此,大多數(shù)公司都將Storm用作其系統(tǒng)的一個組成部分。一些值得注意的例子如下 -
Twitter - Twitter正在使用Apache Storm作為其“發(fā)布商分析產品”。 “發(fā)布商分析產品”處理Twitter平臺中的每個tweets和點擊。 Apache Storm與Twitter基礎架構深度集成。
NaviSite - NaviSite正在使用Storm進行事件日志監(jiān)控/審計系統(tǒng)。系統(tǒng)中生成的每個日志都將通過Storm。Storm將根據配置的正則表達式集檢查消息,如果存在匹配,那么該特定消息將保存到數(shù)據庫。
Wego - Wego是位于新加坡的旅行元搜索引擎。旅行相關數(shù)據來自世界各地的許多來源,時間不同。Storm幫助Wego搜索實時數(shù)據,解決并發(fā)問題,并為最終用戶找到最佳匹配。
Apache Storm優(yōu)勢
下面是Apache Storm提供的好處列表:
Storm是開源的,強大的,用戶友好的。它可以用于小公司和大公司。
Storm是容錯的,靈活的,可靠的,并且支持任何編程語言。
允許實時流處理。
Storm是令人難以置信的快,因為它具有巨大的處理數(shù)據的力量。
Storm可以通過線性增加資源來保持性能,即使在負載增加的情況下。它是高度可擴展的。
Storm在幾秒鐘或幾分鐘內執(zhí)行數(shù)據刷新和端到端傳送響應取決于問題。它具有非常低的延遲。
Storm有操作智能。
Storm提供保證的數(shù)據處理,即使群集中的任何連接的節(jié)點死或消息丟失。
標題名稱:創(chuàng)新互聯(lián)Apache Storm教程:Apache Storm簡介
瀏覽路徑:http://www.fisionsoft.com.cn/article/cosgogc.html


咨詢
建站咨詢
