淺析海綿數據推出大數據操作系統Sponge

　　海綿數據近日宣布推出其第二代大數據操作系統產品Sponge。Sponge是一個簡單多層，兼容完全POSIX兼容的分布式NFS、Hadoop，支持對象存儲、云存儲、SDS（軟件定義存儲）、容器機制，集成Spark為計算引擎，基于內存計算技術的分布式系統，將大數據的存儲、管理和計算有機融合，具有實時一致性，易于兼容現有系統，相比10年前誕生的第一代產品Hadoop更加簡單易用，易于擴展。僅僅有作為計算平臺的Spark不足以應對大數據的挑戰，整合后的Sponge技術框架，能夠同時支持大數據、云存儲、結構化、半結構化和非結構化數據的處理，代表了大數據的發展方向。

　　簡單 高效 可靠 經濟

　　今天已經沒有人再懷疑大數據的價值，云計算、移動互聯、物聯網、機器學習、無人機等前沿技術的普及與大數據的發展相得益彰，不論在美國還是中國，大數據已經在很多的IT企業和傳統企業開始落地，譬如互聯網金融公司的反欺詐流程，電信運營商的客戶服務分析，都貫穿著大數據和機器學習技術的應用，這也刺激著初創企業在這個領域尋找新的商業機會。

　　目前普遍被采用來應對大數據的是開源軟件與廉價的x86服務器的組合，這些開源產品包括Hadoop、Spark、Storm、NoSQL等。傳統存儲和數據庫當然也針對大數據的需求升級，用來存儲價值密度低的大量非結構化數據卻不現實。這些原本被Google、Facebook、Yahoo等大公司驗證在某些場景很成功的開源項目，也存在問題：不同功能模塊對應多個相互獨立的開源項目，為不同的目的而設計，其關系很復雜，缺乏通用性，系統部署和使用復雜而低效，二次開發困難，并且難以統一管理和監控，維護成本高，所以，需要有一個統一的平臺。

　　簡單、高效、可靠、經濟，這四個詞，是海綿數據對第二代大數據操作系統的價值的追求，以及Sponge產品設計的理念。

　　滿足大量文件數據讀寫IO的高需求

　　不同于以往以磁盤計算技術為核心的文件系統，SpongeFS將集群內存管理提升成為文件系統的重要組成部分，以滿足大量文件數據讀寫IO的高需求。SpongeFS基于分布式設計，上文說的Masterless結構，以及模塊化架構，正是由SpongeFS來操盤的。

　　SpongeFS主要由集群管理層、文件管理層和存儲層構成。當數據進入SpongeFS，就被分成一個個數據塊，每個數據塊通過文件管理層先存入緩存層，被加入集群間復制隊列，一擊加入到持久隊列等待存入持久層，CDR則把持久層數據塊復制到目標集群（目標群數據塊也優先存到緩存層）。文件管理層的基本管理單位是Volume，每個Volume可以有不同的管理設置，如容錯性、安全性、物理資源的使用等。

【淺析海綿數據推出大數據操作系統Sponge】相關文章：

PHP數據庫Oracle數據完整性09-05

數據鏈路層介紹10-15

蘋果公司推出手表操作系統watchOS07-23

硬盤數據怎么恢復10-23

Office的數據透視表的作用10-15

PHP語言：數據類型07-24

Java數據類型轉換08-04

計算機四級數據庫數據模型考點05-07

網絡運營：如何獲取、分析數據09-14

硬盤的分區結構與數據儲存原理07-19