- 相關推薦
淺析海綿數據推出大數據操作系統Sponge
海綿數據近日宣布推出其第二代大數據操作系統產品Sponge。Sponge是一個簡單多層，兼容完全POSIX兼容的分布式NFS、Hadoop，支持對象存儲、云存儲、SDS（軟件定義存儲）、容器機制，集成Spark為計算引擎，基于內存計算技術的分布式系統，將大數據的存儲、管理和計算有機融合，具有實時一致性，易于兼容現有系統，相比10年前誕生的第一代產品Hadoop更加簡單易用，易于擴展。僅僅有作為計算平臺的Spark不足以應對大數據的挑戰，整合后的Sponge技術框架，能夠同時支持大數據、云存儲、結構化、半結構化和非結構化數據的處理，代表了大數據的發展方向。
簡單 高效 可靠 經濟
今天已經沒有人再懷疑大數據的價值，云計算、移動互聯、物聯網、機器學習、無人機等前沿技術的普及與大數據的發展相得益彰，不論在美國還是中國，大數據已經在很多的IT企業和傳統企業開始落地，譬如互聯網金融公司的反欺詐流程，電信運營商的客戶服務分析，都貫穿著大數據和機器學習技術的應用，這也刺激著初創企業在這個領域尋找新的商業機會。
目前普遍被采用來應對大數據的是開源軟件與廉價的x86服務器的組合，這些開源產品包括Hadoop、Spark、Storm、NoSQL等。傳統存儲和數據庫當然也針對大數據的需求升級，用來存儲價值密度低的大量非結構化數據卻不現實。這些原本被Google、Facebook、Yahoo等大公司驗證在某些場景很成功的開源項目，也存在問題：不同功能模塊對應多個相互獨立的開源項目，為不同的目的而設計，其關系很復雜，缺乏通用性，系統部署和使用復雜而低效，二次開發困難，并且難以統一管理和監控，維護成本高，所以，需要有一個統一的平臺。
簡單、高效、可靠、經濟，這四個詞，是海綿數據對第二代大數據操作系統的價值的追求，以及Sponge產品設計的理念。
滿足大量文件數據讀寫IO的高需求
不同于以往以磁盤計算技術為核心的文件系統，SpongeFS將集群內存管理提升成為文件系統的重要組成部分，以滿足大量文件數據讀寫IO的高需求。SpongeFS基于分布式設計，上文說的Masterless結構，以及模塊化架構，正是由SpongeFS來操盤的。
SpongeFS主要由集群管理層、文件管理層和存儲層構成。當數據進入SpongeFS，就被分成一個個數據塊，每個數據塊通過文件管理層先存入緩存層，被加入集群間復制隊列，一擊加入到持久隊列等待存入持久層，CDR則把持久層數據塊復制到目標集群（目標群數據塊也優先存到緩存層）。文件管理層的基本管理單位是Volume，每個Volume可以有不同的管理設置，如容錯性、安全性、物理資源的使用等。
【淺析海綿數據推出大數據操作系統Sponge】相關文章：
PHP向MySQL數據庫保存數據代碼03-21
php向Mysql數據庫保存數據的代碼04-24
PHP數據庫Oracle數據完整性05-05
關于統計學的數據來源與搜集數據的方法05-06
如何把Excel工作表中數據導入數據庫07-04
JAVA的數據權限設計05-28
數據的數字特征教案03-02
java數據的靜態屬性06-13