海量存儲承載衛(wèi)星環(huán)境監(jiān)測的海量數(shù)據(jù)

　　“看清”霧霾  構筑更快捷、更靈活的海量存儲是關鍵

　　衛(wèi)星承擔著國家對地觀測、資源勘探等重要任務，可提供精準的對以霧霾等異常情況的觀測數(shù)據(jù)，成為政府環(huán)境治理決策的數(shù)據(jù)“智囊團”。

　　隨著決策數(shù)據(jù)要求的精密性增加、以及衛(wèi)星技術的不斷發(fā)展，衛(wèi)星數(shù)據(jù)采集器的數(shù)據(jù)規(guī)模越來越龐大，對存儲設備的容量拓展、傳輸帶寬、可靠性等方面的要求越來越高。

　　首先，在數(shù)據(jù)量方面，一些高分衛(wèi)星可在距離地面約36000公里的地球同步軌道運行，觀測面積大，并能長期對某一地區(qū)持續(xù)觀測，其分辨率在50米以內(nèi)，每十多分鐘便能獲取一幅圖像。衛(wèi)星每日生成數(shù)據(jù)量8TB以上，年數(shù)據(jù)容量達到2.6PB以上。

　　其次，在存儲性能方面，衛(wèi)星數(shù)據(jù)采集的原始數(shù)據(jù)主要為非結構化的文件數(shù)據(jù)，這些原始數(shù)據(jù)的接收和處理需要占用巨大的寫入帶寬資源。根據(jù)分析內(nèi)容和側重點不同，原始數(shù)據(jù)的加工處理方法也不同，同一套原始數(shù)據(jù)經(jīng)常需要反復讀取和處理，對存儲設備的讀寫帶寬要求很高。而且，衛(wèi)星采集器的數(shù)據(jù)庫龐大，前端應用系統(tǒng)對數(shù)據(jù)的調(diào)用開銷很大，需要通過有效的方式提高數(shù)據(jù)庫的訪問性能，減小前端系統(tǒng)的等待時間。

　　最后，存儲可靠性作為一個老生常談的話題，在衛(wèi)星數(shù)據(jù)存儲中同樣需要得到充足的保障。

　　快捷、海量、高可靠  衛(wèi)星海量存儲解決方案必備的“三板斧”

　　根據(jù)對衛(wèi)星數(shù)據(jù)采集領域的海量存儲需求分析，浪潮衛(wèi)星海量存儲整體解決方案框架如下：

　　浪潮衛(wèi)星海量存儲解決方案架構圖

　　首先，對于衛(wèi)星海量存儲的大容量需求，浪潮海量存儲系統(tǒng)支持多控制器的橫向擴展，實現(xiàn)了系統(tǒng)容量、性能的動態(tài)擴展，通過最大5000個控制器的規(guī)模提供EB級海量存儲空間存儲能力，有效保證了衛(wèi)星數(shù)據(jù)的未來8-10年的存儲容量需求。

　　同時，在容量擴展性方面，浪潮海量存儲也有獨到之處。衛(wèi)星采集數(shù)據(jù)是海量的，且存儲容量和存儲性能隨著業(yè)務量的增長而增長。通常一套系統(tǒng)的建設初期數(shù)據(jù)存儲和處理量不大，但未來會出現(xiàn)爆發(fā)式的增長。如果采用一次性投入的方式，前期會造成較大的資源浪費，后期存儲系統(tǒng)容量及性能不足的時候又較難擴展，因此，較合理及高性價比的方案是采用分批建設。浪潮海量存儲系統(tǒng)具有很高的可擴展性，支持在線擴展且無需對中斷業(yè)務，做到存儲容量和性能的在線線性擴展。

　　浪潮海量存儲系統(tǒng)

　　其次，對于衛(wèi)星大規(guī)模數(shù)據(jù)的存儲性能需求，浪潮海量存儲系統(tǒng)基于橫向動態(tài)擴展控制器架構設計的浪潮海量存儲系統(tǒng)，通過全局緩存、最先進的FDR Infiniband數(shù)據(jù)通信網(wǎng)絡、全交換、無阻塞的存儲交換網(wǎng)絡有效提供數(shù)百GB聚合帶寬，滿足了衛(wèi)星數(shù)據(jù)接收、處理的高并發(fā)IO需求；同時，浪潮海量存儲系統(tǒng)的自動分層功能可以把熱點數(shù)據(jù)遷移到FLASH緩存或SSD高性能存儲池中，實現(xiàn)熱點數(shù)據(jù)快速訪問，也可以把文件按照大小進行分級，衛(wèi)星下傳小文件放在IOPS更高的磁盤池中，實現(xiàn)數(shù)據(jù)分層。其中閃存層，可以提供最大程度的性能提升、支持高性能OLTP系統(tǒng)；SAS層滿足數(shù)據(jù)庫中的各個不同層級和虛擬資源的數(shù)據(jù)存儲；大容量存儲層，實現(xiàn)對歸檔數(shù)據(jù)或冷數(shù)據(jù)的存儲。

　　再次，對于衛(wèi)星大規(guī)模數(shù)據(jù)的高可靠需求，浪潮海量存儲系統(tǒng)利用橫向擴展多控制器架構、全局共享緩存、全交換網(wǎng)絡和多重冗余的數(shù)據(jù)保護機制，消除了海量存儲系統(tǒng)的單點故障。通過在線數(shù)據(jù)的快速復制、已接收數(shù)據(jù)的近線存儲、冷數(shù)據(jù)的備份實現(xiàn)了衛(wèi)星數(shù)據(jù)的三級存儲備份保護，完美滿足衛(wèi)星應用中的在線、近線、備份三級存儲要求；

　　同時，浪潮海量存儲系統(tǒng)支持數(shù)據(jù)跨數(shù)據(jù)中心、跨機房、機柜的容災，一份數(shù)據(jù)被寫入多個數(shù)據(jù)中心中，支持掉電保護，為數(shù)據(jù)的安全可靠提供強大支持，跨中心的冗余保護避免單數(shù)據(jù)中心重要數(shù)據(jù)因意外災害導致的數(shù)據(jù)丟失，為衛(wèi)星數(shù)據(jù)中心提供強有力的保障。

　　三級存儲  浪潮海量存儲承載“高分衛(wèi)星”數(shù)據(jù)

　　“高分衛(wèi)星”項目地面系統(tǒng)是國家高分辨率對地觀測系統(tǒng)的重要組成部分，其主要任務是通過搭建一體化的地面系統(tǒng)體系架構，在充分利用現(xiàn)有技術能力和基礎設施條件的基礎上進行優(yōu)化，增強“高分衛(wèi)星”地面系統(tǒng)對地觀測衛(wèi)星的數(shù)據(jù)接收、綜合處理、數(shù)據(jù)庫與管理和分發(fā)服務等功能，提升運營和服務能力。

　　結合衛(wèi)星中心數(shù)據(jù)業(yè)務的特點，浪潮衛(wèi)星海量存儲解決方案將整個存儲系統(tǒng)分為三個部分，備份存儲區(qū)子系統(tǒng)、近線存儲區(qū)子系統(tǒng)和在線存儲區(qū)子系統(tǒng)，三個存儲子系統(tǒng)統(tǒng)一由浪潮海量存儲系統(tǒng)管理，實現(xiàn)對數(shù)據(jù)進行自動調(diào)動遷移和保存。

　　睜著眼睛做決策

　　浪潮衛(wèi)星海量數(shù)據(jù)整體解決方案，針對衛(wèi)星數(shù)據(jù)采集的行業(yè)應用特點，提供了多種類型的存儲資源，支持Windows/Unix/Linux等異構平臺，存儲系統(tǒng)具有大容量、高并發(fā)、高帶寬、高性能、高可擴展性等典型特征，滿足衛(wèi)星采集器的數(shù)據(jù)存儲和處理分析需求，還通過分級存儲、自動精簡配置等方式提高存儲資源的利用效率、降低投入和運行成本。浪潮海量存儲系統(tǒng)可與數(shù)據(jù)處理系統(tǒng)、前端應用系統(tǒng)等無縫結合，提供統(tǒng)一的監(jiān)控和管理平臺，改善客戶的管理和使用體驗。

　　“以前是閉著眼睛干活，現(xiàn)在是睜著眼睛做決策。浪潮海量存儲運行后，獲得和使用衛(wèi)星對地監(jiān)測的海量數(shù)據(jù)更加高效，對霧霾等異常環(huán)境監(jiān)測更加精準。一句話，利用衛(wèi)星數(shù)據(jù)使我們的眼睛更明亮，看得更清楚，決策就更有力。”某衛(wèi)星數(shù)據(jù)中心信息化負責人說。