根據相關報告,員工的工作站和筆記本電腦中的數據并未得到充分保護,即使這些數據占到了公司所有數據的60%到70%。目前越來越多個人開始重視自己的數據,并對它們進行備份。同時國外的Google,Amazon,Nirvanix,國內的聯想,電信,金山等越來越多的企業進入云存儲領域。SNIA(Storage Networking Industry Association)也于2010年4月發布了關于云存儲的標準CDMI(Cloud Data Management Interface)。該標準定義了云存儲中的相關概念如Data Object,ContainerObject,Queue Object,MetaData,以及對訪問權限,訪問接口,訪問安全性等問題都做了說明與要求。本文通過增加云存儲接口層來屏蔽各廠商接口的差異,同時利用擴充文件和目錄元數據來實現目錄傳輸以及多種備份策略,并設計文件分片和斷點傳輸機制,實現對大文件的傳輸。
1 系統設計
1.1總體設計
備份客戶端運行于客戶機上,根據用戶所使用的云存儲服務,備份客戶端將數據備份到不同的云存儲平臺上。數據分為元數據和數據,元數據和數據即可在獨立的HTTPi青求中傳輸,也可在同一個HTTP請求中傳輸。如圖1所示,傳輸協議采用HTTP或者HTTPS。在完成整體設計中需要考慮云存儲的數據模型,安全訪問控制以及備份策略,下面分別說明這幾點文件。
圖1 系統總體設計
圖2 接口模型圖
圖3 系統結構圖
1.2云存儲中的數據模型
SNIA在CDM中定義云存儲的資源域模型。云存儲中所有的資源通過URI進行描述,對資源的CRUD操作通過HTTP協議進行。資源采用數據和元數據分離存儲,元數據包括了對資源的訪問控制,第三方可增加自定義元數據。
圖2是SNIA在CDMI中定義的接口模型,該圖中有兩個重要的概念Container和DataObjecto Container}c示容器可以容納DataObject以及Containero DataObject代表著數據對象。
2 實現與關鍵技術
2.1整體結構
系統從下向上分為:云存儲層,云存儲接口層,系統核心模塊,用戶。系統核心模塊細分為:傳輸管理,備份策略,差錯控制與冗余消除,文件及目錄傳輸,文件元數據提取,本地數據存儲,定時設置等子模塊。
2.2云存儲接口層
在云存儲服務之上是系統需要直接處理的云存儲接口,即SNIA中定義的CDMI接口標準。這里以SNAI的CDMI標準進行說明,并對比Google和Nirvanix提供的接口。
表1中并未列出所使用的所有接口僅對容器和數據對象做了說明。這里需要強調的一點是,SNIA在CDMI中說Update a Data Object可以更新指定范圍的數據對象內容,類似文件的隨機修改,也可以追加數據對象內容,類似文件追加寫入。
3 實驗結果與分析
本文實現了一個備份客戶端的原型,利用實驗室的私有云做云存儲進行了性能實驗。實驗室的私有云平臺遵循了CDMI中的接口標準,向備份客戶端提供Restful風格接口。實驗環境如下:
(1)硬件組成
服務器端:基于PC的服務器;雙64bInter Xeon 2.0GHz,4048KB Cache CPU:8GB內存,掛在RAIDS存儲2TB,1000Mbps網卡。客戶端:Intel Core2 2.53GHzCPU,2GB內存,SATA 7200轉硬盤,1000Mbps網卡。網絡:1000Mbps交換機構建的LAN。
(2)軟件環境
服務器端:RedHat ASS(內核2.6.30),Web服務器APACHE(2.2.16)。客戶端:Windows XP(SP2)。
(3)測試方法
選用不同大小的連續數據文件進行測試,文件上傳包括元數據提取,文件分片等操作。先進行的是分片測試,通過選用不同的分片大小測試出該環境下最佳的文件分片。
從圖4中顯示,選用SOM,l00M的數據文件在分片大小為4M時具有最大寫速度,速度大小為7MBps。
選用25M到500M不等的數據進行上傳實驗。從圖5的對比分析可以看出,備份客戶端具有較穩定的傳輸速度。FTP隨文件增大而性能出現了下降。最后在300M以上的文件時備份客戶端與FTP具有相同的寫速度。備份客戶端因采用分片傳輸,所以在傳輸速度上具有較為穩定的特性,比FTP有較好的傳輸穩定性。
表1 云存儲接口對照表
圖4 備份寫速度
圖5 FTP與備份客戶端對比
4 總結
本文分析了現有云存儲接口的差異性,指出大部分云備份軟件對目錄備份,大文件備份的局限。并詳細介紹了備份客戶端的實現細節,可以看出增加云存儲接口層是屏蔽云存儲接口差異的可行辦法。同時將目錄層次與云端數據模型進行映射,采用分層傳輸的方法能有效地進行目錄的備份。最后文件分片,斷點傳輸機制,以及文件追加接口能較好地解決了大文件備份。
核心關注:拓步ERP系統平臺是覆蓋了眾多的業務領域、行業應用,蘊涵了豐富的ERP管理思想,集成了ERP軟件業務管理理念,功能涉及供應鏈、成本、制造、CRM、HR等眾多業務領域的管理,全面涵蓋了企業關注ERP管理系統的核心領域,是眾多中小企業信息化建設首選的ERP管理軟件信賴品牌。
轉載請注明出處:拓步ERP資訊網http://m.vmgcyvh.cn/
本文標題:云計算的桌面備份系統實現