0 引言
“
云計算”是近年來IT產業(yè)發(fā)展的新熱點,受到各方的廣泛關注。其作為一種新興技術和商業(yè)模式。將加速信息產業(yè)和信息基礎設施的服務化進程,催生大量新型互聯(lián)網信息服務,帶動信息產業(yè)格局的整體變革。根據提供服務類型的不同,云計算通常分為基礎設施即服務(infra—structure as a service,IaaS)、平臺即服務(platform as aservice。PaaS)和軟件即服務(software as a service,SaaS)。其中,基礎設施即服務(IaaS)作為最基礎及支撐性的服務模式,通過虛擬化技術使得虛擬機共享物理機資源池,使運營商可以通過向用戶提供虛擬機資源來承載他們的應用。顯然,云計算應用的開展必將導致云IDC中的基礎設施資源(如服務器、網絡設備、存儲設備等)大量聚集。于是.虛擬資源調度管理技術的優(yōu)劣將直接影響到IDC整體的資源利用率、服務能力以及SLA。另外,隨著IDC規(guī)模的擴增,手動及人工管理數目龐大的物理資源集群已經變的非常不現實。如今,更需要一種自適應的資源管理技術,以自動響應IDC運行情況變化,并減輕管理人員的負擔。因此,這也成為云計算在IaaS模式下需要重點優(yōu)化和突破的關鍵技術問題。
云計算環(huán)境下的自適應資源管理問題是一個非常復雜、龐大的課題。目前,國內外的相關研究主要集中在如下4個技術領域:①虛擬機放置優(yōu)化算法;②虛擬資源動態(tài)伸縮模型;③多IDC間的全局云計算資源調度;④全局資源配置及能力規(guī)劃模型。本文將從以上4個研究領域出發(fā),對云計算環(huán)境下自適應資源管理技術的現有研究成果進行闡述及分析,并指出當前研究中存在的一些亟待解決問題,進而進一步指出未來的研究發(fā)展趨勢。
1 虛擬機放置優(yōu)化算法
虛擬化技術為當今的IDC帶來了許多優(yōu)勢:一方面,它能夠有效的幫助IDC提高整體IT資源的利用率,通過集成、整合分散的物理資源、將眾多虛擬機放置在同一臺物理機上;另一方面,它也為IDC提供了更大的靈活性,可以動態(tài)的隨需配置各臺虛擬機占用資源的大小,同時,也可以通過動態(tài)遷移技術、根據不同策略使虛擬機在不同物理機之間快速移動。但是,顯然,這也對資源管理技術提出了更高的要求。
虛擬機放置問題是云環(huán)境下資源管理技術的一個最重要的研究點,也是目前受到關注最多的一個領域,學術界和工業(yè)界都對優(yōu)化的虛擬機放置技術進行了大量研究。虛擬機放置需要決定虛擬機與物理機之間的映射關系,其重點即是根據所設定的放置策略。尋找優(yōu)化的虛擬機放置方案,以更好的滿足多重系統(tǒng)目標。除此之外,還要求虛擬機的放置過程能夠自適應的響應整體運行環(huán)境的動態(tài)變化,及時做出改變。
大量的文獻如文獻[1-2]等把虛擬機放置問題建模成裝箱問題或N維裝箱問題文獻[3-41,通過虛擬機遷移,使得開啟盡可能少的物理機以滿足所有虛擬機的資源請求,從而提高整體的IT資源利用率。文獻[1-2]把虛擬機放置問題定義為一個多目標優(yōu)化的問題,包括避免違反SLA、減少服務器數量、以及減少遷移次數等;他們提出了一個基于基因算法的方法來解決該問題。文獻Is]為虛擬機與虛擬機之間和虛擬機與物理機之間存在不相容約束的服務器整合問題制定了一個兩階段的啟發(fā)式算法:在第一個階段,通過假設每個集群代表一個沒有容量限制的服務器,來找到滿足事項之間和事項倉不相容限制的應用集群;在第二個階段,考慮服務器的能力限制來把每個集群中的應用分配到目標集群中。文獻[6]建立了一種基于分組遺傳基因算法的方法來解決服務器整合的問題。文獻[7]認為虛擬機的遷移是有代價的,在盡量使用最少物理機產生最大的收益的同時,需要考慮虛擬機遷移所產生的代價。
除了提高IDC的資源利用率外,一些文獻還提出了虛擬機放置的其他優(yōu)化目標。對于口叱運營商來說,其最為關注的是運營成本,所以,隨著服務規(guī)模的擴張。降低能耗逐漸成為一個越來越重要的趨勢,這也成為很多當前研究的一個重點優(yōu)化目標。文獻[8一11]都各自提出了降IDC能耗的解決方法,文獻[12]將能耗問題建模為約束混合整數規(guī)劃問題(constrained mix-integer programming),將其轉化為最小費用流問題(minimum cost flow)問題,用快速多項式時間算法求得最優(yōu)解;相比其它文獻,該文獻的解決方案具有較大的優(yōu)勢及可擴展性。另外,文獻[13]把虛擬機遷移產生的代價、虛擬機遷移帶來的收益、遷移后能保持當前狀態(tài)的時間都納入考慮,并用改良后的A*算法來得到一個盡可能優(yōu)的解,在能耗、利用率和性能三者之間盡量平衡。文獻[14]考慮了IDC中的各個虛擬機之間的網絡流量,希望把通信量大的虛擬機盡量放置到一臺或鄰近物理機上,以此來最大限度的減少全局的網絡流量。文獻[15]把用戶提出的一些要求作為輸入,例如某個虛擬機要獨占一臺物理機、某兩個虛擬機不能放置到同一臺物理機上等,由此產生的虛擬機放置算法,盡量滿足用戶的SLA。
所有上述的文獻都是基于確定的工作負載來研究虛擬機放置問題的,為了使上述這些模型能夠提供與應用SLA相符合的解決方案,模型中的負載參數通常采用的是各應用負載的高峰時期(如最大或是99%),這就會導致1DC在很長時間內,都處于低資源利用率、高能耗的狀態(tài)中。為解決這一問題,文獻[16]研發(fā)了一個自動控制的框架,該框架能夠根據用戶特定的策略并遵從某些限制(如兼容的軟件、合適的CPU類型、相似的網絡連接性、共享存儲的使用等),來動態(tài)的對虛擬機進行遷移。為了解決服務水平目標,文獻[17-1提出了一個在負載動態(tài)變化的環(huán)境中,能夠自動遷移虛擬機的資源控制系統(tǒng)。他們提出的方法分為兩部分:①一個能夠動態(tài)判定應用等級性能和通過虛擬機的反饋來分配資源的網上模型評估器;②一個自適應的控制端.它能夠動態(tài)地計算和分配資源。文獻[18]通過預測云承載的應用的負載,動態(tài)的改變虛擬機的大小,盡量減少違反應用的SLA,同時盡量使用少的物理機來滿足所有的虛擬機資源要求。
目前,對虛擬機放置模型和算法的研究雖然數目眾多,但是大部分都存在可擴展性差、實際有效性低、目標單一化等問題,依然存在很大的優(yōu)化空間。虛擬機放置問題涉及到虛擬機到物理機的映射,對于絕大多數現有算法而言是一個NP難問題,復雜度過高,隨著IIX;規(guī)模的擴張,求得可行的解幾乎是不可能完成的任務。在動態(tài)環(huán)境下,如何實現多種不同放置策略的平衡,實現lT資源的集約共享,降低能源消耗,同時探索低復雜度、高效率、近似優(yōu)化的虛擬機放置算法,是一個亟待解決的問題。在未來,期望探索出一種多目標優(yōu)化的、自適應的虛擬機放置模型,綜合考慮并權衡取舍資源利用率、能耗、sLA、網絡流量、虛擬機遷移代價、用戶自定義策略等多方面情況,根據虛擬機的動態(tài)變化情況自適應的調整放置方案;并且,需要提出一種快速、簡便的放置算法,在盡可能短的時間內獲得一個盡量優(yōu)的解決方案。
2 虛擬資源動態(tài)伸縮模型
在虛擬機被創(chuàng)建前,使用者需要首先向云資源提供商申請其所需的資源情況,如CPU個數、內存大小等。早期的資源分配方式通常是固定預分配,即完全按照使用者的請求情況分配給虛擬機相應資源,運行后,不淪其真實使用情況如何,都不做任何調整。這樣的做法固然簡單。但是,往往不能很好的適應應用的動態(tài)工作負載的變化。如果資源請求者按照應用的峰值負載申請資源,則將在絕大多數負載偏低的時刻造成資源的大量浪費;反之,若按照平均負載申請,則會發(fā)生負載超越資源承載能力的情況,造成請求延時。
隨著技術的發(fā)展。以亞馬遜EC2為代表的彈性云服務采用了以虛擬機為單位的粗粒度的方法。按需增減開啟運行的虛擬機數量。從而面達到及時響應應用負載變化的目的。也就是說,當應用負載增加至即將超越資源承受能力時。EC2會再為云服務使用者開啟一臺同樣配置的虛擬機以緩解負載壓力,做到負載均衡;而當應用負載降低時,則可以關閉不必要的虛擬機以節(jié)省資源。亞馬遜EC2的做法雖然具備負載自適應的虛擬資源伸縮能力,但是,以虛擬機為最小伸縮單位的變化方式。仍在一定程度上造成了資源的浪費。
目前,虛擬資源動態(tài)伸縮模型的研究重點在于更加細粒度的資源調整方式,以及時、快速的響應應用負載的變化情況。另外,其負載自適應能力不僅需要依靠當前的負載情況,還希望能夠預測出未來一段時間的工作負載變化,以更準確的、有前瞻性的調整虛擬資源大小。
近期,一些關注于更精細的動態(tài)虛擬資源伸縮模式的學術研究開始涌現,但是,其出發(fā)點及所用方法大多仍相對簡單、處于研究初期。文獻[19-20]僅考慮了單一資源的分配方式。其中,前者關注于計算資源的分配,它提出了一種隨虛擬機工作負載變化而根據CPU優(yōu)先級或CPU份額
動態(tài)調整計算資源分配的方法;后者則通過預估每臺虛擬機的內存使用量、并據此自動的調整內存分配大小,來提高內存資源的使用率。文獻[21-22]實現了一個多層次的、應用相關的資源調度機制,能夠優(yōu)化單一物理機內部及全局的CPU和內存資源流動。文獻[Z3一Z4]都多方面考慮了CPU、內存和網絡帶寬3種資源的綜合優(yōu)化分配方式。其中,前者提出了一種應用無關的負載均衡機制,通過實時監(jiān)控物理機及虛擬機的各項資源使用情況,及時調整資源分配;后者則提出了一個自治系統(tǒng)。利用自動資源監(jiān)測及熱點檢測,確定物理資源到虛擬資源的重新分配。
所有上述研究工作都是針對云環(huán)境中當前負載的狀況做出的響應情況。除此之外,一些研究還將虛擬機資源的伸縮問題歸結于控制論文獻[25-26]問題,通過對未來工作負載進行預測來更好、更準確的優(yōu)化資源分配。文獻[27]提出了一個由基于控制論的在線模型預估器和多輸多輸出(MIM0)資源控制器構成的資源控制系統(tǒng),它能夠自動的適應應用負載動態(tài)變化。通過捕捉應用程序性能和資源分配值之間的復雜關系,按需調整分配資源量,從而滿足云計算應用提供者的SLA。文獻[283研究了預測技術對于虛擬機動態(tài)資源分配的影響,它通過實驗比較了基于控制論的預測控制器與自適應反饋控制器的有效性,其中前者使用了3種分別基于AR,ANOVA-AR和MP模型預測算法。
當前,IDC管理者正面臨著多方面的挑戰(zhàn),包括滿足復雜的云計算應用提供者的SLA、及時響應隨時間變化的資源需求以及解決資源的相互依賴性等。上述眾多研究工作有許多可借鑒之處,但仍不夠完善,存在進一步優(yōu)化的可能性。本領域的研究難點將集中在如何更準確、可靠的預測未來一段時間內的工作負載變化情況。以及如何精確、定量的根據預測負載及當前現狀調整各項虛擬機資源的分配問題等。因此,更加有效的、細粒度的虛擬資源自適應動態(tài)伸縮模型與算法將是未來的發(fā)展方向。
3 多IDC間的全局云計算資源調度
隨著云計算應用的快速發(fā)展,地域分布的多IDC逐漸成為一種趨勢。目前,學術界與工業(yè)界對多刀DC間的全局云計算資源調度的研究尚處于早期階段,并且存在多個不同的考慮角度。前期的相關研究主要集中在混合云之間的資源調度以及某個具體應用在多個IDC的云環(huán)境內的全局調度這兩個方面。
針對混合云的情況,多IDC間的全局云計算資源調度主要關注于使用者的眾多應用在企業(yè)私有云和商業(yè)共有云之間的分布方案的決策,其通常綜合考慮了租用成本、性能、安全性等多個目標。文獻[29]研究了借用外部云計算資源來擴充企業(yè)IDC自身計算能力的方法:通過一個全局的資源分配系統(tǒng)向云計算提供商借用資源以擴充IDC自身的容量;提供了多種調度機制衡量把哪些應用遷移到借用的資源上以達到費用最少同時利用率最高;提出了衡量這些機制的方法,從響應時間、最后期限違反率、租用賢源費用等多個性能指標來衡量一個調度策略。文獻[30]也提出了把企業(yè)IDC的一部分應用遷移到云中可能得到的好處,提供了一個衡量遷移策略的方法,同時提出了遷移可能遇到的一些安全和策略上的問題。
針對多個IDC的云環(huán)境內的調度,一些文獻針對某些具體的應用在云環(huán)境中如何做全局調度做了研究。相比以上考慮混合云的情況而言,本類研究具有更廣泛的應用范圍及更大的實用價值。云環(huán)境下,地域分布的多IDC能同時為不同地域的終端用戶提供服務。根據終端用戶對云上應用的請求情況,將資源合理調度到合適的IDC。既能提升終端用戶的體驗,又能提高整體云環(huán)境的資源利用率,降低運營成本。文獻[31]在多個IDC之上添加了一個分布式的調度機制,調度計算型的應用,但是,盡管其考慮到了多IDC環(huán)境下的虛擬機優(yōu)化分布.卻忽略了IDC之間的交互成本,在需要多個虛擬機協(xié)同服務時性能會受到較大限制,并且其只注重于計算型應用,適用情況單一。文獻[32]針對如何降低數據訪問的時延,提出了名為Volley的解決方案。Volley的主要思想是將數據副本放置在訪問用戶或者對其有依賴的數據附近.以減少用戶訪問時延;但是,其沒有綜合考慮各IDC的資源成本的差異,而僅將研究重點放在數據上。文獻[33]基于典型的分布式企業(yè)應用SAP商業(yè)軟件,將用戶托管服務劃分為不同的類型。根據不同的放置策略和安全設置,將服務放置在不同的云環(huán)境(IDC)中。其基本思想是根據用戶需求將相關組件放置在對該組件有較大需求的云環(huán)境中。
由于應用規(guī)模的限制以及牽扯的細節(jié)較多(如互操作性、網絡傳輸成本、資源成本差異等),當前針對跨IDC的云計算資源調度的研究仍相對較少。但是,隨著云計算技術的進一步發(fā)展以及IDC規(guī)模的擴增,基于地域分布的IDC之間的交互與協(xié)作將成為一個必然的趨勢。現有的多IDC間的全局云計算資源調度研究往往只考慮了少數IDC問、特定應用、單一調度目標的較單純情況。未來,對于混合云之間的調度,將會依賴于不同云平臺之間互操作性的進一步發(fā)展;而對于多IDC的云環(huán)境,該領域需要建立一個全局的云計算資源調度模型,綜合考慮地域分布的虛擬資源與終端用戶應用模式的適配,以達到保證云計算應用提供者的SLA、降低云計算資源提供商的成本以及提高終端用戶QoS的目的。
4 全局資源配置與能力規(guī)劃模型
云環(huán)境下,云計算資源提供商、云計算應用提供商和應用終端用戶是云計算的參與主體,同時也是云計算產業(yè)鏈和價值鏈的主體文獻[34],其中云計算資源提供商需要面對動態(tài)變化、地域分布的應用終端用戶的訪問模式。
全局優(yōu)化的資源配置與能力規(guī)劃研究為資源提供商的關鍵商業(yè)決策提供支持。一方面,云計算資源提供商的投資成本主要包括硬件設備成本等資源成本,以及場地費用、維護費用、能耗成本等運營成本;云計算應用提供商(云資源使用者)需要對其使用的資源付費,同時得到根SLA規(guī)定的服務。另一方面,數據中心的投資建設和云計算應用終端用戶的訪問都具有多地域分布的屬性。因此。不同的數據中心資源配置與能力規(guī)劃方案將具有不同的經濟效益,其旨在協(xié)助資源提供商決定在各地域分布IDC置備多少資源,以達到高性價比、有效保證服務質量的目的。
現有的資源配置與能力規(guī)劃模型的研究,大多集中在配置和規(guī)劃云計算應用提供商所需資源方面文獻[35-37],而不是考慮如何配置和規(guī)劃資源提供商擁有的IDC資源。文獻[38]根據云計算應用提供商所提供應用服務的不同類型,采用不同的資源配置和能力規(guī)劃策略。向云計算資源提供商租用資源,從而有效配置和規(guī)劃從云計算資源提供商那里所獲得的資源,最終使得應用提供商的收益最大。
另外,目前學術界和工業(yè)界對資源提供商的資源配置和能力規(guī)劃研究,也主要集中于單個IDC的能力規(guī)劃。文獻[39]研究基于效用計算的資源投資優(yōu)化模型,優(yōu)先考慮資源的經濟利用,根據資源過低利用和過高利用出現的情況,結合經濟模型,確定資源容量的大小,最終為資源提供商提供容量投資決策,以期達到最大化利潤。
目前,對地域分布的IDC的資源配置與能力規(guī)劃的研究還很少,并且缺乏綜合考慮云計算終端用戶的訪問模式、訪問質量、IDC資源成本等因素的研究模型。本領域期望通過對云上各類應用及它們的訪問特征、資源需求特征進行分析,在此基礎上研究終端用戶訪問質量與數據中心的單位建設運營成本以及資源供給能力之間的關系模型,并對不同數據中心建立投入產出效用模型,最終得到全局優(yōu)化的資源配置與能力規(guī)劃方案。
5 結束語
由于云計算技術的發(fā)展時間尚短,學術界針對大規(guī)模云計算資源調度、管理和優(yōu)化的有關理論與技術的研究仍處于初期階段;工業(yè)界以亞馬遜EC2為代表的傳統(tǒng)彈性云服務雖然已經實現了商業(yè)應用,并取得了一定程度上的成功。但是。在復雜云計算環(huán)境下的資源調度和管理的優(yōu)化問題遠未得到解決。
本文從虛擬機放置優(yōu)化算法,虛擬資源動態(tài)伸縮模型、多IDC問的全局云計算資源調度、全局資源配置及能力規(guī)劃模型等4個方面對國內外當前云計算環(huán)境下的自適應資源管理技術研究現狀進行了闡述及分析。總體而言,這4個領域的研究都已經取得了或多或少的進展,但是,仍舊存在一些關鍵問題有待進一步深入研究與改進。值得注意的是,這4個方面并不是完全獨立的4個領域,相反,它們是相互影響、相互依存的。因此,在未來的研究中,即要針對各個領域的現存問題提出更有效的解決方案,也應關注它們之間的結合與協(xié)作方式。
核心關注:拓步ERP系統(tǒng)平臺是覆蓋了眾多的業(yè)務領域、行業(yè)應用,蘊涵了豐富的ERP管理思想,集成了ERP軟件業(yè)務管理理念,功能涉及供應鏈、成本、制造、CRM、HR等眾多業(yè)務領域的管理,全面涵蓋了企業(yè)關注ERP管理系統(tǒng)的核心領域,是眾多中小企業(yè)信息化建設首選的ERP管理軟件信賴品牌。
轉載請注明出處:拓步ERP資訊網http://m.vmgcyvh.cn/
本文標題:云計算環(huán)境下的自適應資源管理技術綜述
本文網址:http://m.vmgcyvh.cn/html/support/11121510125.html