《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 其他 > 業(yè)界動態(tài) > 利用Spaces搭建網(wǎng)格計算框架

利用Spaces搭建網(wǎng)格計算框架

2010-01-27
作者:謝景明,,齊德昱,,林偉偉

摘   要: 利用Spaces模型的時間和空間透明性,將Spaces用作網(wǎng)格計算中共享數(shù)據(jù)和分配任務(wù)的“黑板”,,設(shè)計了一個基于Spaces的網(wǎng)格計算構(gòu)架——GCFS,,為網(wǎng)格計算的框架設(shè)計提供了一種新方法,。
關(guān)鍵詞: 網(wǎng)格計算  異步通信  Spaces模型  Master-Worker模型

  隨著網(wǎng)絡(luò)技術(shù)的發(fā)展,網(wǎng)格計算作為一種新型的分布式技術(shù),,提供了集成的計算與資源環(huán)境,,在提高資源利用率方面起到越來越重要的作用。但在分布式系統(tǒng)中,,進程間的通信,、事件同步是必須解決的問題,。目前出現(xiàn)了眾多的解決方法,具有代表性的有RMI,、CORBA,、Web Service等分布式計算模型。由于這些方法在解決問題時的抽象層次不一樣,,所以對系統(tǒng)的開銷,、可擴展性、跨平臺性以及易實現(xiàn)性等方面的影響程度也不一樣,。
  耶魯大學(xué)的David Gelernter在Linda系統(tǒng)中提出了元組空間(Tuple Space)的思想,。該系統(tǒng)的初衷是利用Spaces為并行計算提供全局的通信緩存。由于Spaces模型簡單且能較好地協(xié)調(diào)進程間的同步,,因此,,可將它作為另一種抽象的分布式計算模型應(yīng)用于當前的各種分布式計算領(lǐng)域。T Spaces,、JavaSpaces作為由Tuple Space模型發(fā)展起來的通用分布式中間件,,已被應(yīng)用到很多分布式計算中。但在實際應(yīng)用中,,它們的一些功能是不必要的,,且容易引起性能效率的降低。網(wǎng)格計算中一個很重要的性能是可將位于異構(gòu)網(wǎng)絡(luò)的多種資源整合為虛擬的統(tǒng)一視圖,,由不同的應(yīng)用動態(tài)地共享,。本文把Spaces用作網(wǎng)格計算中共享數(shù)據(jù)和分配任務(wù)的“黑板”,通過動態(tài)地創(chuàng)建或取消Spaces服務(wù)來適應(yīng)網(wǎng)格計算環(huán)境的變化并設(shè)計了具有良好可伸縮性的GCFS(Grid Computing Framework with Spaces)框架,。
1  Spaces模型
  分布式應(yīng)用中的通信通常有兩種,。一種是異步通信,指不同進程間的消息傳遞,;另一種是同步通信,指遠程過程的調(diào)用,。Spaces擴展了進程間異步通信的模型,,應(yīng)用的參與者集中在一個或多個Spaces中,資源提供者將信息放到Spaces,,訂閱該資源的請求者可從Spaces訪問到這些信息,,也就是說Spaces為網(wǎng)絡(luò)資源的提供者和請求者的相互協(xié)作提供了共同的虛擬空間。圖1為Spaces模型,,它體現(xiàn)了Spaces的以下特點:

  (1)具有分布式應(yīng)用的四個最基本操作:讀,、寫、取,、通知,。
  (2)計算機間的進程通信是間接的,,并不需要預(yù)先知道其他進程的情況,直接和Spaces進行信息交互即可,。與多個點對點通信的方式相反,,所有的計算機都能通過Spaces看到相同的全局消息。
  (3)具有持久性,,即使創(chuàng)建消息的進程不再存在,,它們所生成的消息也仍然可以保留。
  (4)作為允許N個進程同時進行協(xié)作通信的公共中介,,Spaces以一種自然的方式實現(xiàn)了分布式計算的可擴展性,。新進程的加入和離開不需分別通知其他進程,只需由對應(yīng)的Spaces進行管理,。
  根據(jù)上述特點,,可把Space定義為一個可通過網(wǎng)絡(luò)訪問并提供協(xié)作異步通信服務(wù)的共享消息庫。與RMI,、CORBA,、Web Service等進程間直接通信的計算模型不同,在Spaces模型中,,進程間的協(xié)作交互是通過在一個或多個Spaces中交換消息來實現(xiàn)的,。Spaces模型具有異步性,對Spaces內(nèi)的信息操作具有時間和空間的透明性,。該特性能有效地解決分布式系統(tǒng)設(shè)計中所遇到的局部失敗,、平臺獨立性、系統(tǒng)間難以相互發(fā)現(xiàn)等問題,,從而減低了開發(fā)分布式應(yīng)用程序的難度,。
  盡管Spaces能夠存儲各種消息,支持在應(yīng)用間共享消息,,但它們并不是分布式文件系統(tǒng)或者數(shù)據(jù)庫,。Spaces側(cè)重于利用消息來協(xié)調(diào)分布式計算,而分布式文件系統(tǒng)側(cè)重于對信息進行存儲管理,。由于兩者的應(yīng)用目的不同,,所以使用方式也有很大差別。例如,,在文件系統(tǒng)中,,通過命名對先前存儲的數(shù)據(jù)進行訪問,用惟一的名字來標識文件,,并通過文件的名字或內(nèi)容來查找文件,。而Spaces是邏輯共享內(nèi)存模型,與常規(guī)的共享內(nèi)存模式不同,它與值關(guān)聯(lián),,但沒有地址,,可通過模板進行匹配查找。消息的名字,、類型,、內(nèi)容以及消息間的關(guān)系等都可以作為查找條件。
2  GCFS的設(shè)計
2.1 體系結(jié)構(gòu)
  GCFS是利用Spaces的異步性來創(chuàng)建一個靈活且具有可擴展性的網(wǎng)格計算框架,。圖2所示的體系結(jié)構(gòu)包含了六個主要構(gòu)件,,分別是:Space管理器、任務(wù)管理器,、任務(wù)調(diào)度器,、Space服務(wù)、負責通信的Agent以及網(wǎng)格應(yīng)用程序,。

  Space管理器本身也是由Spaces模型建立起來的,,它的主要功能是負責管理系統(tǒng)中的各個Space服務(wù)。Space管理器通過所掌握的參與網(wǎng)格計算的所有計算機的信息,,動態(tài)地創(chuàng)建或者撤銷Space服務(wù),,即系統(tǒng)中的Space服務(wù)能夠隨著計算環(huán)境的變化而動態(tài)變化。例如,,在網(wǎng)格搭建的初期,,A地參與的計算機數(shù)量較少,可以通過位于B地的Space服務(wù)為A地的計算機提供任務(wù)分配服務(wù),。但隨著A地越來越多的計算機參與該網(wǎng)格平臺,,Space管理器將采用評估算法判斷是否有必要專門在A地建立一個Space服務(wù),從而減少兩地之間的通信開銷,。相反,,如果A地網(wǎng)格節(jié)點數(shù)量減少到一定程度,為了減輕Space管理器的管理成本,,Space管理器也會評估是否有必要撤銷A地的Space服務(wù),,并將A地的計算機重新引導(dǎo)到相鄰地區(qū)的Space服務(wù)中。
  在Space管理器中的任務(wù)管理器將任務(wù)劃給各個Space服務(wù),。相應(yīng)地,,Space服務(wù)的任務(wù)調(diào)度器負責將任務(wù)分配給合適的網(wǎng)格節(jié)點執(zhí)行。Space服務(wù)為網(wǎng)格節(jié)點提供信息的公共存儲和共享服務(wù),,在GCFS中起到了連接網(wǎng)格節(jié)點和待處理任務(wù)的中間橋梁作用,。一個Space服務(wù)可以管理多個網(wǎng)格節(jié)點,,但每個網(wǎng)格節(jié)點只接受一個Space服務(wù)管理,。此外,GCFS框架具有良好的負載均衡性,,參與計算機首先連接平臺的Space管理器,,Space管理器根據(jù)當前各個Space服務(wù)的負載,、計算機的處理能力以及地理位置等情況,將計算機引導(dǎo)到相應(yīng)的Space服務(wù),。如果某個Space服務(wù)出錯或者出現(xiàn)過載,,Space管理器會根據(jù)調(diào)度算法重新將該服務(wù)區(qū)域中的網(wǎng)格節(jié)點切換到其他的Space服務(wù)。
  圖3描述了將GCFS應(yīng)用于Master-Worker模式的方法示例,。一個位于A地的Master(同時作為Space管理器)通過任務(wù)管理器劃分多個任務(wù)到各個Space服務(wù),。位于各地的Worker通過Space管理器訪問相應(yīng)的Space服務(wù),從中獲取任務(wù)進行計算并將計算結(jié)果返回Space服務(wù),。Master從各個Space服務(wù)中收集返回的結(jié)果進行匯總分析,。圖3中用虛線圈出的Space是虛擬的,由位于各地的多個Space服務(wù)構(gòu)成,,它們可以被動態(tài)地創(chuàng)建或撤銷,。位于各地的Worker看到的是一個虛擬統(tǒng)一的Space,其中真實存在的Space服務(wù)的變動對Workers來說是透明的,。

2.2 實現(xiàn)方法
  由于Java語言具有良好的跨平臺性和可移植性,,因此GCFS的實現(xiàn)采用Java語言。本節(jié)重點討論GCFS的主要類設(shè)計,,其類結(jié)構(gòu)如圖4所示,。

  Computer類負責管理參與網(wǎng)格的計算機基本信息。這些基本信息主要包括計算機的所在位置,、計算機名,、用戶、IP地址,、CPU處理能力,、內(nèi)存大小、硬盤空間,、操作系統(tǒng)版本,、網(wǎng)絡(luò)連接情況以及開始參與系統(tǒng)的時間等。evaluateComputer方法根據(jù)計算機的屬性評估其性能指標,,為Space-
Manager類的evaluateSpace方法提供算法判斷依據(jù),,使Space管理器能夠選擇計算能力強的計算機提供Space服務(wù)。同時,,任務(wù)管理器和任務(wù)調(diào)度器也能夠根據(jù)計算機的性能情況分配合適的任務(wù)給各個網(wǎng)格節(jié)點進行處理,。
  SpaceManager類用于管理網(wǎng)格中的Space服務(wù),包括Space服務(wù)的動態(tài)創(chuàng)建,、撤銷和監(jiān)控,。evaluatedSpace方法的作用是評估在某個網(wǎng)格節(jié)點上創(chuàng)建或者撤銷一個Space服務(wù)的必要性。該方法首先要判斷網(wǎng)格中是否需要創(chuàng)建新的或者撤銷一個已有的Space服務(wù),然后再選擇應(yīng)該在哪個網(wǎng)格節(jié)點上執(zhí)行新建或者撤銷的操作,。
  TaskManager類管理網(wǎng)格中的任務(wù),,決定如何進行任務(wù)劃分和分配。assignTask方法利用智能任務(wù)調(diào)度算法,,根據(jù)各個Space的當前負載情況,,決定在何時將何任務(wù)分配給何Space服務(wù)。
  Space類用于提供Space服務(wù),。在本框架中,,Space服務(wù)的主要作用是為任務(wù)提供管理服務(wù),網(wǎng)格節(jié)點能夠從Space服務(wù)中獲取任務(wù),。該類提供了read,、write、take,、inform等基本方法操作存放在Space服務(wù)中的系統(tǒng)信息和任務(wù),。
  TaskScheduler類對在Space服務(wù)中的任務(wù)進行調(diào)度。它的scheduleTask方法與TaskManager類的assignTask方法功能類似,,都是將任務(wù)分配給合適的資源,,其差別為二者分配的資源對象不同。scheduleTask是將在Space服務(wù)中的任務(wù)分配給該服務(wù)轄下的網(wǎng)格節(jié)點,。
  Task類表示子任務(wù)的信息,,starttime屬性表示任務(wù)的開始時間,estimatedinterval屬性表示預(yù)計要處理的時間,。這兩個屬性用于容錯,,如果當前時間超出了starttime+k×estimatedinterval(其中k是一個經(jīng)驗值),任務(wù)調(diào)度器就會通知Space服務(wù),,要求其檢查負責該任務(wù)的網(wǎng)格節(jié)點是否出現(xiàn)故障,。taskobject屬性包含了任務(wù)的可執(zhí)行代碼,當網(wǎng)格節(jié)點從Space服務(wù)獲得一個Task實例后,,taskobject會自動地下載到節(jié)點上執(zhí)行,,并將計算結(jié)果返回給Space服務(wù)。
  ClientAgent類和ServerAgent類用于網(wǎng)格節(jié)點,、Space服務(wù)和Space管理器之間的相互通信,。connectServer、listentoServer等方法采用的是UDP通信協(xié)議,。目前GCFS在安全方面的措施還較少,,參與任務(wù)計算的網(wǎng)格節(jié)點不需驗證就可以直接連接到Space服務(wù)和Space管理器上,且網(wǎng)格節(jié)點對服務(wù)器傳送的數(shù)據(jù)也是信任的,。
3  結(jié)束語
  網(wǎng)格技術(shù)要對計算資源進行“虛擬”組合,,使得位于不同位置,、具有不同硬件和操作系統(tǒng)的資源能夠協(xié)同工作。Spaces模型是一種非常抽象的分布式計算模型,,可管理消息、資源和任務(wù)等信息,。通過在網(wǎng)格中動態(tài)地創(chuàng)建Space服務(wù),,GCFS系統(tǒng)建立了一個輕量級的網(wǎng)格計算框架。為了提高3G無線網(wǎng)絡(luò)仿真的性能,,該框架正被應(yīng)用于移動通信的3G仿真,。該框架還存在著許多需要深入研究的問題,例如,,如何使多個Spaces進行相互協(xié)作,,如何更好地增強Spaces在Internet中的安全性以及如何有效地對任務(wù)進行分解和調(diào)度等。
參考文獻
1   Freeman E,,Hupfer S,,Arnold K.JavaSpaces(TM) Principles,Patterns and Practice.Addison-Wesley Pub Co,,1999
2   Edwards W K.Jini核心技術(shù).北京:機械工業(yè)出版社,,2002
3   GigaSpacesTM Technologies Ltd.GigaSpaces Grid Server for   Web Services Applications[R/OL].http://www.gigaspaces.  com/whitepaper.htm.2005,1
4   Sterck H D,,Markel R S,,Pohl T et al.A lightweight Java  Taskspaces framework for scientific computing on computational grids.In:Proceedings of the ACM Symposium on Applied Computing,Track on Parallel and Distributed   Systems and Networking,,2003
5   Lehman T J,,Cozzi A,Xiong Y et al.Hitting the distributed   computing sweet spot with TSpaces.Computer Networks,, 2001,;35(4)
6   Liu M L.Distributed Computing Principles and Applications.Pearson Education,Inc,,2004
7   Noble M,,Slateva S.Scientfic computation with JavaSpaces.  Harvard-Smithsonian Center for Astrophysics.Boston  University,Boston,,2001

本站內(nèi)容除特別聲明的原創(chuàng)文章之外,,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,并不代表本網(wǎng)站贊同其觀點,。轉(zhuǎn)載的所有的文章,、圖片、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有,。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認版權(quán)者,。如涉及作品內(nèi)容,、版權(quán)和其它問題,請及時通過電子郵件或電話通知我們,,以便迅速采取適當措施,,避免給雙方造成不必要的經(jīng)濟損失。聯(lián)系電話:010-82306118,;郵箱:[email protected],。