《電子技術應用》
您所在的位置:首頁 > 嵌入式技術 > 業(yè)界動態(tài) > 網(wǎng)格資源調(diào)用中支撐技術的研究與實現(xiàn)

網(wǎng)格資源調(diào)用中支撐技術的研究與實現(xiàn)

2008-10-24
作者:劉 霖 戴梅萼 周 健

  摘 要: 針對網(wǎng)格資源調(diào)用的特點,,從提高系統(tǒng)的時間性能,、安全性能和自適應性能方面分別提出并實現(xiàn)了動態(tài)鏈接表技術、身份鑒別技術,、散列化處理技術" title="散列化處理技術">散列化處理技術和自適應技術" title="自適應技術">自適應技術,。
  關鍵詞: 網(wǎng)格 動態(tài)鏈接表 身份鑒別 散列化 自適應機制


  隨著網(wǎng)絡技術的不斷發(fā)展,以Internet為基礎的新技術——網(wǎng)格(Grid)有了長足的進步,。在網(wǎng)格資源調(diào)用中,,時間性能、安全性能和穩(wěn)定性能是衡量網(wǎng)格功能的重要指標,,相關技術已經(jīng)成為網(wǎng)格研究的重要課題,。本文分別從這三個方面出發(fā),對動態(tài)鏈接表技術,、身份鑒別技術,、散列化處理技術和自適應技術做了較深入的研究并進行了仿真實驗,。這些技術對網(wǎng)格資源調(diào)用起到很好的支撐作用。
1 網(wǎng)格資源調(diào)用中必須考慮的問題
  從需求角度看,,網(wǎng)格資源調(diào)用具有以下特點:
  (1)資源搜索速度快,。網(wǎng)格資源中,有很大一部分駐留于大型資源庫,,而在大型資源庫中,,對共享資源進行搜索的時間開銷直接影響時間性能。所以,,提高搜索速度對于提高網(wǎng)格資源調(diào)用的時間性能至關重要,。
  (2)信息傳輸" title="信息傳輸">信息傳輸安全性高。網(wǎng)格資源調(diào)用時,,信息通過Internet進行傳輸,,傳輸?shù)陌踩允侵陵P重要的。這里的安全性包括數(shù)據(jù)的完整性,,以及數(shù)據(jù)接收者的合法性,。為此,需要有效的安全協(xié)議予以保證,。
  (3)資源傳輸過程的持續(xù)性和穩(wěn)定性,。因為物理網(wǎng)絡存在帶寬有限、延遲大,、傳輸狀態(tài)可變以及穩(wěn)定性差等缺點,,所以需要在信息傳輸過程中,面對網(wǎng)格傳輸狀態(tài)的變化自動做出相應調(diào)整,,即具有很好的自適應性,。
2 網(wǎng)格資源調(diào)用中支撐技術的研究與實現(xiàn)
2.1 動態(tài)鏈接表

  隨著網(wǎng)格規(guī)模的發(fā)展,不斷地有更多的客戶機加入網(wǎng)格,,并提供更加豐富的資源,,從而,在數(shù)據(jù)網(wǎng)格和信息網(wǎng)格中,,也會有更大量的文件被共享,。這樣,當網(wǎng)格在線客戶機通過資源管理器搜索網(wǎng)格資源時,,其搜索范圍將會隨著共享文件的增多而變得越來越大,。實驗表明:當資源中的文件搜索范圍在104或者更高的數(shù)量級時,其搜索速度明顯變慢,。
  在網(wǎng)格發(fā)展初期,,這種搜索可能不會造成明顯的負擔,可是,隨著網(wǎng)格規(guī)模的不斷擴大,,勢必使網(wǎng)格的負擔日益加重,。具體表現(xiàn)在網(wǎng)格資源調(diào)用的時間開銷大大增加,甚至不堪承受,。
  動態(tài)鏈接表技術的設計思想是:根據(jù)文件資源的調(diào)用情況以鏈接表方式建立一種數(shù)據(jù)結構,,鏈接表本身根據(jù)資源使用情況實時、動態(tài)地交互更新,。鏈接表中統(tǒng)計的資源是近期某個時間到當前時間段內(nèi),,共享資源中被搜索或被共享次數(shù)較多的文件。資源使用者在對網(wǎng)格資源進行調(diào)用時,,先在動態(tài)鏈接表中進行搜索,。如果搜索命中,則資源使用者可以直接調(diào)用資源,;如果沒有命中,,則退出動態(tài)鏈接表,,再對資源直接進行搜索,。
  圖1是動態(tài)鏈接表技術相應的工作流程圖。
  因為動態(tài)鏈接表中的搜索范圍相對于資源的直接搜索范圍要小得多,,所以,,在資源很龐大的情況下,即使鏈接表不能命中,,對鏈接表檢索的時間開銷也幾乎可忽略不計,。圖2是動態(tài)鏈接表在搜索命中的情況下,其搜索時間開銷與對資源直接搜索的時間開銷的對比圖,。


  圖2中,,實線表示直接對資源搜索并命中的時間與文件數(shù)目的關系,虛線表示用動態(tài)鏈接表搜索資源并命中的時間與文件數(shù)目的關系,??梢钥闯觯S著文件數(shù)目的增多,,直接對資源搜索并命中的搜索時間開銷近似為一個線性遞增函數(shù),,而采用動態(tài)鏈接表搜索的時間開銷很小,而且?guī)缀醭仕街本€,,與資源中的文件數(shù)目無關,。
  實驗表明:客戶機對資源的搜索情況呈正態(tài)分布,利用動態(tài)鏈接表中搜索命中的概率約為30%,。表1列出了網(wǎng)格資源調(diào)用中加入動態(tài)鏈接表技術以后關于時間性能的測試結果,。
  表1第2列表示直接對資源搜索并命中目標所用的時間開銷的平均值,第3列表示客戶機在動態(tài)鏈接表中搜索所用的時間開銷的平均值。


  從表1可看出:當資源中的文件在2000~11000范圍時,,由于通過動態(tài)鏈接表而造成系統(tǒng)時間性能少量下降,;但是,在文件達到15000個時,,由于動態(tài)鏈接表而造成的負面作用消失,;隨著資源中文件的不斷增加,動態(tài)鏈接表對網(wǎng)格資源搜索的時間性能提高越來越顯著,。
  由此可見,,如果資源中的文件數(shù)少,則不宜用動態(tài)鏈接表,,而當資源中的文件達到一定數(shù)量時,,使用動態(tài)鏈接表可有效地提高網(wǎng)格資源調(diào)用的時間性能。在實際編程中,,安排了程序段先判斷資源中的文件數(shù)量,,然后據(jù)此決定是否啟動動態(tài)鏈接表機制。
  由于龐大的網(wǎng)格系統(tǒng)" title="網(wǎng)格系統(tǒng)">網(wǎng)格系統(tǒng)中存在無數(shù)的大型資源,,因此,,動態(tài)鏈接表技術將從總體上有效提高網(wǎng)格資源調(diào)用的時間性能。
2.2 身份鑒別和散列化處理技術
  在數(shù)據(jù)網(wǎng)格和信息網(wǎng)格中,,資源的調(diào)用體現(xiàn)在對數(shù)據(jù)資源和信息資源的在線瀏覽或下載等操作上,,其中涉及信息在網(wǎng)格中的傳輸問題。
  盡管網(wǎng)格資源具有不必探求其來源的特點,,不必對資源的來源進行判斷,,但是在網(wǎng)格中傳輸信息時,仍然特別需要保證通信安全,。這體現(xiàn)在:在傳輸過程中,,要防止出現(xiàn)數(shù)據(jù)丟失或數(shù)據(jù)被他人截獲后篡改;此外,,對于調(diào)用網(wǎng)格資源的客戶機,,需要對其調(diào)用資格進行審定,再決定是否授權其進行資源調(diào)用,。
  身份鑒別和散列化處理技術可以有效地解決上述問題,。其設計思想分兩層實現(xiàn)。第一層是資源管理器在檢測到客戶機有資源調(diào)用請求后,,對客戶機進行身份鑒別,,依照鑒別結果向客戶機發(fā)送資源調(diào)用證書,并接收反饋信息,,據(jù)此判斷該客戶機是否有網(wǎng)格資源調(diào)用資格,;第二層是通過散列化處理對所傳輸數(shù)據(jù)的完整性進行安全校驗。
  客戶機一旦登錄并向資源管理器發(fā)送資源調(diào)用請求,資源管理器就會生成一個資源調(diào)用證書,。生成資源調(diào)用證書的過程,,實際上是一個對資源調(diào)用者身份鑒別和確認的過程。如果是,,則發(fā)出證書,,相當于實現(xiàn)對資源調(diào)用者的授權。證書中包括資源調(diào)用者的身份信息和資源本身的相關信息,。
  同時,,資源管理器周期性地生成隨機數(shù)組,并在每一個周期起點時刻,,向已被授權的資源調(diào)用者和被調(diào)用者發(fā)送隨機數(shù)組,。例如,在周期n的起點時刻,,發(fā)送隨機數(shù)組arrayA,,在周期n+1的起點時刻,發(fā)送隨機數(shù)組arrayB……所有的隨機數(shù)組都是不相同的,。
  一個具體的身份鑒別工作流程如下:在線客戶機A通過網(wǎng)格系統(tǒng)準備調(diào)用資源S,,于是先向資源管理器發(fā)送資源調(diào)用請求。資源管理器內(nèi)部有關于S的路徑信息,,并確定S位于在線客戶機B,。資源管理者在得到A的申請后,對A進行審核,,向A發(fā)送資源調(diào)用證書和隨機數(shù)組。同時,,資源管理器還向B發(fā)送資源要被調(diào)用的信息和隨機數(shù)組,。
  A和B同時反饋隨機數(shù)組到資源管理器,資源管理器通過對來自A和B的隨機數(shù)組對比作判斷,,據(jù)此真正授權A可進行網(wǎng)格資源的調(diào)用,。這種方法通過較復雜的確認資源調(diào)用者的身份,可以有效地保證網(wǎng)格資源的安全性,。
  當網(wǎng)格系統(tǒng)對客戶機授予資源調(diào)用資格后,,就開始資源調(diào)用過程。資源調(diào)用過程中要求保證傳輸數(shù)據(jù)的安全性,。為此,,資源所有者同時發(fā)送數(shù)據(jù)資源和附加的散列??蛻魴C收到數(shù)據(jù)資源和附加的散列后,,首先對數(shù)據(jù)資源進行散列化處理。散列化處理用SHA1算法實現(xiàn),結果為160位的信息摘要,。然后進行散列比較,,即將用SHA1算法獲得的散列與附加的散列作比較,如比較結果相同,,則說明數(shù)據(jù)完整,;否則,說明數(shù)據(jù)在傳輸過程中有部分丟失或者在被他人截獲后進行了篡改,。
  由上可見,,附加的散列和散列化處理過程確保了數(shù)據(jù)傳輸?shù)陌踩D3是身份鑒別和散列化處理過程的流程圖,。


  身份鑒別和散列化處理技術用于網(wǎng)格系統(tǒng)的資源調(diào)用,,能有效地保證網(wǎng)格資源的安全性和信息傳輸?shù)耐暾浴?BR>2.3 自適應機制
  物理網(wǎng)絡的傳輸狀態(tài)總是隨著用戶使用情況而不斷變化的,所以,,存在隨機性大和穩(wěn)定性差的缺點,,這會給網(wǎng)格大數(shù)據(jù)量的實時傳輸要求帶來很大影響。自適應技術將使這種影響降到最低程度,。
  自適應技術的設計思想是:讓系統(tǒng)自動檢測當前的網(wǎng)絡狀態(tài),,并對網(wǎng)絡狀態(tài)的變化做出反應,通過調(diào)整發(fā)送策略,,即基于負反饋的平衡控制策略來適應網(wǎng)絡的變化,,從而使系統(tǒng)既充分又合理地利用信道進行數(shù)據(jù)傳輸。
  理想的情況是:在不造成信道堵塞的前提下,,發(fā)送端充分利用信道帶寬發(fā)送數(shù)據(jù),。
  設Ms表示發(fā)送端發(fā)送數(shù)據(jù)的速率(字節(jié)/秒),ω為網(wǎng)絡帶寬(字節(jié)/秒),。如果Ms<<ω,,則發(fā)送端不能充分利用網(wǎng)絡帶寬;如果Ms>>ω,,則發(fā)送端發(fā)送的只有一部分能被接收,,多余的部分將造成網(wǎng)絡的擁塞。
  所以應使Ms≈ω,,即發(fā)送端發(fā)送信息的速率約等于帶寬,。
  對于接收端" title="接收端">接收端,有:
  
  Mr為接收端接收數(shù)據(jù)的速率(字節(jié)/秒),。
  由于ω是會變化的,,為了滿足Ms≈ω的條件,系統(tǒng)要檢測ω的變化情況并使Ms對其變化做出反應,。為此,,可以每隔特定時間執(zhí)行以下步驟:
  (1)增加Ms,,如果Mr不隨Ms增加則恢復為原來Ms的值;反之則表明ω增加了,,繼續(xù)增加Ms,,當Mr不隨Ms繼續(xù)增長時,設置Ms為現(xiàn)在的Mr,。
  (2)ω的減小會導致Mr的減小,,可通過接收端的包間間隔來檢測。在每次Ms改變后開始一次檢測周期T,,記發(fā)送端和接收方包間隔時間差的累積度量為E,,于是:
  
  預先設定一個閾值D,每傳輸一包就計算一次的值,,當滿足E>D時,,即檢測到帶寬減小時,將Ms設置成該檢測周期Mr的平均值,,然后開始下一個檢測周期,。
  這樣,當網(wǎng)絡帶寬不穩(wěn)定時,,可以根據(jù)網(wǎng)絡帶寬的變化動態(tài)調(diào)節(jié)發(fā)送速率策略,。這種基于負反饋的平衡控制策略,使網(wǎng)格在進行資源調(diào)用時,,可以有效,、充分地利用網(wǎng)絡帶寬,提高效率,。
  針對網(wǎng)格資源調(diào)用的需求特點,,動態(tài)鏈接表技術能夠有效地加快資源搜索速度,提高系統(tǒng)的時間性能,;身份鑒別技術和散列化處理技術保證了信息傳輸?shù)陌踩?;自適應技術則提高了資源調(diào)用傳輸?shù)姆€(wěn)定性,并且可以充分地利用信道帶寬,。仿真實驗證明:這些技術能夠對網(wǎng)格資源調(diào)用的性能改善提供很好的支撐作用。
參考文獻
1 Gabrielle Allen,,Edward Seidel,,John Shalf.Scientific Computing on the Grid, Byte, Spring. 2002
2 Borja Sotomayor.The Globus Toolkit 3 Programmer′s Tutorial. 2004.03
3 Fran Berman,Geoffrey Fox,,Tony Hey.Grid Computing:Making the Global Infrastructure a Reality.Wiley Publishing Company.2003.3
4 Ian Foster,,Carl Kesselman. The Grid: Blueprint for a New Computing Infrastructure.2003.2
5 http://www.globus.org
6 http://www.chinagrid.net

本站內(nèi)容除特別聲明的原創(chuàng)文章之外,轉載內(nèi)容只為傳遞更多信息,,并不代表本網(wǎng)站贊同其觀點,。轉載的所有的文章,、圖片、音/視頻文件等資料的版權歸版權所有權人所有,。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認版權者,。如涉及作品內(nèi)容、版權和其它問題,,請及時通過電子郵件或電話通知我們,,以便迅速采取適當措施,避免給雙方造成不必要的經(jīng)濟損失,。聯(lián)系電話:010-82306118,;郵箱:[email protected]