摘要：在分析動(dòng)態(tài)副本創(chuàng)建策略的基礎(chǔ)上，對(duì)集中式的動(dòng)態(tài)創(chuàng)建策略進(jìn)行改進(jìn)，將熱點(diǎn)數(shù)據(jù)副本的創(chuàng)建與數(shù)據(jù)訪問(wèn)的歷史記錄相結(jié)合。最后通過(guò)數(shù)據(jù)網(wǎng)格模擬器進(jìn)行模擬實(shí)驗(yàn)，得出并分析了實(shí)驗(yàn)結(jié)果。

　　關(guān)鍵詞：數(shù)據(jù)網(wǎng)格,副本優(yōu)化,熱點(diǎn)副本

　　在現(xiàn)代科學(xué)研究和應(yīng)用領(lǐng)域中，大量的數(shù)據(jù)是重要的資源，如高能物理和粒子物理、生物醫(yī)學(xué)研究、航空航天、數(shù)字地球、大型武器模擬、大型數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)等的應(yīng)用。其數(shù)據(jù)量將達(dá)到TB至PB的級(jí)別。同時(shí)，地理上廣泛分布的科研工作者和用戶都希望能訪問(wèn)和分析這些龐大的數(shù)據(jù)，而現(xiàn)有的數(shù)據(jù)管理體系結(jié)構(gòu)、方法和技術(shù)已經(jīng)不能滿足人們對(duì)高性能、大容量分布存儲(chǔ)和分布處理的要求。因此，數(shù)據(jù)網(wǎng)格應(yīng)運(yùn)而生，以解決上述應(yīng)用面臨的問(wèn)題。

　　數(shù)據(jù)網(wǎng)格計(jì)算機(jī)為各種應(yīng)用提供了一個(gè)高性能、大容量、高速傳輸?shù)牟⑿蟹植紡V域計(jì)算平臺(tái)。它是對(duì)廣域范圍內(nèi)大規(guī)模的數(shù)據(jù)集進(jìn)行分布式管理和分析及使用的一個(gè)綜合的體系結(jié)構(gòu)，實(shí)現(xiàn)網(wǎng)格環(huán)境中安全、可靠和有效的數(shù)據(jù)傳輸以及訪問(wèn)、復(fù)制等操作，并提供到不同存儲(chǔ)系統(tǒng)的統(tǒng)一接口，較好地解決了上述問(wèn)題， 從而使得數(shù)據(jù)密集型的高性能計(jì)算和大量的共享數(shù)據(jù)密集型的事務(wù)處理及科學(xué)研究成為可能。

　　在數(shù)據(jù)網(wǎng)格環(huán)境下，通過(guò)數(shù)據(jù)的復(fù)制使數(shù)據(jù)更接近用戶，可以更快執(zhí)行用戶提交的作業(yè)，在更短的時(shí)間內(nèi)訪問(wèn)作業(yè)所需的數(shù)據(jù)文件，以快速提高數(shù)據(jù)訪問(wèn)性能。作業(yè)通過(guò)資源**(RB)提交給網(wǎng)格。RB將作業(yè)調(diào)度到不同的計(jì)算單元(CE)，以提高網(wǎng)格的吞吐量。副本管理器在每個(gè)站點(diǎn)管理站點(diǎn)與站點(diǎn)、存儲(chǔ)單元與計(jì)算單元接口間的數(shù)據(jù)流。副本優(yōu)化器負(fù)責(zé)副本的選擇、動(dòng)態(tài)生成和刪除。在副本優(yōu)化服務(wù)執(zhí)行過(guò)程中，網(wǎng)絡(luò)性能和磁盤I/O也是影響作業(yè)調(diào)度和副本選擇的重要因素。優(yōu)化算法應(yīng)通過(guò)檢查計(jì)算單元和各個(gè)存儲(chǔ)單元之間的可用帶寬和存儲(chǔ)單元的磁盤I/O來(lái)從不同的存儲(chǔ)節(jié)點(diǎn)獲得最優(yōu)的副本。表明在網(wǎng)格環(huán)境下，磁盤吞吐時(shí)間能占用30%的傳輸時(shí)間。因此在計(jì)算數(shù)據(jù)傳輸時(shí)間時(shí)，應(yīng)考慮網(wǎng)絡(luò)帶寬和磁盤吞吐率。這樣的優(yōu)化策略可以更加接近真實(shí)的數(shù)據(jù)網(wǎng)格系統(tǒng)。

　　本文在有限的網(wǎng)絡(luò)帶寬和磁盤吞吐能力的情況下，根據(jù)不斷變化的外部訪問(wèn)特征和副本訪問(wèn)歷史記錄來(lái)對(duì)副本進(jìn)行優(yōu)化，從而使得用戶可以就近訪問(wèn)。整個(gè)數(shù)據(jù)網(wǎng)格系統(tǒng)達(dá)到一個(gè)負(fù)載均衡的狀態(tài)。

　　1相關(guān)工作

　　在用戶提交作業(yè)到作業(yè)完成這個(gè)過(guò)程中，副本管理器對(duì)作業(yè)的生命周期進(jìn)行三處優(yōu)化：

　　a)資源**(RB)決定作業(yè)在哪個(gè)計(jì)算單元上運(yùn)行,即調(diào)度的優(yōu)化。通過(guò)計(jì)算一個(gè)代價(jià)函數(shù)來(lái)實(shí)現(xiàn)：

　　Cost=getAccessCost()+estimatedQueuingTime()。作業(yè)總的執(zhí)行是作業(yè)訪問(wèn)文件時(shí)間和作業(yè)排隊(duì)時(shí)間之和。其中作業(yè)訪問(wèn)數(shù)據(jù)文件時(shí)間包括數(shù)據(jù)文件讀取時(shí)間、網(wǎng)絡(luò)帶寬延遲時(shí)間和磁盤I/O時(shí)間。本文中的作業(yè)調(diào)度流程如圖1所示。

　　b) 作業(yè)運(yùn)行中的動(dòng)態(tài)副本選擇。一旦作業(yè)在計(jì)算單元(CE)上運(yùn)行，它需要訪問(wèn)不同的數(shù)據(jù)文件。由于一個(gè)數(shù)據(jù)文件在各個(gè)網(wǎng)格站點(diǎn)上可能存在多個(gè)副本，當(dāng)一個(gè)作業(yè)需要訪問(wèn)某個(gè)數(shù)據(jù)文件時(shí)，副本優(yōu)化器(RO)通過(guò)調(diào)用函數(shù)�ゞetBest�勃〧ile()來(lái)找到最優(yōu)的文件副本。

　　c)動(dòng)態(tài)副本優(yōu)化，即觸發(fā)在第三方站點(diǎn)上復(fù)制數(shù)據(jù)文件。每個(gè)站點(diǎn)對(duì)所請(qǐng)求的數(shù)據(jù)文件進(jìn)行監(jiān)控和記錄。當(dāng)特定的數(shù)據(jù)文件成為熱點(diǎn)數(shù)據(jù)時(shí)，則可以考慮將該文件復(fù)制到最有可能被訪問(wèn)到的第三方站點(diǎn)。本文通過(guò)數(shù)據(jù)文件的前�玁��次訪問(wèn)歷史記錄來(lái)判斷該數(shù)據(jù)文件是否可成為熱點(diǎn)副本，并通過(guò)一定的算法對(duì)其進(jìn)行復(fù)制。

　　本文在使用OptorSim模擬器的基礎(chǔ)上對(duì)副本管理器的三處優(yōu)化進(jìn)行改進(jìn)。OptorSim通過(guò)模擬(歐洲)數(shù)據(jù)網(wǎng)格中各個(gè)獨(dú)立部件之間的交互作用，從而達(dá)到評(píng)估不同的數(shù)據(jù)管理策略——副本優(yōu)化算法性能的目的。它以EDG的結(jié)構(gòu)為基礎(chǔ)，包括了所有必需的部件，但是重點(diǎn)是在數(shù)據(jù)管理的副本機(jī)制上。使用OptorSim模擬器可以用數(shù)據(jù)復(fù)制與作業(yè)調(diào)度算法相結(jié)合的手段來(lái)對(duì)不同的算法作出評(píng)估，從而最大限度地利用網(wǎng)格資源。

　　2算法優(yōu)化

　　復(fù)制機(jī)制決定動(dòng)態(tài)產(chǎn)生副本的時(shí)間以及副本放置的位置。主要有兩種方法，即集中的和分布的動(dòng)態(tài)復(fù)制方法。本文根據(jù)目前數(shù)據(jù)網(wǎng)格拓?fù)浣Y(jié)構(gòu)的特點(diǎn)，在集中式動(dòng)態(tài)復(fù)制算法的基礎(chǔ)上，提出了一種基于訪問(wèn)歷史記錄的熱點(diǎn)副本產(chǎn)生算法。通過(guò)自動(dòng)產(chǎn)生熱點(diǎn)數(shù)據(jù)的副本，并把副本移動(dòng)到其他站點(diǎn)上，以求提高數(shù)據(jù)網(wǎng)格總體的性能。

　　4結(jié)束語(yǔ)

　　本文在集中式動(dòng)態(tài)副本創(chuàng)建算法的基礎(chǔ)上，將熱點(diǎn)副本的創(chuàng)建與作業(yè)訪問(wèn)數(shù)據(jù)文件的歷史記錄相結(jié)合，使副本創(chuàng)建更具預(yù)見(jiàn)性，并且準(zhǔn)確性也有了一定的提高。在此基礎(chǔ)上，通過(guò)OptorSim模擬器，將此算法從兩種不同的角度與其他兩種算法相比較，并得出了實(shí)驗(yàn)數(shù)據(jù)。 但是對(duì)于每次復(fù)制操作，不僅網(wǎng)絡(luò)帶寬資源被消耗，而且由于磁盤I/O和CPU利用會(huì)使副本服務(wù)器負(fù)載加重。復(fù)制頻度必須受到控制，以避免網(wǎng)絡(luò)和服務(wù)器負(fù)載過(guò)重。本文下一步的工作將對(duì)歷史訪問(wèn)記錄中的�玁��取值進(jìn)行進(jìn)一步的研究，并討論在不同的取值時(shí)，算法的優(yōu)劣，使其做到使整個(gè)數(shù)據(jù)網(wǎng)格系統(tǒng)能夠負(fù)載均衡，用戶可以就近訪問(wèn)所需要的數(shù)據(jù)文件，為用戶提供一種快速、優(yōu)質(zhì)的服務(wù)。