有人說我們從來沒有真正解決任何IT問題，我們只是轉(zhuǎn)移了這些問題。重復(fù)數(shù)據(jù)刪除同樣也不例外。雖然重復(fù)數(shù)據(jù)刪除系統(tǒng)使得我們的備份和恢復(fù)變得更加簡單，但同樣也存在許多挑戰(zhàn)。精明的存儲或者備份管理員能夠通曉這些挑戰(zhàn)，并且盡一切可能來解決它們。

　　你的備份系統(tǒng)有三種不同的創(chuàng)建重復(fù)數(shù)據(jù)的方法：重復(fù)所有文件系統(tǒng)或應(yīng)用的備份;重復(fù)文件系統(tǒng)或應(yīng)用增加的備份;以及備份到多個地方(例如：位于同樣操作系統(tǒng)或應(yīng)用程序的多臺機器)的文件。基于Hash的重復(fù)數(shù)據(jù)刪除系統(tǒng)(例如：CommVault Systems公司, EMC 公司, FalconStor Software, Quantum公司, Symantec公司)能識別和刪除所有三種類型的重復(fù)數(shù)據(jù)，但是粒度級別受限于它們的塊大小，典型的塊大小是8K或者更大?；贒elta-differential的重復(fù)數(shù)據(jù)刪除系統(tǒng)(例如: IBM公司, ExaGrid Systems, Sepaton公司)則只能識別和刪除前兩種類型的重復(fù)數(shù)據(jù)，但是它們的粒度級別能夠小到byte級。這些差異在重復(fù)數(shù)據(jù)刪除率方面通常打成平局，但在某些特定的環(huán)境中能產(chǎn)生明顯的差異，這就是為什么大多數(shù)專家建議你測試多種產(chǎn)品的原因。

　　由于在絕大多數(shù)的備份數(shù)據(jù)中大約有一半的重復(fù)數(shù)據(jù)來自于多個完全備份。使用IBM的Tivoli存儲管理器(TSM)作為備份產(chǎn)品的用戶相比于使用其他備份產(chǎn)品的用戶，能獲得更低的重復(fù)數(shù)據(jù)刪除率。這是因為TSM的逐步增量功能，用戶無需在TSM備份的文件系統(tǒng)上再進行全備份。然而，由于TSM用戶對他們的數(shù)據(jù)庫和應(yīng)用執(zhí)行了全備份，并且由于全備份的數(shù)據(jù)并不只在重復(fù)數(shù)據(jù)被發(fā)現(xiàn)的地方存在一份，TSM用戶依然能夠受益于重復(fù)數(shù)據(jù)刪除系統(tǒng)——他們的重復(fù)數(shù)據(jù)刪除率將會更小。

　　第二種類型的重復(fù)數(shù)據(jù)來自于增量備份，增量備份包含著自最近一次完全備份以來，文件或者應(yīng)用程序的多個版本。如果一個文件每天都被修改和備份，而且備份系統(tǒng)的備份保留期為90天，那么這個備份系統(tǒng)中將會存在該文件的90個版本。一個重復(fù)數(shù)據(jù)刪除系統(tǒng)將會識別這90個不同版本中的唯一數(shù)據(jù)片段和冗余數(shù)據(jù)段，并且只保存唯一的數(shù)據(jù)片段。然而，有些文件類型不存在不同的版本(例如視頻，音頻，照片或圖像，以及PDF文件)，每個文件其自身就是獨一無二的，并且不會和同一個文件的先前版本有重復(fù)。擁有這些類型文件的增量備份將完全包含這些唯一的數(shù)據(jù)，因此沒有任何重復(fù)數(shù)據(jù)可以刪除?？紤]到重復(fù)數(shù)據(jù)刪除存儲的相關(guān)成本，一些擁有此類文件占很大比重的用戶考慮不將這些數(shù)據(jù)存儲在重復(fù)數(shù)據(jù)刪除系統(tǒng)上，因為除了增加成本，他們得不到任何好處。

　　重復(fù)數(shù)據(jù)刪除系統(tǒng)和加密：你需要注意什么

　　重復(fù)數(shù)據(jù)刪除系統(tǒng)通過查找和消除的模式工作;加密系統(tǒng)通過消除模式工作。不要將你需要備份的數(shù)據(jù)在發(fā)送到重復(fù)數(shù)據(jù)刪除系統(tǒng)之前進行加密——-否則你的重復(fù)數(shù)據(jù)刪除率將是1:1。壓縮工作有點像加密，它同樣是查找和消除模式，只是采用了不同的方法。絕大多數(shù)壓縮系統(tǒng)的這種方法將導(dǎo)致數(shù)據(jù)的不規(guī)則性從而產(chǎn)生像加密一樣的效果;它同樣可以使你的重復(fù)數(shù)據(jù)刪除系統(tǒng)完全失去處理這些數(shù)據(jù)的能力。

　　壓縮的挑戰(zhàn)經(jīng)常會導(dǎo)致想要備份變得更快的數(shù)據(jù)庫管理員和希望進行重復(fù)數(shù)據(jù)刪除的備份管理員之間的僵局。因為數(shù)據(jù)庫經(jīng)常產(chǎn)生容量很大但實際數(shù)量很少的數(shù)據(jù),因此它們非常需要進行壓縮。這就是在打開了備份壓縮功能后通常會比沒有壓縮快2到4倍的原因。避開這個特殊挑戰(zhàn)的唯一辦法是使用一個備份軟件產(chǎn)品，這種產(chǎn)品集成了數(shù)據(jù)源重復(fù)數(shù)據(jù)刪除和客戶端壓縮的功能。例如CommVault的 Simpana, IBM的 TSM 或者 Symantec 的NetBackup。

　　復(fù)用和重復(fù)數(shù)據(jù)刪除系統(tǒng)

　　備份系統(tǒng)重復(fù)數(shù)據(jù)刪除的下一個挑戰(zhàn)是它只能應(yīng)用在那些使用了虛擬磁帶庫(VTLs)和支持復(fù)用的備份軟件的公司，復(fù)用多個不同的備份到同一個磁帶驅(qū)動器上會擾亂這些數(shù)據(jù)并且完全挫敗所有的重復(fù)數(shù)據(jù)刪除。即使有產(chǎn)品能夠破譯來自一個復(fù)用鏡像的不同備份流(例如FalconStor, Sepaton)，我要告訴你的是，不要對他們的設(shè)備進行復(fù)用備份，因為那只是浪費時間。

　　考慮去重開銷

　　備份重復(fù)數(shù)據(jù)刪除的最后一個挑戰(zhàn)是必須使用備份窗口，這種方法很可能使得一些重復(fù)數(shù)據(jù)刪除系統(tǒng)在執(zhí)行重復(fù)數(shù)據(jù)刪除任務(wù)時導(dǎo)致要進行的備份變得很慢。很多人都沒有注意到這個現(xiàn)象，那是因為用戶是將數(shù)據(jù)從磁帶轉(zhuǎn)移到磁盤中，并且重復(fù)數(shù)據(jù)刪除系統(tǒng)仍然高速運行。然而，已經(jīng)使用磁盤分段的用戶可能注意到備份性能的下降以及備份數(shù)據(jù)所消耗的時間的增長。不是所有的產(chǎn)品都有這個特殊的功能，而且所表現(xiàn)出來的程度也不同，你只有在你的環(huán)境中做一個測試，才能詳細了解情況。

　　恢復(fù)的挑戰(zhàn)更加容易理解，大多數(shù)重復(fù)數(shù)據(jù)刪除系統(tǒng)存儲數(shù)據(jù)的方式導(dǎo)致了最近備份以零碎的方式進行記錄。如果備份系統(tǒng)沒有做重復(fù)數(shù)據(jù)刪除，那么重復(fù)數(shù)據(jù)刪除備份的恢復(fù)操作可能需要花費更長的時間。這種現(xiàn)象被稱之為“去重開銷”。

　　當(dāng)考慮去重開銷時，想想你是否計劃使用重復(fù)數(shù)據(jù)刪除系統(tǒng)作為磁帶復(fù)制的來源，因為去重開銷在大型恢復(fù)和磁帶復(fù)制中非常普遍。例如，假設(shè)你計劃使用具有140MBps速度和1.5TB存儲容量的LTO-5驅(qū)動器，再假設(shè)你已經(jīng)檢測了你所有的備份磁帶并且發(fā)現(xiàn)你有2.25TB的數(shù)據(jù)需要存到1.5TB的磁帶上，這意味著你需要獲得1.5:1的壓縮比率。這也意味著在復(fù)制的過程中你的140MBps的磁帶驅(qū)動器實際上應(yīng)該以大約210MBps的速度運行。確保在運行期間，重復(fù)數(shù)據(jù)刪除系統(tǒng)能夠提供運行的需求(如例子中的210MBps),如果不能夠，你可能需要考使用另外一個系統(tǒng)。

　　重復(fù)數(shù)據(jù)刪除恢復(fù)的最后一個挑戰(zhàn)是他們?nèi)匀辉诨謴?fù)，這就是為什么重復(fù)數(shù)據(jù)刪除系統(tǒng)不是一個“萬靈藥”。一個必須進行恢復(fù)的大型系統(tǒng)，要求能夠?qū)崿F(xiàn)數(shù)據(jù)從重復(fù)數(shù)據(jù)刪除系統(tǒng)到產(chǎn)品系統(tǒng)的大容量復(fù)制。只有將你的備份系統(tǒng)進行總體架構(gòu)上的改變，如從傳統(tǒng)備份系統(tǒng)變成具有連續(xù)數(shù)據(jù)保護(CDP)或者準(zhǔn)CDP的系統(tǒng)才能解決這個特殊的挑戰(zhàn)，這樣能夠使恢復(fù)時間保持在幾秒而不是幾小時。

　　重復(fù)數(shù)據(jù)刪除系統(tǒng)能夠在不進行大規(guī)模架構(gòu)調(diào)整的情況下，給你帶來大幅提升當(dāng)前備份和恢復(fù)系統(tǒng)能力的希望。只是在你簽署采購訂單之前，請確保能夠意識到重復(fù)數(shù)據(jù)刪除的這些挑戰(zhàn)。