大容量存儲系統(tǒng)概述？基本概念？層次分析？例子？光澤文件系統(tǒng)？其他？技術挑戰(zhàn)？研究熱點的基本概念？存儲系統(tǒng)是指將程序和數(shù)據(jù)存儲在計算機以及管理信息調度設備和軟件系統(tǒng)中的各種存儲設備和控制組件. ？硬件: 磁盤，磁盤陣列，光盤，磁帶，磁盤庫，以太網(wǎng)，存儲網(wǎng)絡...？軟件: 文件系統(tǒng)（非結構化數(shù)據(jù)）海量存儲設備，（結構化數(shù)據(jù)），操作系統(tǒng)（內存管理，設備驅動程序，VFS）主要功能？將數(shù)據(jù)組織成一定的邏輯結構: 文件/目錄樹結構，鍵值，數(shù)據(jù)表，對象/桶...？提供一組IO和元數(shù)據(jù)操作接口？讀寫存儲設備，控制數(shù)據(jù)與內存和外部存儲之間的移動文件系統(tǒng)（Linux）元數(shù)據(jù)相關的數(shù)據(jù)結構元數(shù)據(jù): 數(shù)據(jù)數(shù)據(jù)，記錄數(shù)據(jù)的物理位置，文件屬性（時間，所有者，權限，用戶定義的擴展名）屬性等）文件IO路徑（Linux）從單機存儲到大容量存儲...？從單機->集群進行計算？節(jié)點之間的數(shù)據(jù)共享？處理能力的提高需要更快的I / O？來自GB-> PB-> ZB應用程序的數(shù)據(jù)規(guī)模？單機存儲系統(tǒng)不能滿足文件系統(tǒng)應用文件系統(tǒng)的需求嗎？容量有限？信息孤島，無法共享存儲設備中的數(shù)據(jù)存儲設備？數(shù)據(jù)可靠性和可用性很差DAS DAS？存儲系統(tǒng)還必須是系統(tǒng)的，網(wǎng)絡的，集群的！大容量存儲系統(tǒng)？通常是指通過高速網(wǎng)絡技術連接多個存儲設備或存儲節(jié)點并提供大容量（PB甚至ZB級）存儲空間的網(wǎng)絡存儲系統(tǒng).

訪問接口: POSIX，REST，SCSI，IO端點ext3，xfs，…IO端點ext4，btrfs，…元數(shù)據(jù)服務器？管理名稱空間？元數(shù)據(jù)操作管理？找到文件物理位置存儲池？通過某種方法將數(shù)據(jù)服務器和存儲硬件組織到邏輯上統(tǒng)一的整體磁盤文件系統(tǒng)中？管理磁盤塊設備存儲硬件（RAID，JBOD，各種磁盤，高級存儲設備DDN，SAN等）大容量存儲連接方法？ NAS？網(wǎng)絡附加存儲 ？ SAN應用程序是應用程序？存儲區(qū)域網(wǎng)絡？ IP-SAN文件客戶端文件客戶端？ SAN over IP？ NAS-SAN混合公用網(wǎng)絡TCP / IP，IB，Myrinet NAS文件服務器文件服務器塊設備客戶端存儲設備存儲設備應用程序塊設備客戶端應用程序塊設備客戶端SCSI，iSCSI SAN存儲設備存儲設備存儲設備存儲設備示例: Lustre文件系統(tǒng)？ Lustre文件系統(tǒng)是分布式的面向對象的分布式并行文件系統(tǒng)嗎？可擴展的性能？支持PB級存儲？ 104級客戶？ 100GB / s +吞吐率？文件帶存儲？細粒度的鎖定機制？支持多個基礎網(wǎng)絡示例: Lustre的數(shù)據(jù)存儲和訪問？文件是以對象的形式存儲的嗎？這些文件存儲在多個OST上，每個文件對應于每個OST上的相同文件對象，并具有唯一的對象ID.

？客戶端: 文件讀寫->文件對象讀寫？服務器: 文件對象操作->特定磁盤文件操作示例: Lustre的數(shù)據(jù)訪問路徑示例: Lustre的元數(shù)據(jù)管理？ Lustre的元數(shù)據(jù)服務器位于整個系統(tǒng)的名稱空間存儲在MDT上嗎？ MDT是用于存儲Lustre文件系統(tǒng)文件堆的經(jīng)過修改的ext3文件系統(tǒng)？文件堆與實際文件具有相同的屬性？所有者，權限，時間，目錄成員等文件. 堆中的文件大小是否為零？文件的擴展屬性記錄文件中包含的對象，對象的位置，文件堆的實際名稱以及堆之間的空白示例: 光澤可靠性和可用性？硬件層的可靠性？ MDT使用RAID 0 + 1，OST使用RAID 6？本地文件系統(tǒng)的可靠性？ ldisk的日志文件系統(tǒng)？ Linux的虛擬卷和快照機制？服務器可用性？心跳+光澤故障轉移*？廉價磁盤的冗余陣列，RAID示例: 其他？商業(yè)系統(tǒng)？ IBM GPFS，EMC Isilon，NetApp，Quantum StoreNext…？開源系統(tǒng)？ Lustre，Ceph，gLuster，Hadoop FS，HBASE，MFS？高能物理領域的通用系統(tǒng)？ Castor，DPM，dCache，EOS？互聯(lián)網(wǎng)公司內部使用系統(tǒng)嗎？ Google FS，TFS，BigTable等...大容量存儲系統(tǒng)的需求大容量存儲系統(tǒng)的技術挑戰(zhàn)1.可用性？磁盤，服務器和客戶端的數(shù)量在增加嗎？網(wǎng)絡接口越多，丟包和擁塞的可能性就越大. 確認請求失敗的時間延遲會變長嗎？故障數(shù)量增加而總MTBF（平均故障間隔時間）時間減少了嗎？磁盤容量變大了，MTTR（恢復的平均時間）故障恢復時間變長了嗎？故障增加次數(shù)，確認故障，并增加從故障中恢復的時間. 需要更好的設計來實現(xiàn)大容量存儲系統(tǒng)的技術挑戰(zhàn). 2.可擴展性？ CPU內核數(shù)量的增加導致并發(fā)IO和并發(fā)元數(shù)據(jù)的數(shù)量增加. 訪問次數(shù)增加了嗎？服務器請求處理能力，尤其是元數(shù)據(jù)請求處理挑戰(zhàn)面臨3.硬件多樣性？磁帶，具有不同性能，大小和壽命的機械磁盤，SSD4. IO軟件堆棧正變得越來越復雜，存儲系統(tǒng)研究熱點IO端點ext3，xfs，…IO端點ext4，btrfs海量存儲設備，ZFS…訪問接口（傳統(tǒng)存儲和云計算環(huán)境，云存儲訪問協(xié)議支持，遠程傳輸和同步等）. 元數(shù)據(jù)服務

本文來自本站，轉載請注明本文網(wǎng)址：
http://www.pc-fly.com/a/jisuanjixue/article-249556-1.html