《電子技術應用》
您所在的位置:首頁 > 模擬設計 > 業界動態 > AI、HPC的助推器,下一代并行文件系統解決方案—EXA5

AI、HPC的助推器,下一代并行文件系統解決方案—EXA5

2019-07-05
關鍵詞: AI HPC

  DataDirect Networks (DDN)推出了EXA5,這是該公司第五代Exascaler Lustre文件系統平臺,將用于填充DDN的全閃存、中檔和高端存儲設備系列。Exascaler主要客戶是針對HPC人群,但這個最新版本也吸引了更多面向企業客戶的特性,尤其是那些從事人工智能工作的客戶。

  DDN高級營銷總監Kurt Kuckein表示:“對于那些不那么熟悉DDN的企業來說,這些需求變得越來越明顯。因此這款產品結合了我們存儲功能和一些企業特性。”

  多年來,DDN一直在有條不紊地為Exascaler軟件添加一些利于企業的功能,人工智能市場正促使DDN對這一領域給予額外關注。對于EXA5,很多新特性都是相當標準的問題——增強型數據保護、升級安全性(包括多租戶)、通過CIFS和NFS網關支持non-Lustre并行存儲系統[1]以及審計功能。改進的small file性能也有所增加了,這也得到了傳統的高性能計算客戶的贊賞。

  據Kuckein介紹,他們在Lustre中做了大量工作來加速Smallfile(小文件存儲)的性能。在硬件級別,這主要是通過利用基于閃存的存儲組件的特殊隨機訪問性能實現的。Kuckein說,他們所做的優化不僅加快了Smallfile(小文件存儲)的I/O速度,而且還跨越了一系列文件大小,從幾kb到幾mb。

  然而,EXA5最大的新特性是STRATAGEM,這是一個功能強大的數據編排引擎,它使用基于策略的布局為用戶提供全面的數據駐留控制,并且提供了Flash和硬盤之間的自動分層。分層是通過將活動數據保存在閃存中,并將訪問的數據放在旋轉磁盤上,從而優化I/O性能。它通過掃描后臺文件系統并在訪問模式允許的情況下移動文件來實現這一點。EXA5中的其他幾十個新特性為在云中部署要求最高的工作負載的用戶提供了獨特的價值。

1562139873379174.png

  到目前為止,DDN客戶一直依賴于開放源碼的Lustre策略引擎,比如Robinhood,根據Kuckein的說法,Robinhood在性能方面還有待改進。Strategem使用的開銷要小得多,因此可以在不過度影響用戶性能的情況下進行文件系統掃描。有趣的是,它將大多數基于閃存的文件鏡像到硬盤上,以備快速需要閃存層上的空間。用戶還可以自定義開發,在特定情況下自動進行數據升降級,還可以使用API對外部驅動的數據移動進行控制。

  DDN設置了策略引擎,所以無論Flash是在它自己基于NVMe(非易失性內存主機控制器接口規范)的存儲陣列(比如ES200NV或ES400NV)中,還是在混合設備(比如ES7990)中與硬盤混合,都沒有關系。它將解決所有的Flash 是否在文件名稱空間或系統本身的問題。

  EXA5已經在德克薩斯高級計算中心(TACC)很快將擁有一臺頂級超級計算機—“Frontera”上實現了應用。作為世界上第五大系統,同時由CPU和GPU驅動,新型TACC機器有望與傳統HPC應用程序一起運行人工智能工作負載。它支持50 pb的DDN硬件,其中3 pb以基于NVMe的硬件的形式提供額外的快速劃痕存儲。

2.png


  在人工智能領域,一家提供實時視頻分析軟件公司正在應用EXA5,XXII分析軟件可以用于無現金的零售環境中,監控商店客戶,并根據他們放入購物車的內容計算費用。在最近的GTC會議上,XXII分析軟件運行在了連接DDN存儲的Nvidia硬件上進行了演示。

  EXA5可以運行在所有的Flash SFA200NV SFA400NV,混合SFA7990,高密度SFA18K,以及 A?I存儲電器 (A1200和AI7990)上,它將在今年第三季度初上市。

  [1] Lustre,一種平行分布式文件系統,通常用于大型計算機集群和超級電腦。Lustre是源自Linux和Cluster的混成詞。它是應用廣泛的linux開源分布式存儲文件系統,其容量可輕易擴容到PB級別,在HPC、云上有相應的使用。


本站內容除特別聲明的原創文章之外,轉載內容只為傳遞更多信息,并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經濟損失。聯系電話:010-82306118;郵箱:aet@chinaaet.com。
主站蜘蛛池模板: 成年人免费在线观看网站 | 真人一级一级特黄高清毛片 | 美国性xxx| 久久综合九色综合欧美就去吻 | 成人欧美视频 | 免费h网站在线观看 | 亚洲视频在线a视频 | 最近2019好看的中文字幕免费 | 男人女人日皮视频 | 中文字幕免费观看视频 | 999久久精品国产 | 成人深夜福利视频 | 一级黄色大片免费 | 夜夜爽夜夜叫夜夜高潮漏水 | 伊人久久亚洲综合天堂 | 国产成人理在线观看视频 | 国产不卡精品一区二区三区 | 嫩草影院永久在线一二三四 | 久久久9999久久精品小说 | 福利视频h | 日韩精品免费在线观看 | 99久久免费国产特黄 | 亚洲欧美日韩综合在线 | 手机在线观看黄色网址 | 美女高清特黄a大片 | 亚洲日本一区二区三区高清在线 | 天天看黄 | 国产精品久久久久久免费 | 免费视频成人 | 美女肥胖大bbbb | 亚洲视频一区网站 | 午夜色图| 色网综合| 99国产牛牛视频在线网站 | 欧美天堂色 | 国产视频福利在线 | 一男一女下面一进一出性视频 | 国产在线永久视频 | 成年人免费观看的视频 | 成人精品一区二区三区校园激情 | 中文日本在线 |