正文 HPC China 2013:邁入高性能計算時代(1 / 3)

HPC China 2013:邁入高性能計算時代

技術趨勢

作者:李旭陽 湯銘

大數據、雲計算,這無疑是近些年來IT業界最為炙手可熱的兩個“流行詞”。不過,當人們熱衷於談論這些概念的時候,卻忽視了其背後的一個重要技術:高性能計算。盡管高性能計算不是實現大數據和雲計算應用的惟一支撐,但是毫無疑問,沒有了高性能計算,大數據和雲計算概念是有缺憾而且不完整的。

不過,時至今日還是有很多人認為,高性能計算和超級計算機隻是停留在實驗室裏的產物。殊不知,其目前已經應用於包括金融、能源、地質勘探、互聯網等多種領域之中。“高性能計算正在逐漸深入到我們的實際應用之中。”在2013年10月29日~31日舉辦的全國高性能計算學術年會(HPC China 2013)上,業內多位專家均拋出了這樣的觀點。

大數據大發現

高能物理、高性能可視化與可視化分析、生物學、氣象,甚至社交網絡,這些都成為了HPC China 2013會議的演講主題。與以往不同的是,本屆全國高性能計算學術年會不僅將重點放在了對高性能計算技術的論證和研討上,同時還將多場演講的主題與大數據應用掛鉤。

這也就無外乎,為什麼大數據分論壇成為本次大會最為火熱的一個場次了。“從大數據到大發現”,這是中國科學院高能物理研究所研究員孫功星在HPC China 2013上的演講題目。這一題目其實可以很好地概括高性能計算與大數據之間的聯係。

孫功星介紹說,在高能物理領域的大數據處理過程主要包括三個方麵:首先是Data Recording,也就是從探測器中獲取Raw Event,以二進製格式記錄探測器信號,再由計算機產生模擬實驗的蒙特卡羅模擬數據,將物理信號數字化;然後是Data Processing,即讀出Raw/MC Raw,處理產生相關物理信息,如動量、對撞頂點等;最後就是Data Mining,這一步是物理學家對由上千個屬性所組成的DST Event文件進行分析,並最後產生物理結果。

“現在我們已經在開始嚐試采用Hadoop本地係統進行研究。采用Hadoop方案之後,對於網絡、磁盤陣列的需求減少很多。”孫功星表示,“未來高能物理領域將會產生出更多數據,這會為計算帶來更大的挑戰。因此,高能物理未來的發展趨勢是與新型的計算機體係結構,以及高性能計算機結合起來。”

孫功星的觀點也可以說是代表了目前業界的一種普遍觀點。曙光公司副總裁邵宗有在本屆學術年會上就向記者表示:“高性能計算完美契合了大數據在運算能力、高性能存儲等方麵需求,而大數據則給高性能計算提供了新型商業市場,有助於推動高性能計算拓展新的市場藍海,兩者在產業生態鏈上的緊密銜接可以很好地推進信息資源組織模式的深入變革與發展。在應對大數據挑戰的過程中,高性能計算可以起到重要作用。從數據的存儲與處理的角度來說,采用高性能計算係統不僅可以大幅降低大容量存儲的成本,而且其處理數據、傳輸數據、恢複數據的速度會遠遠超過普通的計算係統。在過去完整恢複一塊硬盤的速度可能需要48個小時,但融合了曙光高性能計算技術的存儲產品,能將時間控製在十幾分鍾,顯著降低了大規模集群存儲係統中用戶運維的壓力,提高了係統效率。”

構建完整生態體係

從全球領域來看,伴隨著技術的不斷進步,高性能計算的應用範圍不斷擴大,其正在迸發出前所未有的活力。而在這一過程中,相關廠商的作用不容忽視。一方麵,他們將科研成果加以實踐和應用;另一方麵,他們還在積極地營造出一個高性能計算的生態係統,培養更多技術人員。

孕育技術、培植市場、發現商機,再由廠商對科研進行資助,這種循環模式在高性能計算的領域已經形成了一種良性商業循環。HPC China 2013現場所舉辦的“2013全國教育科研並行應用程序優化大賽”,就是這種循環的體現。在這場主題為“尋找優秀並行應用,提高並行程序性能”的比賽中,彙集了來自中科院計算所、中科院軟件所、中科院超算中心、國防科技大學計算機學院、中國科學技術大學、西安郵電大學、清華大學計算機係,以及山東大學等研究機構和高校的8支團隊。