超級電腦建置案─讓台灣重返全球排名前百大
前言
先前已分享過超級電腦建置前基礎建設的重要性,緊接著介紹本案的主要設施─超級電腦。比起電力系統、冷卻系統、環控系統、消防系統等基礎建設,超級電腦的建置耗費了更多的人力、財力及物力,複雜的程度更是有過之而無不及,同時承擔了要讓台灣重返全球超級電腦排名前百大的重責大任,我們希望藉著專案管理所學的各項技能,讓這項艱鉅的任務能圓滿達成,將台灣高速運算的能力迎頭趕上歐美以及大陸這些超級大國。
一、專案說明
業主自成立起即提供全國產官學研界之高速計算服務。既有的高速計算主機群,隨著用戶需求提高,機齡漸高,已不敷使用。此案建置Peta級高速計算設施與環境,將提供國內進行大尺度運算應用之研發平台,紓解目前國內高速計算資源不足的問題。具體的目標為建置一套超越Peta級運算、多功能叢集系統、高性能內部網路、PB級巨量高速儲存及兼顧節能高效率之主機系統,預計能達到以下的效益。
1.建立新一代的先進高速計算環境
本案之高速計算主機將會利用叢集架構之彈性,建立不同配置之計算節點以符合國內各式高速計算所需之計算環境。
2.支援各式卓越與前瞻國家型研究計畫
以本高速計算主機之大量計算資源及良好整體系統效能,積極支援與參與各式卓越與前瞻國家型研究計畫等相關研究。
3.加速計算提高生產力
結合高速計算系統管理與應用開發能力,提供高品質研發加值服務,促使相關研究與產業發展能夠突破現有計算尺度與極限,縮短計算時間,加速成果產出與提高價值。
二、規劃風險管理與回應
未來資通訊產業脫離不了「大智移雲社互生機」八大類,就是所謂的大數據、智慧手機、移動設備、雲端、社群、互聯網、生物科技、機器人。台積電張忠謀董事長也直言高效能運算(HPC)、物聯網與車用電子3大平台將是台積電今年業績成長主要動能。由此可看出高效能運算(HPC)的重要性,它將是未來台灣面對AI、大數據等新科技領域的必要基礎建設。
本專案時程本來就相當緊迫,在與基礎設施平行建置下,加上須滿足部份利害關係人 額外的期待,預先檢出並規避風險、尋求外部資源來壓縮時程,變成了非常的重要的工作。
1.規劃時程風險
為發揮硬體最大計算效能及優異的節能效率,先期規劃設置並整合最適合此Peta級主機的機電及空調等基礎設施的施工進度,嚴重影響本案期程,我們透過每周舉行共同工程會議,討論電力、消防、環控等系統介接等問題,確實掌握相依的工程進度。
因本系統計算能力已超過日本政府經濟產業省安全保障貿易管理條例訂定之1.5 TFlops上限,故需要向日本政府申 請出口許可(Export License),處理時間約要多耗費一個多月,所以我們預先在簽約後隨即向日本政府申請出口,並 提出保證不得使用於軍事用途,確保原廠設備進口的時間不受影響。
另外本案所採用的英特爾最新中央處理器(CPU),在建置階段仍未上市,我們除了密切關注後續發展,一邊擬定應變計畫,免得耽誤跑benchmark的時程。
2.爭取外部支援壓縮時程
本專案共分三階段驗收,第一階段驗收為交付本專案相關軟、硬體設備;第二階段驗收為完成系統測試;第三階段驗收為完成系統測試並提供PUE數值表。但業主為了趕上106年11 月全球 500 大高速計算主機排名,要求必須提前在第一階段驗收前跑完benchmark送審,這個變數使的整個專案期程大亂,在案場未完成建置前,跑完benchmark簡直是天方夜譚。於是我們試著爭取外部資源─尋求原廠的協助,在東京總部實驗室模擬相同的HPC環境,預先跑完所有的benchmark,最終趕在報名截止前送件,並在106年度TOP500中,獲得排名第 95 名,能源效率Green500排名第 31 名的佳績。
三、獲得專案團隊
台灣不僅對HPC這個領域十分陌生,就連相關的人才更是屈指可數,造成本案在組織團隊上相當困難,我們應用了以下的技術來解決人力的問題。
1.先行指派(Pre-assignment)
HPC這個領域其實相當冷門且專業,因為投資成本高且回收不易,只有高速網路中心、氣象局這些類政府機構才有財力建置。環視國內外專注HPC的共有宏基、華碩、鴻海、IBM、HP、supermicro 、ASUS、富士通等廠商,但大部分的廠商仍以開發硬體設備為主,缺乏系統整合的能力。由於本案屬最有利標,所以在RFP階段就必須評估各家廠商的專業能力,還有業主政策性的考量,比如引進國際大廠與扶植國內廠商間的平衡,多面向的來遴選企業外部資源進行採購,與公司內部優秀專業人才,組成團隊一起攻案。如此一來,不僅可以補強企業內部專業知識的不足,另一方面可以藉著團隊合作來互相學習彼此的優點。在專案正式啟動時,就已經進入團隊組建的第三個階段(正軌) ,成為一個高效能的團隊。
2.向外取得(Acquistion)
為確保系統建置作業順利正常與提供完整的技術支援服務,本專案駐地計畫須提供原廠系統工程師、專職駐地系統工程師,負責本案建置與伺服器系統、儲存系統、網路系統等後續維運支援之第一線相關工作。原廠系統工程師直接由原廠指派並無太大問題,但我們遍尋公司內部人才庫,始終找不出合格的專職駐地系統工程師,於是乎我們透過獵人頭向各大SI廠商徵才,最後找到交大計算中心的現職維運人員,才湊齊了團隊拼圖。
3.虛擬團隊(Virtual teams)
我們組織的跨國際專案團隊,除了本公司的內部團隊、負責現場系統調校不同國籍的原廠系統工程師外,還有位於東京總部的原廠研發人員,做技術支援的工作,平常會透過通訊軟體溝通來處理遇到的技術問題以及掌控專案工程進度,並定期飛回東京總部召開專案會議。
四、結論
本案為國家重點發展計畫,與國家的綜合國力提升有緊密相關之關係,透過執行這個專案,不僅擴展本公司高速計算新契機,且加速提升資訊與通信技術之水準,以迎向未來在AI、IoT、5G的新挑戰。本套設施做為台灣高速計算相關研究開發的共用平台,日後將支援國內重點領域的大尺度運算,包括氣候變遷、環境災防、生醫製藥、材料科技與高能物理等,以促使國內科研能力持續成長,並加速產業發展。
作者:楊志銘,PMP
電機技師,國立清華大學動力機械工程研究所控制組碩士,於2012/6/25正式成為PMP。目前擔任中華電信公司專案工程師。專長為自動控制,資通訊整合,大型電信專案規劃管理,節能專案規劃管理。