次世代スパコンについて知る集い

2010年3月2日に開催された「第2回次世代スパコンについて知る集い」において寄せられましたご質問とその回答を下記のとおりご報告します。専門的なご質問もございましたので、回答も専門的になっているところがあります。また、第1回次世代スパコンについて知る集いにおいて寄せられたご質問と類似のご質問につきましては、第1回のご回答をご覧いただくことにしています。

  【第2回次世代スパコンについて知る集い:Q&A目次】
<スパコン開発全般に関するご質問>
(システム関連)
Q1.
すでに演算速度がIBMのpower7より劣っているのに、どうしてTOPを狙うのですか。
Q2.
昨年のニュースでGPU(グラフィック演算処理装置)を使って我が国最速のスパコンが作られたことが話題になりましたが、状況を教えてください。
(その他)
Q3.
日本の地球シミュレータが世界一の時と31位の時(現状)とで、我が国の科学技術のブレークスルーと国際競争力にどのような差が生じているのでしょうか。
Q4.
次世代スパコンと現世代スパコンの違いを教えてください。
<次世代スパコンシステムに関するご質問>
(ハードウェア関連)
Q5.
日本の代表的なベクトル型プロセッサでも実効効率が落ちているようですが、次世代のスカラ型プロセッサでは何か対策はなされているのでしょうか。
Q6.
グローバルファイルシステムとローカルファイルシステムの容量とその間の転送速度、プロトコルを教えてください。また、ジョブが途中で(例えばCPU時間不足)止まった時にローカルファイルに残っていたデータをグローバルファイル側に転送することはできるのでしょうか。
Q7.
次世代スパコンの性能を10ペタフロップスに設定することとした具体的な要因を教えてください。
(ソフトウェア関連)
Q8.
ベクトル型もチューニングが必要になってきたことがわかりました。どのようなチューニングが必要か具体的に教えていただけますか。また、コンパイラー技術の最近の研究はどのようになっていますか。
Q9.
OSをOpen Solaris(*)ではなく、Linuxベースとしたのはなぜですか。
Q10.
当初の3社から1社になり、システム全体の中からベクトル演算というキーワードがなくなったように思うのですが、プログラミングをする人への影響を教えていただけますか。
(その他)
Q11.
我が国の国家基幹技術、例えばJ-PARC(*)やSPring-8(**)などとの連携は考えられないのですか。今日の講演でもすべて実測との対応が取り上げられていました。我が国が最先端の精密計測技術と合わせた国家基幹技術の中での位置づけでとらえられないのですか。
Q12.
富士通の新CPUは企業や消費者向けへの販売を行うなど、開発したことに対する経済効果は見込めるのですか。また、そういった戦略は明確になっていますか。
Q13.
スカラーシステムのみへの構成変更があった際、ベンダーを含めた再設計(入札等を含む)が厳正になされたのですか。(ハードウェア側のコストダウンについて)
<次世代スパコンの運用面に関するご質問>
(運用全般)
Q14.
クラウド型で時間貸しの場合、費用(利用料金)はいくらぐらいでしょうか。
<その他のご質問>
Q15.
地震・津波に関する説明の中で、f(周波数)>5hzでfを5倍にすると計算量が625倍になるという話がありましたが、空間(3次元)+時間(1次元)なので、5の4乗で625倍なのでしょうか。つまり5倍の精度を4次元の相似で5倍にするためと理解してよろしいでしょうか。
Q16.
例えば、2月27日のチリ大地震で、津波は3mと予測されましたが、実際の計測値は1.2mでした。シミュレーションによる予測値を実測値と同等のような精度にするためには次世代スパコンのレベルが必要なのですか。
Q17.
地震のシミュレーション映像はどこかのwebページで見られるのでしょうか。
Q18.
世界を驚かせるようなアプリケーションを作成している分野とその研究所などを教えてください。
 
<スパコン開発全般に関するご質問>
(システム関連)

Q1.すでに演算速度がIBMのpower7より劣っているのに、どうしてTOPを狙うのですか。

チップ単体の理論性能で比較すれば、IBMのPower7が2倍の性能を持っていますが、次世代スパコンで採用するCPU(SPARC64TMVIIIfx)には、キャッシュを有効利用するための機構や複数コア間の同期を高速に行うための機構等を備えており、実際のアプリケーションの実行において十分な性能を発揮するものと考えています。また、電力あたりの性能でははるかに勝っており、さらにネットワーク性能や入出力システム性能などを含めた総合的な観点では、スパコンシステムとして十分に競合できると考えています。

第1回次世代スパコンについて知る集いの質疑応答Q11も併せてご参照ください。

Q2.昨年のニュースでGPU(グラフィック演算処理装置)を使って我が国最速のスパコンが作られたことが話題になりましたが、状況を教えてください。

GPUを使ったシステムは、いくつかの限られたアプリケーション領域でしか有効でないことが知られており、幅広い分野のアプリケーションによる利活用を目指した次世代スパコンの考え方とは合致しないと考えています。また、耐故障性などの信頼性や、様々な利用者の多様なニーズに応えるための運用性などの観点で、GPUを使ったシステムは困難な点が多いと考えています。

第1回次世代スパコンについて知る集いの質疑応答Q8も併せてご参照ください。
(その他)

Q3.日本の地球シミュレータが世界一の時と31位の時(現状)とで、我が国の科学技術のブレークスルーと国際競争力にどのような差が生じているのでしょうか。

例えば、ゴードン・ベル賞という賞があります。これは、並列計算技術の向上を目的として、IEEE Computer Society とACM(Association for Computing Machinery)にて運営され、その年にハードウェアとソフトウェアの開発において最高の成果をあげたプロジェクト及びそのメンバーに授与される賞で、国際的に広く認知されているものです。

以下に示すように、地球シミュレータが世界一だった2002年頃は、もっとも高い実効性能を達成したアプリケーションに与えられるゴードン・ベル賞のピークパフォーマンス部門をはじめとして、日本のグループの受賞が数多くありました。ところが、近年は、国内におけるハイエンドのスパコンの整備が遅れたことなどから、日本の計算科学分野の競争力低下が懸念されています。

(近年のゴードン・ベル賞)
年度
ピークパフォーマンス部門
その他の部門(*)
2002
日本
2/4
2003
日本
1/2
2004
日本
0/1
2005
米国
0/0
2006
米国
1/2
2007
米国
0/0
2008
米国
0/1
2009
米国
1/3












 

(*):ゴードン・ベル賞は、ピークパフォーマンス部門のほか、ピークパフォーマンス部門のSpecial MentionやHonorable Mention、価格性能比部門などの賞がある。ピークパフォーマンス部門以外の賞の数は年度によって変動する。表の「その他の部門」の数字は、その年のピークパフォーマンス部門以外の賞の数と、日本の研究チームが受賞した数を示している。

また、太陽電池デバイスなどの材料開発分野では、米国は世界トップクラスのスパコンを用いた大規模シミュレーション(原子数1万6千程度)により顕著な成果を挙げているのに対し、日本は計算資源不足のため、小規模なシミュレーション(60原子程度)にとどまっています。

世界的な研究開発競争の中で生き残っていくためにも、一刻も早く世界トップレベルのスパコンを整備し、世界と競合できる研究開発基盤を構築することが求められています。

第1回次世代スパコンについて知る集いの質疑応答Q5も併せてご参照ください。


Q4.次世代スパコンと現世代スパコンの違いを教えてください。

現在、TOP500において世界最速のオークリッジ国立研究所のJaguarと次世代スパコンを比較すると、演算性能では5~6倍程度、メモリ容量では4倍以上になります。

(システム比較表)

演算性能(linpack)
メモリ容量
CPU数
Jaguar Cray XT5-HE
1.76PF
0.3PByte
3万5千以上
次世代スパコン
10PF(目標)
1.2PByte
8万以上





 

注)PF:ペタフロップス(1秒間に10の16乗の演算回数)、GF:ギガフロップス(1秒間に10の13乗の演算回数)
注)Byte:バイト(コンピュータで取り扱う情報量の単位)、PB:ペタバイト(10の16乗の情報量)
出典)Jaguarに関する情報:http://www.nccs.gov/jaguar/#fragment-2

スパコンの中で最も重要なパーツであるCPUを比較してみると、次世代スパコンで使用されるSPARC64TMVIIIfxは、他のCPUに比べて消費電力あたりの演算性能が高いことがわかります。

(CPU比較表)

ベンダ
チップ名
理論性能
(GFLOPS)
消費電力
(W)
ワット当たりの
性能
備考
Fujitsu
SPARC64TMVIIIfx
128.00
58
2.21
次世代スパコンで使用
IBM
Power7
256.00
200
1.28
BlueWatersで使用
Intel
Xeon W5590
53.28
130
0.41
AMD
Opteron 2435
62.40
75
0.83
Jaguarで使用

出典)
IBM Power7に関する情報: http://www.ncsa.illinois.edu/BlueWaters/hardware.html
Intel Xeon W5590に関する情報: http://ark.intel.com/Product.aspx?id=41643
AMD Opteron 2435に関する情報:
http://www.amd.com/jp/products/server/processors/opteron/Pages/3rd-gen-server-model-numbers.aspx

今後のスパコン開発では、さらに並列化が進むと考えられ、そのための高密度実装技術、省電力技術、高効率冷却技術等がますます重要になってくると考えています。

<次世代スパコンシステムに関するご質問>
(ハードウェア関連)

Q5.日本の代表的なベクトル型プロセッサでも実効効率が落ちているようですが、次世代のスカラ型プロセッサでは何か対策はなされているのでしょうか。

SPARC64TMVIIIfxには、キャッシュメモリの利用効率を上げるためのセクタキャッシュと呼ばれる機構が実装されています。この機構により、プログラマは再利用性の高いデータを選択的にキャッシュに登録することができるようになります。これによりメモリアクセス時間が短縮され、結果として実行効率が改善されると期待しています。さらにはレジスタの強化や複数コア間の同期を高速に行うためのハードウェアバリア機構など、実行効率を向上させるための工夫をしています。

Q6.グローバルファイルシステムとローカルファイルシステムの容量とその間の転送速度、プロトコルを教えてください。また、ジョブが途中で(例えばCPU時間不足)止まった時にローカルファイルに残っていたデータをグローバルファイル側に転送することはできるのでしょうか。

次世代スパコンでは、グローバルファイルとローカルファイルという2階層のファイルシステムを採用し、ジョブを実行する際は、ロードモジュールや入力データなどの実行に必要なファイルをグローバルファイルシステムからローカルファイルシステムへステージインします。ジョブの実行中のI/Oはローカルファイルシステムとの間で行い、ジョブが終了したら、ローカルファイルシステムからグローバルファイルシステムへ、ファイルをステージアウトする運用になっています。ジョブが異常終了した場合については、ローカルファイルシステム上のファイルをステージアウトできるような仕組みを検討中です。

グローバルファイルシステムと計算ノードの間はInfiniBand(*)で接続し、理論帯域幅は350GB/s以上です。グローバルファイルシステムの容量は今のところ30PB程度は確保したいと考えています。 ローカルファイルシステムの容量は11PB以上で、ローカルファイルシステムと計算ノードの間はファイバーチャネル(FC)(**)で接続します。

(*)InfiniBand:非常に高いRAS(信頼性・可用性・保守性)を持つ基幹系・HPC系のサーバ/クラスター用高速I/Oバスアーキテクチャ及びインターコネクト
(**)ファイバーチャネル(FC):
光ファイバーを使用したギガビット級ネットワーク技術の一種であり、主にストレージ・ネットワーク用に使用されている。

Q7.次世代スパコンの性能を10ペタフロップスに設定することとした具体的な要因を教えてください。

総合科学技術会議評価専門調査会(第50回)配布資料「総合科学技術会議が実施する国家的に重要な研究開発の評価「最先端・高性能汎用スーパーコンピュータの開発利用」について(原案)」から抜粋します。

「科学技術分野において必要とされる数値計算の規模および対象分野は、研究開発の進展とともに絶えず拡大を続けており、現在、流体力学、基礎物理、海洋地球科学など従来のスーパーコンピュータがターゲットとしてきた分野だけでなく、ライフサイエンス、ナノテクノロジー、航空・宇宙など、各種の応用分野からスーパーコンピュータの利用分野の拡大と高速化が求められている。また、超高速光スイッチなどを設計するためのナノデバイス材料の解析、膨大な化合物データベースからの薬剤候補化合物の絞り込みなど、広範な分野においてブレークスルーを図る上で必要とされる数値計算については、現時点において我が国最高の性能を有する地球シミュレータをもってしても能力不足であり、これらの要求に応えるためには10ペタFLOPS 級の性能を有し、広範な利用ニーズに対応可能な計算機が必須となっている。」

よくある質問と回答Q2も併せてご参照ください。
(ソフトウェア関連)

Q8.ベクトル型もチューニングが必要になってきたことがわかりました。どのようなチューニングが必要か具体的に教えていただけますか。また、コンパイラー技術の最近の研究はどのようになっていますか。

今後は、メモリアクセス性能が相対的に低下することが予想されますので、データの再利用性を最大限に活用するためのレジスタやキャッシュメモリの利用が重要になってきます。

第1回次世代スパコンについて知る集いの質疑応答Q15も併せてご参照ください。

Q9.OSをOpen Solaris(*)ではなく、Linuxベースとしたのはなぜですか。

研究分野で広く普及しているのはLinuxですので、多くの利用者の利便性や移行性を考慮してLinuxを採用しました。

(*)Open Solaris:Solaris Operating Environmentテクノロジーを基本とした、サン・マイクロシステムズが始めたオープンソースプロジェクト、およびプロジェクトからリリースされるOSの呼称

Q10.当初の3社から1社になり、システム全体の中からベクトル演算というキーワードがなくなったように思うのですが、プログラミングをする人への影響を教えていただけますか。

ベクトル計算機も省電力化等の制約から、メモリバンド幅がだんだん狭くなってきています。したがって、今後はベクトル向けでもスカラ向けでも、それぞれのシステムに合わせた最適化やチューニングが必要になると考えています。

次世代スパコンにおいては、相対的にメモリバンド幅が狭くなったことを補うために、キャッシュメモリを有効に活用するセクタキャッシュ機構を採用しました。しかし、キャッシュを有効に活用するためのコード改変は必要ですので、それをサポートするための機能を充実させるとともに、ユーザサポートができる体制を整えることが重要と考えています。今後、文部科学省において、そうしたサポートをするための登録機関の検討が進められることになっています。

よくある質問と回答Q8も併せてご参照ください。
(その他)

Q11.我が国の国家基幹技術、例えばJ-PARC(*)やSPring-8(**)などとの連携は考えられないのですか。今日の講演でもすべて実測との対応が取り上げられていました。我が国が最先端の精密計測技術と合わせた国家基幹技術の中での位置づけでとらえられないのですか。

高性能な計測機器との連携については、今後アプリケーション利用の観点で議論されていくものと考えています。こうした中で、J-PARCやSPring-8などでの実験データを次世代スパコンで分析したり、次世代スパコンでシミュレーションを行うなどといった連携もでてくるでしょう。

SPring-8で材料の構造を測定し、その結果を地球シミュレータで解析して特性を推定するという形の連携は、既に行われています。

(*)J-PARC:高エネルギー加速器研究機構と日本原子力研究開発機構が共同で建設を進めている大強度陽子加速器施設URL: http://j-parc.jp/index.html
(**)SPring-8:兵庫県の播磨科学公園都市内に位置する大型放射光施設URL:http://www.spring8.or.jp/ja/

Q12.富士通の新CPUは企業や消費者向けへの販売を行うなど、開発したことに対する経済効果は見込めるのですか。また、そういった戦略は明確になっていますか。

開発の主体は理化学研究所ですが、仕様に基づいて実際に設計、製作を担っているのは富士通です。今回開発したCPUを使った商用スパコンや高性能サーバなどが、国内外の研究所や大学、企業などに今後広く展開されることを期待しています。また、CPUだけでなくスパコンで開発された部品(ケーブル、コネクタ、電源、冷却装置など)や技術などは、今後、先端的な電子機器などに広く活用されていくでしょう。

Q13.スカラーシステムのみへの構成変更があった際、ベンダーを含めた再設計(入札等を含む)が厳正になされたのですか。(ハードウェア側のコストダウンについて)

よくある質問と回答Q7をご参照ください。
<次世代スパコンの運用面に関するご質問>
(運用全般)

Q14.クラウド型で時間貸しの場合、費用(利用料金)はいくらぐらいでしょうか。

次世代スパコンの利用料金につきましては、その方針に関して今後文科省において類似施設の例などを参考に検討が進められていくことになります。第1回次世代スパコンについて知る集いの「運用面に関するご質問(Q.21~Q.30)」をご参照ください。
<その他のご質問>

Q15.地震・津波に関する説明の中で、f(周波数)>5hzでfを5倍にすると計算量が625倍になるという話がありましたが、空間(3次元)+時間(1次元)なので、5の4乗で625倍なのでしょうか。つまり5倍の精度を4次元の相似で5倍にするためと理解してよろしいでしょうか。

周波数を5倍にしたら波長は1/5になるので、空間3次元と時間1次元の解像度をそれぞれ5倍に増やす必要があります。したがって、5の4乗で625倍の計算量になるという計算です。それに併せて、5倍の時間積分を行うと誤差もそれだけ累積してくるので、それに見合った積分方法の改良も必要になります。したがって、計算量としてはもう少し増えるかもしれません。

Q16.例えば、2月27日のチリ大地震で、津波は3mと予測されましたが、実際の計測値は1.2mでした。シミュレーションによる予測値を実測値と同等のような精度にするためには次世代スパコンのレベルが必要なのですか。

現在の津波の予測は高速性が何より求められるので、深さ方向を無視した2次元の近似的な計算が使われています。そのため、どうしても現実とは合わなくなるケースも出てきます。

正確な予測のためには、詳細な地形データを入れた、3次元の高精細な計算が必要になります。この計算は、現在の地球シミュレータでおおよそ1週間くらいかかってしまうのですが、次世代スパコンレベルの計算機を使えば、実用的な時間で結果を得ることができるでしょう。

ご参考:「津波を予測する仕組み」の解説はこちら(気象庁HP)

Q17.地震のシミュレーション映像はどこかのwebページで見られるのでしょうか。

東京大学大学院情報学環総合防災情報研究センターの古村教授のホームページなどでご覧いただけます。

Q18.世界を驚かせるようなアプリケーションを作成している分野とその研究所などを教えてください。

例えば、文部科学省では、次世代スーパーコンピュータ(次世代スパコン)の計算機資源を必要とし、かつ社会的・学術的に大きなブレークスルーが期待できる分野(戦略分野)ごとに次世代スパコンを用いた研究開発及び我が国の計算科学技術体制の整備を行う「次世代スーパーコンピュータ戦略プログラム」を実施しています。それぞれの戦略分野において、中心となって事業を進める機関がすでに選定されています。詳しくは以下のURLをご参照ください。

文部科学省ホームページ:「次世代スーパーコンピュータ戦略プログラム」実施可能性調査実施機関の決定について

「第2回次世代スパコンについて知る集い」の報告ページへ>>