次世代スパコンについて知る集い

2010年1月28日に開催された「第1回次世代スパコンについて知る集い」において寄せられましたご質問とその回答を下記のとおりご報告します。専門的なご質問もございましたので、回答も専門的になっているところがあります。

  【第1回次世代スパコンについて知る集い:Q&A目次】
<スパコン開発全般に関するご質問>
(システム関連)
Q1.
10年で1000倍の成長率はどこまで続きますか。ゴルドンムーア氏もあと数年(10年程度)でムーアの法則も限界が来ると言われていますが、スパコンではこういう限界の予測はないのですか。あっても何らかの知恵で突破できるのですか。
Q2.
アーキテクチャ並びにシステム構成法について、どのようなバリエーションがあり、それらはどんな応用に適しているのですか。また、他国はどの方式に注力していて、日本はそれらとどうすみ分けているのですか。
Q3.
我が国では利用者のプログラミング負担を軽減する努力(例えばコア内ハードウェアバリア機構)が続けられており、大変よいことであると思っていますが、これはエクサスケール時代に向けても継続されるのですか。
Q4.
国際的な協力でスパコンの開発はできないのですか。
(その他)
Q5.
スパコン台数及び性能向上が他の国と比べて日本は落ち込んでいますが、実際にどのような問題が出ていますか。
Q6.
ゼロとイチの計算しかできないCPUが、どうして天気や原子をシミュレートできるようになるのか、プログラムの仕組みが全く想像できません。簡単な流れを教えてください。
Q7.
壮大でチャレンジングなプロジェクトが日本で進められているのだと存じます。世界一位のジャガーなど諸外国のシステムと比べまして予算規模がかなり大きいのではないですか。
<次世代スパコンシステムに関するご質問>
(ハードウェア関連)
Q8.
GPUの活用についてどうお考えですか。また、汎用計算機ではなく、分野に特化したスパコン(例えば、流体計算専用など)を開発する方が効率的ではないでしょうか。
Q9.
1ノード16GBのメモリを持っているとのことですが、そのうちユーザが利用できる領域はどのくらいですか。
Q10.
ネットワークについて、三次元トーラスで隣り合うノードどうしの通信が速いとのことですが、隣り合わないノード間の通信はその通信回数分遅くなるのでしょうか。
Q11.
SPARC64 TM VIIIfxの開発の将来性について、演算性能やキャッシュメモリ容量においてIBMのPower7を超えるCPUになり得ますか。
(ソフトウェア関連)
Q12.
Java言語は使えますか。
Q13.
ソフトウェアは種々のユーザが使いやすいようにしていただけるのですか、それとも開発者周辺の方のみが使用可能なものになるのですか。前者の場合には、マニュアルの充実や使用法の詳細を講習等により習得できるようにすることが必要になると思いますが、そのような計画はありますか。
Q14.
6次元型ネットワークを意識したプログラミングが必要になるのですか。
Q15.
1CPU内でなく、広い意味での自動並列化はどの程度できるのですか。
(ネットワーク関連)
Q16.
ペタコンへのリモートアクセスはできるようになるのですか。
(その他)
Q17.
かつて地球シミュレータ(ES:海洋開発研究機構が所有する現在我が国で最速のスパコン)はNECが開発したベクトルプロセッサを採用しており、本当の意味での日本独自技術だったと思います(わかりやすかった)。それに対して、次世代スパコンでは残念ながらNECが開発を辞退したこともあり、(汎用のプロセッサ単一の大規模並列のシステム構成となったので)どの部分が日本の独自技術となっているのかが大変わかりにくくなっているように思います。日本独自技術は先進的な要素技術の組み合わせであると考えてよいのですか。
Q18.
次世代スパコンで他国との競争力は確保できるのですか。また、その後も地位を維持し続けられるのですか。
Q19.
次世代スパコン施設に必要な電源は、太陽光パネルの発電だけでは当然電力は足りないと思いますが、自前で発電所を持っているのですか。
Q20.
セキュリティについてはどのように考えているのですか。
<次世代スパコンの運用面に関するご質問>
(運用全般)
Q21.
次世代スパコンの完成後、実際の使用形態はどうなるのでしょうか。一部のグループのみで使用又は一応全国の研究機関に公開なのですか。大学生も利用可能ですか。
Q22.
次世代スパコンが利用可能になるのはいつ頃からですか。
Q23.
次世代スパコンで実施する課題そのものが国家利益につながると考えます。課題はどのように選定されるのですか。
Q24.
産業用として、次世代スパコンの資源をどの程度利用できるのですか(例えば8万個のCPUをどの程度占有利用できるのかなど)。
Q25.
神戸のCOEはどのようなプランになっているのですか。
Q26.
利用支援、コンサルティングはどう考えているのですか。
Q27.
次世代スパコンの料金・課金はどうなるのですか。1年間1ノードをレンタルするということも可能ですか。
Q28.
運用の問題として、一度のジョブで何個のノードを使えるのですか。また、何時間ぐらい連続で利用できるのですか。
Q29.
OS、コンパイラのバグが発見された場合の修正モジュール適用スピードはどれくらいですか。
Q30.
本システムの共用開始前にデバッグ用システムを先に共用を始めていただくことは可能ですか。
<その他のご質問>
Q31.
昨年、事業仕分けにより次世代スパコン計画が見直されたとの話しですが、当初計画から開発が遅れるということはないのですか。また、計画の変更について教えてください。
 
<スパコン開発全般に関するご質問>
(システム関連)

Q1. 10年で1000倍の成長率はどこまで続きますか。ゴルドンムーア氏もあと数年(10年程度)でムーアの法則も限界が来ると言われていますが、スパコンではこういう限界の予測はないのですか。あっても何らかの知恵で突破できるのですか。

アメリカでは2017、8年くらいをターゲットとしたエクサスケールスパコン(*)の検討を開始しています。ペタフロップスを初めて超えたのは、2008年のRoadRunner(**)ですので、ちょうど10年で演算性能が1000倍向上することになります。

エクサスケールスパコンは、現在の半導体の微細化スピードから推測するとおそらく実現可能と思われますが、解決しなければならない大きな課題は消費電力と信頼性の確保だと考えられます。エクサスケールのさらに先となると、半導体技術の進歩にも依りますが、残念ながら現時点では見通しが付かないというのが正直なところです。

(*)エクサスケールスパコン:1秒間に10の18乗(100京)回の演算ができるスパコン。ペタスケールスパコン(10の15乗)のさらに1000倍。
(**)RoadRunner:IBMが開発し、米ロスアラモス国立研究所に設置されているスパコン。世界で初めてLinpack性能でペタフロップスを超えて(1.026ペタフロップス)、2008年6月版のTOP500で世界一を獲得した。

Q2. アーキテクチャ並びにシステム構成法について、どのようなバリエーションがあり、それらはどんな応用に適しているのですか。また、他国はどの方式に注力していて、日本はそれらとどうすみ分けているのですか。

他国と日本の違いという観点ではなく、一般的なアーキテクチャの観点から回答します。

CPUについては、スカラ型とベクトル型がありますが、近年のスカラ型CPUの多くは、SIMD(*)機構と呼ばれる一種のベクトル機構を持つようになっています。Intelなどのロードマップを見る限り、今後SIMD機構は増強される方向にあり、結果としてベクトル型に近づいているという見方もできます。

ネットワークについては直接網と間接網がありますが、今回のシステムは直接網の6次元メッシュ/トーラスという構成です。このネットワークの特長は拡張性に優れているということです。ただし、隣り合う計算ノードへの通信は速いですが、遠くのノードへの通信は、途中のノードを経由するために遅くなります。その意味で、隣接通信が主体のアプリケーションが有利なネットワークと言えます。一方、スイッチを介するような間接網ネットワークは、拡張性では直接網に劣るものの、すべての計算ノードに対してフラットなアクセスができるという意味では汎用性に優れていると言えます。 

(*)SIMD:Single Instruction Multiple Dataの略。演算装置において1回の命令で複数データに対する処理を同時に行うもの。演算装置設計手法の1つ。


Q3. 我が国では利用者のプログラミング負担を軽減する努力(例えばコア内ハードウェアバリア機構)が続けられており、大変よいことであると思っていますが、これはエクサスケール時代に向けても継続されるのですか。

プログラミングの負担を軽減する努力は今後も引き続き検討していく必要があると考えています。コア内ハードバリア機構は、将来のマルチコア時代には必須の機能になると考えていますが、それと並行して、言語やチューニングツールなどの改良を進めていくことも重要であると考えています。

Q4.国際的な協力でスパコンの開発はできないのですか。

スパコンのシステム開発の部分については、国際的に非常に熾烈な競争をしているところですので、国際的な協力というのはなかなか難しいところがあるかもしれませんが、完成したスパコンを使って、様々な課題に挑戦していくという部分については、大いに国際的な協力を進めていくべきであると考えています。
 
神戸にできる計算科学研究機構では、オールジャパン体制でやっていくことはもちろんですが、その先に国際的な連携も想定しており、既にいろいろなところからそういったお話をいただいています。
(その他)

Q5. スパコン台数及び性能向上が他の国と比べて日本は落ち込んでいますが、実際にどのような問題が出ていますか。

スパコンは、素粒子・天文研究、気象予報、温暖化予測、津波等の災害予測、創薬、半導体材料開発、自動車や航空機の構造解析や空力解析など幅広い分野において、理論、実験・観測に次ぐ第3の手法として、今日の研究開発には欠かせない基盤ツールとなっています。したがって、スパコンの台数や演算性能は、その国の研究開発能力そのものと言っても過言ではないでしょう。我が国の国際競争力を将来にわたって維持・向上させるためにも、常に世界トップレベルのスーパーコンピューティング環境を持つことは、極めて重要であると考えます。

Q6. ゼロとイチの計算しかできないCPUが、どうして天気や原子をシミュレートできるようになるのか、プログラムの仕組みが全く想像できません。簡単な流れを教えてください。

すべての自然現象はそれを支配する法則によって決定されています。そして、現象をモデル化することによって、その現象を数学的に表現する方程式を得ることができます。したがって、その方程式の解が求まれば、その自然現象を理解できたということになります。ただし多くの場合、そのような方程式はそのままでは解けません。そこで方程式を近似して、連立一次方程式の形に落とし込みます。ここまでくれば、あとは四則演算を実行するだけなのですが、近似して得られた連立一次方程式は非常に巨大ですので、方程式を解くために必要な四則演算の数も膨大になります。ここでスパコンが威力を発揮します。つまりスパコンがやっていることのほとんどは、実は四則演算なのです。

このようにして連立一次方程式の解が求まれば、近似した方程式が解けたことになり、最初の方程式の近似的な解が求まったことになります。

Q7. 壮大でチャレンジングなプロジェクトが日本で進められているのだと存じます。世界一位のジャガーなど諸外国のシステムと比べまして予算規模がかなり大きいのではないですか。

米国オークリッジ国立研究所のジャガー(Jaguar)は、米クレイ社が販売しているXT-5というスパコンを調達したものです。一方、今回我々が進めているのはCPU等の詳細な設計や試作・評価を行い世界最先端のスパコンを「開発」するプロジェクトです。次世代スパコンの事業費には、スパコンの開発、製造、アプリケーションの開発、建屋施設の建設等すべてが含まれています。したがって、2つのケースの予算規模を単純に比較することは適当ではありません。

比較対象として、米国国防省国防高等研究計画局(DARPA)が推進しているHPCSというプロジェクトがありますが、我々のスパコンの開発の事業費とほとんど同程度であると考えています。

参考資料? http://www.netlib.org/utk/people/JackDongarra/SLIDES/isc-talk-2006.pdf
<次世代スパコンシステムに関するご質問>
(ハードウェア関連)

Q8. GPUの活用についてどうお考えですか。また、汎用計算機ではなく、分野に特化したスパコン(例えば、流体計算専用など)を開発する方が効率的ではないでしょうか。

今回のシステム開発でも、当初、GPU(*)やアクセラレータについて検討しました。しかし、今回のシステムには広い分野のアプリケーションで利用できる汎用性が求められていたことと、アクセラレータに頼らずとも汎用アーキテクチャのみで10ペタフロップスの性能目標が達成できる目途が立ったことなどを勘案し、GPUやアクセラレータを採用するメリットは少ないと判断しました。

近年、GPUについては、CUDA(**)などの言語レベルで標準化が進んでおり、汎用的な利用がしやすくなってきていますし、ハードウェア的に見ると将来はチップ内にアクセラレータが組み込まれていくだろうと考えています。したがって、エクサプフロップスの時代には、GPUあるいはアクセラレータとCPUが統合されていくと考えています。

(*)GPU:Graphics Processing Unitの略。元々は画像処理を行うためのプロセッサだったが、近年では、その高い演算性能を有効に活用するために、汎用的に利用する動きが広まってきている。
(**)CUDA:Compute Unified Device Architectureの略。NVIDIAが提供するGPU向けのC言語の統合開発環境で、コンパイラやライブラリなどから構成されている。

Q9. 1ノード16GBのメモリを持っているとのことですが、そのうちユーザが利用できる領域はどのくらいですか。

逐次プログラムの場合であれば、このうち15GB程度がユーザ領域として利用できると見込んでいます。ただし、並列プログラムの場合は、MPI(*)通信用の領域を確保するので、その分ユーザ領域が減ります。現在、試作機でMPIライブラリの評価を実施しているところです。

(*)MPI:Message Passing Interfaceの略。並列コンピューティングを利用するための標準化された規格。

Q10. ネットワークについて、三次元トーラスで隣り合うノードどうしの通信が速いとのことですが、隣り合わないノード間の通信はその通信回数分遅くなるのでしょうか。

隣り合わないノード間の通信は、基本的にはバケツリレー方式で行われるので、経由するノードの数が多ければ多いほど、通信時間(レイテンシ)は長くなります。

Q11. SPARC64 TM VIIIfxの開発の将来性について、演算性能やキャッシュメモリ容量においてIBMのPower7を超えるCPUになり得ますか。

チップ単体では、Power7の方が高い演算性能を持っていますが、現在開発中のSPARC64 TM VIIIfxは消費電力あたりの演算性能で見ると現時点で世界一ですので、Power7に劣っているとは決して思っていません。

一般的に演算性能を高くすると消費電力は上がります。したがいまして、消費電力を考えなければ演算性能を高めることはできますが、技術開発としては、如何に消費電力を押さえながら、演算性能を高められるかが大変重要であると考えています。

キャッシュメモリの容量については、SPARC64 TM VIIIfxが5MBなのに対し、Power7は32MBですので、単純に容量だけを比較すると残念ながら及ばないということになりますが、キャッシュメモリへのアクセス時間やセクタキャッシュ機構等により、競合できる部分もあると考えています。
(ソフトウェア関連)

Q12. Java言語は使えますか。

Java(*)などのオープンソースソフトウェアについては、どのような形で整備し、提供するかについて、今後運用と利用の中で検討することになっています。

(*)Java:1990年代にサン・マイクロシステムズで開発されたオブジェクト指向プログラミング言語

Q13. ソフトウェアは種々のユーザが使いやすいようにしていただけるのですか、それとも開発者周辺の方のみが使用可能なものになるのですか。前者の場合には、マニュアルの充実や使用法の詳細を講習等により習得できるようにすることが必要になると思いますが、そのような計画はありますか。

システムの利用環境という面では、プロダクションランの実行を想定した典型的なジョブ実行のためのグラフィカルユーザーインターフェイスを提供する予定です。

充実した利用マニュアルの整備や講習会の開催等も、円滑な利用という観点で重要であると認識していますが、詳細については今後運用と利用について検討する中で詰めていきます。

Q14.6次元型ネットワークを意識したプログラミングが必要になるのですか。

物理的な接続は6次元メッシュ/トーラスですが、利用者には論理的な3次元トーラスネットワークとして利用できる環境を提供します。

Q15.1CPU内でなく、広い意味での自動並列化はどの程度できるのですか。

並列プログラミングでは、データ分割と、それらのデータの分散メモリ上への配置が、効率的なプログラムを書く上で本質的です。今回のシステムでは、MPIによる並列プログラミング環境とともに、XPFortran(*)というデータ並列型言語を提供しますが、これはデータの分割を陽に記述する必要があります。また、新しい言語の研究もあります。

分散メモリ環境での自動並列化は、まだまだ発展途上にあるので、今回のシステムでは、MPIあるいはXPFortranでプログラムを記述することを推奨したいと思います。

(*)XPFortran:富士通が開発したデータ並列型言語。ベクトル型スパコンVPPシリーズでサポートされていたVPP Fortranと互換性がある。
(ネットワーク関連)

Q16.ペタコンへのリモートアクセスはできるようになるのですか。

リモートアクセスを可能にする予定ですが、どのように外部ネットワークと接続するか等については現在検討中です。
(その他)

Q17.かつて地球シミュレータ(ES:海洋開発研究機構が所有する現在我が国で最速のスパコン)はNECが開発したベクトルプロセッサを採用しており、本当の意味での日本独自技術だったと思います(わかりやすかった)。それに対して、次世代スパコンでは残念ながらNECが開発を辞退したこともあり、(汎用のプロセッサ単一の大規模並列のシステム構成となったので)どの部分が日本の独自技術となっているのかが大変わかりにくくなっているように思います。日本独自技術は先進的な要素技術の組み合わせであると考えてよいのですか。

全体的なシステム構成として見ると、スカラ型のCPUを超並列に結合した構成なので、他のシステムとほとんど差がないように思われるかもしれません。しかし、最も基本的なCPUのマイクロアーキテクチャをはじめとして、ハードウェア、ソフトウェア、ネットワーク等のそれぞれのコンポーネントは、すべて我が国の技術で開発しています。

Q18.次世代スパコンで他国との競争力は確保できるのですか。また、その後も地位を維持し続けられるのですか。

我々が想定している主な競合相手は、米国のBlueWatersとSequoia(BlueGene/Q)です。この二つのスパコンプロジェクトは、完成時期や実行性能等の点で、我々のプロジェクトと近い目標を掲げています。すべての情報が公開されているわけではないので断定的な事は言えませんが、次世代スパコンは、演算性能、消費電力等の観点で、この二つのスパコンと十分に競合していけるのではないかと考えています。

その先については、米国では既にエクサスケールスパコンの検討が始まっています。我が国でも5年後10年後を見据えた検討を早急に開始する必要があると考えています。

Q19.次世代スパコン施設に必要な電源は、太陽光パネルの発電だけでは当然電力は足りないと思いますが、自前で発電所を持っているのですか。

次世代スパコンの本格稼働時の電力は最大時でも20MW(2万kW)程度と見込んでいますので、自前の発電所を必要とするほどではなく、電力は商用電力で賄うことになります。なお、停電等により商用電力の供給が中断された場合でも、重要なシステムを維持するために必要な電源を供給できるよう、熱源機械棟にコジェネレーションシステムを持っています。

また、環境にやさしい自然エネルギーの活用の観点から、施設屋上に太陽光発電パネルを整備(50kW)しており、電力の一部として利用することとしています。

(参考)大井火力発電所(東京電力)の1号機の定格出力は35万kW
     大飯原子力発電所(関西電力)の3号機の定格出力は118万kW

Q20.セキュリティについてはどのように考えているのですか。

今回のシステムはトーラスネットワークなのですが、ネットワーク的に完全に独立したパーティションを設定することが可能になっており、必要に応じて高いセキュリティを確保した計算環境を構築できる設計になっています。施設の方も、ニーズがあれば独立したネットワークの構築や、セキュリティに配慮した居室の確保等が可能な環境になっています。
<次世代スパコンの運用面に関するご質問>
(運用全般)

Q21.次世代スパコンの完成後、実際の使用形態はどうなるのでしょうか。一部のグループのみで使用又は一応全国の研究機関に公開なのですか。大学生も利用可能ですか。

次世代スパコンは、「特定先端大型研究施設の共用の促進に関する法律」に位置づけられた施設であり、次世代スパコンの設置者である理化学研究所はこの法律に基づき次世代スパコンを研究者等の共用に供することとされています。

また、同法において、施設利用者の選定や利用支援などを行うことができると規定されている登録施設利用促進機関と理化学研究所が相互連携をとって円滑な利用促進が図られるようにすることが規定されています。

こうした法律の規定に基づき、具体的な共用の仕組みにつきまして、現在文科省において検討が進められています。具体的な検討状況につきましては、こちらをご覧ください。


Q22.次世代スパコンが利用可能になるのはいつ頃からですか。

平成24年(2012年)6月までに次世代スパコンシステムを構築させ、性能や機能の確認を行う予定です。その後、各種試験や試運転を行った後、2012年12月前には共用を開始したいと考えています。

Q23.次世代スパコンで実施する課題そのものが国家利益につながると考えます。課題はどのように選定されるのですか。

次世代スパコンで実施する課題につきましては、「特定先端大型研究施設の共用の促進に関する法律」の規定に基づき、登録施設利用促進機関が選定することになると考えられます。なお、具体的な選定方法等につきましては、現在文科省において検討が進められている方針を待って具体化されることになります。具体的な検討状況につきましては、こちらをご覧ください。

Q24.産業用として、次世代スパコンの資源をどの程度利用できるのですか(例えば8万個のCPUをどの程度占有利用できるのかなど)。

次世代スパコンの産業利用につきましては、その制度設計に関して現在文科省において検討が進められています。具体的な検討状況につきましては、こちらをご覧ください。

Q25.神戸のCOEはどのようなプランになっているのですか。

次世代スパコンの設置主体である理化学研究所においては、次世代スパコン施設の運用を行うために計算科学研究機構(仮称)を創設することとしています。機構では施設の運用に留まらず、施設の利活用や高度化などの業務を行う予定で、こうした業務を推進していく中で、大学や研究機関、企業などと連携をとりながら人材育成や最先端の成果の蓄積といったことがなされていくことになります。

昨年末に次世代スパコン計画の見直しが行われ、次世代スパコンを開発・整備することとあわせて、次世代スーパーコンピュータと自律分散する国内のスーパーコンピュータ(独法、大学等)をネットワークで結び、国内の様々なスーパーコンピュータから次世代スーパーコンピュータを利用できるようにするなど、ネットワーク上の複数のスパコンを協調的に利用できる環境を整備することとなりました。こうした点も十分踏まえて検討がなされていきます。

Q26.利用支援、コンサルティングはどう考えているのですか。

次世代スパコン利用支援につきましては、「特定先端大型研究施設の共用の促進に関する法律」の規定に基づき、登録施設利用促進機関が利用支援を行うことになると考えられます。なお、具体的な利用支援策につきましては、現在文科省において検討が進められている方針を待って具体化されることになります。具体的な検討状況につきましては、こちらをご覧ください。

一方、次世代スパコンの設置主体である理化学研究所においては、次世代スパコン施設の運用を行うために計算科学研究機構(仮称)を創設することとしています。この機構では施設の運用に留まらず、施設の利活用や高度化などの業務を行う予定で、登録施設利用促進機関と相互の連携をとって円滑な利用促進を図ることとしています。

Q27.次世代スパコンの料金・課金はどうなるのですか。1年間1ノードをレンタルするということも可能ですか。

次世代スパコンの利用料金につきましては、その方針に関して今後文科省において検討が進められていくことになります。

Q28.運用の問題として、一度のジョブで何個のノードを使えるのですか。また、何時間ぐらい連続で利用できるのですか。

設計上は、一つのジョブですべてのノード、つまり約8万ノードまで使えますが、実際の運用において、一つのジョブで利用できる計算資源量や時間については、今後の運用設計の中で検討します。

Q29.OS、コンパイラのバグが発見された場合の修正モジュール適用スピードはどれくらいですか。

原則として、緊急性の低いものについては、巡回保守や定期保守などで対応し、緊急性が高いものについては、システム停止等も含めて対応することになると思われます。詳細については、今後運用設計を進める中で詰めていきたいと考えています。

Q30.本システムの共用開始前にデバッグ用システムを先に共用を始めていただくことは可能ですか。

現在検討中ですが、システムの安定性や完成度等を考慮しながら、時期や規模を決めていく予定です。
<その他のご質問>

Q31.昨年、事業仕分けにより次世代スパコン計画が見直されたとの話しですが、当初計画から開発が遅れるということはないのですか。また、計画の変更について教えてください。

事業仕分けと計画の見直しにつきましては こちら(事業仕分けに関するQ&A集)とこちら(平成22年度政府予算案の説明) をご覧ください。

「第1回次世代スパコンについて知る集い」の報告ページへ>>