「ADVENTURE_Solid」カテゴリーアーカイブ

ADVENTURE_Solid 並列コア数スケーラビリーティーのテスト

Adventure Solid Ver.2.1による大規模解析モデルを使って、並列計算のCPUコア数スケーラビリティーを調べてみました。
用意した計算機はHPワークステーション Z820 , XEON E5-2680(8core, 2.7GHz, オーバードライブ3.5GHz) x 2, 256GBメモリです。
この計算機をWindows上でCINEBENCHを動かすと、以下のような計算速度となります。
      H/T    OD    CINEBENCH
計算スピード
     Yes    Yes      2038cb
Yes    No       1763cb
No     No       1392cb
(H/Tは ハイパースレッディング有無
、ODはCPUオーバードライブ有無)H/T 、ODの設定により、それなりに計算スピードが変わっていく様子がわかります。
今回のテストの目的は、Adventure Solidで並列計算させるときにCPUコア数スケーラビリティー(CPUコア数に従って、計算スピードが上がってゆくのか)、H/Tの影響を調べることにあります。
計算モデルは、Adventure HPからダウンロード可能なPantheonモデルです。BaseDistanceを20.0に設定してメッシュを作成すると
要素数 : 2522万個
節点数 : 3507万個 (自由度1億オーバー)
のメッシュモデルが出来上がります。このモデルを下面固定、自重による弾性応力計算を行います。
部分領域はCPUコア数にかかわらず、1領域あたりの要素数が312になるように設定しています。
Adventure Solidでは領域分割によるハイブリッド計算のため、1領域あたりの要素数を変えることにより、計算スピード、必要メモリ量が変化します。
詳細はAdventure Solidマニュアルをご覧ください。
並列計算の指定は、mpiexec -n ** advsolid-p で実行しています。
今回のメッシュモデルで標準BDD法繰り返し計算させると、215GBメモリが消費されていました。
Fig.1はH/Tをオフにした場合の計算時間のコア数依存性です。

は、マトリクス組み立てに要した時間、は、マトリクス組み立て+繰り返し計算時間(1×10-6以下で収束打ち切り)です。
このグラフを見ると、いろいろ興味深いことが理解できます。
1.(少なくとも弾性計算では)繰り返し計算よりもマトリクス組み立てに3倍ほどの時間が、かかっている。
2.総計算時間は単純に並列コア数に反比例しない。
3.ODの効果は、このように継続的な計算の場合にも効果がある。
4.グラフには載せていませんが、H/Tをオンにして32コアで計算させると16コアの場合よりも、少なくとも2倍以上の時間が必要でした。
次に繰り返し計算の1繰り返しあたりの時間を、コア数依存でプロットしたグラフがFig.2です。
5.(1繰り返しあたり)計算時間はコア数に応じて逆比例の関係にある。
6.ODの効果は、このように繰り返し計算の場合にも効果がある。
繰り返し計算では、きれいなコア数と逆比例した結果が、得られています。
Adventure Solidの領域分割BDD繰り返し計算では、コア数依存の並列計算スケーラビリティーに優れていることが、明白です。
このことは非線形などの大規模計算では、大きなメリットとなります。
マトリクス組み立て時間については、なぜ並列コア数に比例してスピードが上がってゆかないのか理由ははっきりとわかっていません。
考えられる理由として、領域分割の指定方法が適切でない、あるいは1CPUあたりのマルチコア並列(OpenMP)指定とマルチCPU間の並列(OpenMPI)指定の仕方(すなわちmpiexecのオプション指定)に一工夫必要なのかもしれません。
H/Tをオンにすると計算時間が増えてしなうのは、H/Tをオンにすると各コアの処理能力が異なり、静的負荷分散方式では、能力の高いコアの待機時間が生じてしまうためと推測されます。
プロセス並列動的負荷分散法(Advsolid-h)で、改善される可能性があると思われます。
いやあ、BDDの並列繰り返し計算早いですね。1億自由度超えモデルでも高々、1繰り返しあたり十数秒です。恐れ入りました。

A09_第11回ADVENTURE定期セミナー

第11回ADVENTURE定期セミナーが本年6月23日(金)10時より東京大学本郷キャンパスにおいて開催されます。奮ってご参加下さい。

————————————————————————
第11回ADVENTURE定期セミナーのご案内
- ADVENTURE Windows版、バイナリーリリース、及びメッシング等ご紹介 -
————————————————————————

●ADVENTUREプロジェクトとADVENTUREシステムについて

ADVENTUREプロジェクトは、ライセンスフリーかつオープンソースの大規模並
列CAEシステムADVENTUREの保守・開発・無料公開を行っている産学連携プ
ロジェクトです。
E-mail : adv-info@save.sys.t.u-tokyo.ac.jp URL : http://adventure.sys.t.u-tokyo.ac.jp/jp/

ADVENTUREシステムは、本年8月でプロジェクト開始から丸20年を迎えようと
しております。2002年3月のVer.1の公開以来、2017年3月21日までの登録ユー
ザー総数9,301名、ダウンロードされたモジュール総数は42,070本に達し、産
官学等、各種計算科学プロジェクトでの利用事例も増え、社会に着実に浸透
してきています。最近では、ポスト「京」重点課題⑥「革新的クリーンエネ
ルギーシステムの実用化」プロジェクトの中核アプリケーションの一つとし
て、さらなる機能向上を目指した研究開発が進められています。また、ADVE
NTUREシステムの商用バージョンADVENTUREClusterも、産業界や様々な国家プ
ロジェクト等で活用されています。

●本定期セミナーの趣旨
今年に入り、03月01日にWindows用電磁界解析用統合モジュール
ADVENTURE_Magnetic_on_Windowsが公開されました。又近い内に、ソルバモジ
ュールを中心とする7種のモジュールのLinux及びWindows用のバイナリが公開
される予定です。

今回の開催の趣旨は、「ADVENTUREの更なる飛躍」としたいと思います。
先ずWindows版はダウンロード数の実績を誇っておりますので、それについて
4コマを割きます。続いてCAD I/Fとメッシュ生成について情報提供を致しま
す。更にLinuxも含めたバイナリ公開の内容についてご説明致します。

その後、昨年より開始された所謂ポスト京プロジェクトの重点課題⑥におけ
るADVENTUREの開発について講演致します。

最後に招待講演はADVENTURE_Fluidの橋梁の塩害予測への適用事例のご紹介で
す。

尚、セミナー後に場所を変更して有料懇親会を予定しております。

●日 時: 2017年6月23日(金)10:00 – 17:15
●場 所: 東京大学 工学部8号館 地下1階 85講義室
(東京都文京区本郷7-3-1 )
http://www.u-tokyo.ac.jp/campusmap/cam01_04_09_j.html
●共 催: ADVENTUREプロジェクト、日本計算力学連合(JACM)、
株式会社インサイト

●参加資格:どなたでも参加できます。日本計算力学連合会員、非会員の区別
はありません。

●受講料:
15,000円 (一般)
5,000円 (学割)
懇親会は1,000円

●申込方法:
●締め切り:
定員30名になり次第

●申 込 先:
下記のフォームに必要事項を記入の上、ADVENTURE定期セミナー事務局(株式会社
インサイト内)まで、メールでお申し込み下さい.

●宛先 :
advseminar@meshman.jp

件名:
「第11回ADVENTURE定期セミナー」参加申し込み

+++++++++++++++++< 参加申し込みフォーム ここから >++++++++++++++++
ふりがな:
氏 名:
所属機関:
所属部署:
役 職:
所 在 地:〒
E-mail :
電話番号:
参加区分:
セミナー ○×
懇親会 ○×
今後の案内メール(複数回答可):
(a)定期セミナーのみ希望
(b)ADVENTURE全般について希望
(c)インサイトの製品・サービスについて希望
(d)希望しない
+++++++++++++++++< 参加申し込みフォーム ここまで >++++++++++++++++
(記入頂いた個人情報はセミナーの運営管理とアフターフォロー、希望された情
報発信の目的以外で使用することはありません)

——————————————————————-
●プログラム:
——————————————————————-
(1) 10:00-10:10 開会の挨拶
ADVENTUREプロジェクトリーダー
東京大学大学院工学系研究科 教授 吉村 忍

(2) 10:10-11:00 ADVENTURE_Magnetic_on_Windowsの開発
諏訪東京理科大学システム工学部 助教 杉本 振一郎

(3) 11:00-11:50 ADVENTURE_Magnetic_on_Windows Ver.0.1bの実際
株式会社インサイト技術開発部 技術開発部員 淀 薫

11:50-13:00 昼食

(4) 13:00-13:20 ADVENTURE_on_Windowsの現状と開発について
株式会社インサイト 代表取締役 三好 昭生

(5) 13:20-14:00 ADVENTURE_on_Windows Ver.0.42bの実際
株式会社インサイト技術開発部 技術開発部員 中村 伸也

(6) 14:00-14:50 ADVENTUREのCAD I/Fとメッシング
株式会社インサイト技術開発部 技術開発部員 淀 薫

(7) 14:50-15:10 ADVENTURE_Solid 2.0 FS版等のバイナリ公開について
株式会社インサイト技術開発部 技術開発部員 淀 薫

15:10-15:30 休憩

(8) 15:30-16:10 ポスト京プロジェクトにおけるADVENTUREの開発について
ADVENTUREプロジェクトリーダー
東京大学大学院工学系研究科 教授 吉村 忍
[招待講演]
(9) 16:10-17:10 コンクリート橋梁の塩害劣化予測プロジェクトにおけるADVENTURE_Fluid
等の利用について
琉球大学 准教授 富山 潤

(10) 17:10-17:15 閉会の挨拶
東京大学大学院工学系研究科 教授 吉村 忍

A09_ADVENTURE solid 大変形解析

ADVENTURE solidでは、大変形解析のオプションが用意されています。
大変形解析と言えば、陽解法の解析手法が一般的ですが、陰解法であるADVENTURE solidでも大変形解析が可能です。
ADVENTURE solidで、どのような大変形解析が可能か理解いただくため、解析事例を2例紹介したいと思います。
ADVENTURE solidで大変形解析を行うにあたり、注意すべき点が2点ほどあります。
1点目は、発散の問題です。陰解法で解く限り避けて通れないのですが、ステップ数を細かく設定する必要があり、かなりのCPUパワーを必要とします。
2点目は、接触の問題です。ADVENTURE solidには接触をチェックするコードが、現状では備わっていません。例えば1本のパイプを折り曲げるとします。折り曲げてゆくと実際の場合では、どこかで接触し始めます。しかしADVENTURE solidでは接触のチェックがされないので、接触してもお互いすり抜けるように計算されてしまいます。
以上の2点に気を付けると、大変形解析も可能となります。
1例目は、12mm x 9mm x t0.6mmのAl板のスタンピング加工例です。押し出し量5mmまで計算してみました。アニメーションは同じ解析結果を、表側からと裏側から同時表示しています。変形量1倍、すなわち実変形表示にしてあります。押し出しに伴い、周りの板部が引き込まれている様子などが良くわかります。

2例目は、135mm x 65mm x 200mm 厚み6mmの二重角Alパイプの大変形です。パイプ上面を100mm押し込んだ計算結果です。表示はパイプ外側、および断面を表示1倍で表示させています。押し込みに従ってパイプが、複雑に変形する様子が再現されています。

Hide (2016.10.9)

A02_ADVENTURE_Solid 大規模応力解析(1)

今回はADVENTURE_Solidを使った大規模応力解析例を紹介します。
計算の目的は、一般的に売られているWork Station一台で、どれ位の規模の計算が可能か検証することです。
用意したのは、HP Z800 2CPU (計12コア)96GBメモリ搭載Work Stationです。
Work Stationでは、ハイエンドの部類になります。
OSは64bit OpenSUSEにOpenMPIを組み込み、並列計算を可能としています。
結果表示はParaViewです。
解析モデルは、ADVENTURE プロジェクト HPからダウンロード可能なPantheon宮殿CADモデルを使いました。
データはcm単位で作られており、建造物の実高さは約44m、宮殿外径は約54mほどもある、りっぱな大型建造物です。
このデータをBaseDistance = 26.0でメッシュ作成すると、要素数10,436,350、接点数14,829,907、4449万自由度のメッシュデータが出来上がります。
このメッシュデータで、建造物自重による静弾性解析を行います。
12コアのOpenMPI並列計算で、以下のような状況で計算完了しました。
使用メモリ : 96GBメモリをOS込みで、ほぼ使いきっています。
計算時間  : 10374秒 (SolidによるFEM計算時間)。約54時間です。
以下が計算された結果のParaView表示になります。
Clipboard01
計算は何ら不安気なく終了しWork Station、ADVENTURE_Solidの頑丈さが実感できました。
4000万自由度規模のFEM計算は、十数年前まではメインフレーム、スーパーコンピューターでしか達成できなかった計算であり、技術の進歩にも驚かされます。
もう一点注目いただきたいことは、CADソフト、データーコンバーター以外は、全てフリープログラムで構成されていることです。
ここまで出来ると、ADVENTUREソフトを、ただの教育用ソフトと捉えるには勿体なさすぎます。
なおPantheonモデルを使った大規模計算は、動解析なども行っており、順次紹介してゆきたいと思います。
次回はADVENTUREで採用されている無単位系について、説明します。