ディープラーニングシステム
概要
経緯
スペック
- 100G ネットワーク : CISCO 製 Nexsus 9336C-FX2, 2 台 (冗長構成)
- GPGPU サーバ (GPGPU 強化版): Newtech 製 CloudyDP NCS00T00-DP-02, 3 台
- CPU: Intel Xeon Gold6234, 2 基
- GPGPU: Tesla V100S-32G, 3 基
- GPGPU サーバ (CPU 強化版): Newtech 製 CloudyDP SuperMicroAS-4023S-TRT, 1 台
- CPU: AMD EPYC7702, 2 基
- GPGPU: Tesla V100S-32G, 1 基
- ファイルサーバ : Newtech 製 NCDBX004T12SDS2T14, 4 台
- SSD 4TB, 12 台
利用形態
以下の 2 つの形式によりプログラムを実行することが可能です.
- JupyterLab を用いたインタラクティブ処理
- PBS を用いたバッチ処理
フロントエンドでは JupyterHub が動作しており, ユーザは JupyterLab から上記の処理を行うことができます.
https://pbs.epi.it.matsue-ct.jp:8000
システムに SSH でログインする場合は以下のホストにアクセスして下さい.
pbs.epi.it.matsue-ct.jp (10.0.100.24)
JupyterLab を使ったインタラクティブ処理
実行時間の制限は 36 時間です.
- Quick Start (インタラクティブ処理)
- 計算環境: Python ライブラリ一覧
- tensorflow (ver.2), Keras, PyTorch, などが使えます.
ターミナルからログインした場合には, venv でライブラリ環境を読み込む必要があります.
PBS を用いたバッチ処理
バッチ処理の場合は, システム管理者が用意した Python ライブラリ環境に加えて, 自分で Python ライブラリ環境を構築することが可能です.
- 利用可能なキュー
- cpu :
- 利用可能 CPU : 1 ~ 64
- GPU 利用不可
- 研究室単位での同時実行可能数に制限あり (実行可能数 2 ).
- 実行時間の制限あり (72 時間)
- gpu
- 利用可能 CPU : 1 ~ 6
- 利用可能 GPU : 1 基 (NVIDIA V100S 32GB)
- 研究室単位での同時実行可能数に制限あり (実行可能数 3).
- 実行時間の制限あり (72 時間)
- cpu :
- Quick Start (バッチ処理)
- PBS ジョブスクリプトのサンプル
- ジョブスクリプトの書き方
- C, Fortran90 環境
- MPI, OpenMP 対応
- Python ライブラリ環境
- システムで用意している仮想環境
- 仮想環境を自分で作る方法
- 仮想環境の構築 (venv 利用)
- ytorch, tensorflow (2.4) + keras, numba
- 仮想環境の構築 (docker 利用)
- chainer, , tensorflow (1.15)
- 仮想環境の構築 (venv 利用)