システムで用意されている Python ライブラリ環境

venv 仮想環境

matsue-ct

• パス: /work/ENV/matsue-ct
• ライブラリ一覧
  • tensorflow (ver 2.4), keras, torch, ...
• ジョブスクリプトの例 : /work/SAMPLES/Python-venv

実行例

$ cp -r /work/SAMPLES/Python-venv ./
$ cd Python-venv/

$ cat job01.sh 

  #!/bin/sh
  #PBS -q gpu
  #PBS -l select=1:ncpus=1:ngpus=1

  # ジョブを実行したディレクトリに移動
  cd $PBS_O_WORKDIR

  # 開始処理. venv 環境をアクティベート.
  . /work/ENV/matsue-ct/venv/bin/activate

  # python プログラムの実行
  python tensorflow2-sample.py 

  # 終了処理. venv 環境をディアクティベート.
  deactivate

$ qsub job01.sh 

   99.ncsv4

$ qsub job02.sh 

   100.ncsv4

$ qstat

  Job id            Name             User              Time Use S Queue
  ----------------  ---------------- ----------------  -------- - -----
  99.ncsv4          job01.sh         sugiyama          00:00:00 R gpu             
  100.ncsv4         job02.sh         sugiyama                 0 R gpu             

$ cat job01.sh.o99 

docker コンテナ

chainer/matsue-ct

• ライブラリ一覧
  • chainer, ...
• ジョブスクリプトの例 : /work/SAMPLES/Python-docker-chainer

実行例

$ cp -r /work/SAMPLES/Python-docker-chainer ./
$ cd Python-docker-chainer/
$ cat job.sh 

  #!/bin/sh
  #PBS -q gpu
  #PBS -l select=1:ncpus=1:ngpus=1

  # ジョブを投入したディレクトリに移動
  cd $PBS_O_WORKDIR

  # docker コンテナを用いて実行
  docker run --gpus all -v $PWD:/tmp -w /tmp --rm -u `id -u $USER` chainer/matsue-ct python3 chainer-sample.py -g 0

$ qsub job.sh 

  96.ncsv4

$ qstat

  Job id            Name             User              Time Use S Queue
  ----------------  ---------------- ----------------  -------- - -----
  96.ncsv4          job.sh           sugiyama                 0 R gpu             

$ cat job.sh.o96 

tensorflow/matsue-ct

• ライブラリ一覧
  • tensorflow1.5, ...
• ジョブスクリプトの例 : /work/SAMPLES/Python-docker-tensorflow_1.5

実行例

$ cp -r /work/SAMPLES/Python-docker-tensorflow_1.5 .
$ cd Python-docker-tensorflow_1.5/
$ cat job01.sh 

  #!/bin/sh
  #PBS -q gpu
  #PBS -l select=1:ncpus=1:ngpus=1

  # ジョブを投入したディレクトリに移動
  cd $PBS_O_WORKDIR

  # docker コンテナを用いて実行
  docker run --gpus all -v $PWD:/tmp -w /tmp --rm -u `id -u $USER` tensorflow/matsue-ct python3 tensorflow1-sample-1.py

$ qsub job01.sh 

  97.ncsv4

$ qsub job02.sh 

  98.ncsv4

$ qstat

  Job id            Name             User              Time Use S Queue
  ----------------  ---------------- ----------------  -------- - -----
  97.ncsv4          job01.sh         sugiyama          00:00:00 R gpu             
  98.ncsv4          job02.sh         sugiyama          00:00:00 R gpu             


$ cat job02.sh.o98