計算ノードのローカルストレージを活用
投稿:hagi
計算ノードには1.6TB の NVMe、メモリインテンシブノードには 1.8TBの SATA 3.0 ストレージが搭載されています。これを活用すれば、GPUから学習データや計算途中にファイルシステムへ退避したデータへのアクセス速度を早めることができます。
ローカルストレージを利用するには、環境変数${SGE_LOCALDIR}を使います。
[username@es2 ~]$ qrsh -g gaa50123 -l rt_C.small=1
[username@g0001 ~]$ echo $SGE_LOCALDIR
/local/3160455.1.gpu
*ファイルへのパスとして、$SGE_LOCALDIRを指定すれば、ローカルストレージを使うことができます。なお、ローカルストレージのデータは、ジョブ終了時に自動で消去されます。
関連する投稿
-
Jupyter Notebookの利用(その2)
Jupyter Notebookの利用(2019/12/11更新)(1) 計算ノードを一...
-
-
コメント
まだありません。
ログインしてコメントを書く