バッチジョブの標準出力・標準エラー出力の取扱についてのお願い
2011年06月09日
情報基盤センター
RICC利用者各位
RICC システムでは、バッチジョブ終了時に以下のような標準出力・標準エラー出力ファイルが作成されます。
[標準出力] : XXXXXXX.o1234567.jms [標準エラー出力] : XXXXXXX.e1234567.jms
標準出力・標準エラー出力ファイルは、ジョブスケジューラの終了処理として 計算ノードからジョブ投入ディレクトリ(/home/username/xxx or /data/username/yyy)に 転送されますが これは FTL による転送とは異なる処理であり、全てのジョブで自動的に実施されます。
このファイルのサイズが数百MB以上となるバッチジョブが大量かつ同時に終了した場合 ジョブスケジューラが高負荷となり、全ユーザのジョブ終了処理が遅延する可能性があり ます。
そのため、標準出力・標準エラー出力のサイズが大きいジョブは、 以下の操作例に記載している通り、標準出力・標準エラー出力をファイルに 出力していただきますようご協力をお願いいたします。
例1: 標準出力・標準エラー出力をファイル($MJS_REQID.log)に出力 (bash の場合) AFTER:0: $MJS_REQID.log ! FTL コマンドで回収 mpirun ./a.out >> $MJS_REQID.log 2>&1 # 標準出力・標準エラー出力を $MJS_REQID.log にリダイレクト (tcsh の場合) AFTER:0: $MJS_REQID.log ! FTL コマンドで回収 mpirun ./a.out >>& $MJS_REQID.log # 標準出力・標準エラー出力を $MJS_REQID.log にリダイレクト
例2: 標準出力・標準エラー出力の出力を抑止 (bash の場合) mpirun ./a.out > /dev/null 2>&1 (tcsh の場合) mpirun ./a.out >& /dev/null
本件に関して、ご質問等ございましたら hpc@riken.jp までご連絡ください。