ABCI上でSpark 2.4.0を実行する方法

投稿:滝澤  
1 385 通報 ウォッチ

ABCI上でOpenJDK 1.8.0、Spark 2.4.0を用いて、SparkをStandaloneモードで実行するためのスクリプトを書いてみました。Sparkのログやデータは計算ノードのSSD領域を使うようにしてあります。

詳しくは以下のGistに書いてありますので、興味ありましたらご参照ください。



https://gist.github.com/stakizawa/26542c6e33371d157dd3e61f39fca4a5

コメント

    yoriyuki さん: 2020-12-26 11:05:58

    助かります。ありがとうございます。

    通報

    ログインしてコメントを書く

    関連する投稿