SageMaker

W&B を Amazon SageMaker と統合する方法。

W&B は Amazon SageMaker と連携しており、ハイパーパラメーターの自動読み込み、分散実行された Runs のグルーピング、およびチェックポイントからの実行再開を自動的に行います。

​

認証

W&B はトレーニングスクリプトからの相対パスで secrets.env という名前のファイルを検索し、wandb.init() が呼び出されたときにそれらを環境変数にロードします。実験を起動するために使用するスクリプト内で wandb.sagemaker_auth(path="source_dir") を呼び出すことで、secrets.env ファイルを生成できます。このファイルは必ず .gitignore に追加してください！

​

既存の Estimator

SageMaker の事前設定済み Estimator を使用している場合は、ソースディレクトリに wandb を含む requirements.txt を追加する必要があります。

wandb

Python 2 を実行している Estimator を使用している場合は、wandb をインストールする前に、この wheel から直接 psutil をインストールする必要があります。

https://wheels.galaxyproject.org/packages/psutil-5.4.8-cp27-cp27mu-manylinux1_x86_64.whl
wandb

完全なサンプルについては GitHub を確認し、詳細は ブログ をご覧ください。

また、SageMaker と W&B を使用した感情分析器のデプロイに関する Deploy Sentiment Analyzer Using SageMaker and W&B チュートリアル も併せてご参照ください。

W&B の sweep agent は、SageMaker インテグレーションがオフになっている場合にのみ、SageMaker ジョブ内で期待通りに動作します。wandb.init の呼び出しを以下のように修正して、SageMaker インテグレーションをオフにしてください。

wandb.init(..., settings=wandb.Settings(sagemaker_disable=True))