【AI】知らないの？データバージョン管理ツール「DVC」とS3を連携する方法

概要

DeepLearningを含む機械学習では学習済みモデルを使用します。 学習済みモデルはデータ量が大きく、github等のコード管理ツールでは管理が難しいです。 そこで便利なのがデータバージョン管理ツール「DVC」になります。 今回はその「DVC」をAWSのS3と連携して使用する方法について簡単に紹介します。

前提

• Pythonセットアップ済み
• AWSのconfigureを設定済み

設定

pip install dvc["s3"]
dvc init
dvc remote add -d {name} s3://{bucket}/{prefix}

ファイルやフォルダの追加

dvc add {file path}
dvc push

ファイルやフォルダの取得

dvc pull

最後に

いかがでしょうか？こんなに簡単にデータを管理できるとは良い時代ですね！ どんどんモデルを作って管理していきましょう！