あらゆるクラウドでジョブを簡単かつコスト効率よく実行

SkyPilotは、MLワークロード¹を任意のクラウドで簡単かつコスト効率よく実行するためのフレームワークです。

スカイパイロットは、クラウドインフラの負担を抽象化します。

• 任意のクラウド(AWS、Azure、GCP)でジョブとクラスターを起動
• ゾーン/リージョン/クラウド間で希少なリソースを見つける
• キュージョブとクラウドオブジェクトストアの使用

スカイパイロットはクラウドコストを削減します。

• マネージドスポット:スポットVMを使用した3倍のコスト削減と、プリエンプションからの自動リカバリ
• 自動停止:アイドル状態のクラスターのハンズフリークリーンアップ
• ベンチマーク: ジョブに最適な VM の種類を見つける
• オプティマイザー:ゾーン/地域/クラウド間で最良の価格を自動選択することで2倍のコスト削減

SkyPilotは、コードを変更することなく、既存のGPU、TPU、CPUワークロードをサポートします。

pip(クラウドを選択)またはソースからインストールします。

pip install "skypilot[aws,gcp,azure]"

はじめ

ドキュメントはここにあります。

• 取り付け
• クイックスタート
• CLI リファレンス

1分でわかるスカイパイロット

SkyPilotタスクは、リソース要件、同期するデータ、セットアップコマンド、およびタスクコマンドを指定します。

この統一インターフェイス (YAML または Python API) で記述すると、タスクは使用可能な任意のクラウドで起動できます。これにより、ベンダーロックインが回避され、ジョブを別のプロバイダーに簡単に移動できます。

以下をファイルに貼り付けます。

my_task.yaml

resources:
  accelerators: V100:1  # 1x NVIDIA V100 GPU

num_nodes: 1  # Number of VMs to launch

# Working directory (optional) containing the project codebase.
# Its contents are synced to ~/sky_workdir/ on the cluster.
workdir: ~/torch_examples

# Commands to be run before executing the job.
# Typical use: pip install -r requirements.txt, git clone, etc.
setup: |
  pip install torch torchvision

# Commands to run as a job.
# Typical use: launch the main program.
run: |
  cd mnist
  python main.py --epochs 1

クローンを作成して作業ディレクトリを準備します。

git clone https://github.com/pytorch/examples.git ~/torch_examples

で起動します(注:この例ではGPUインスタンスへのアクセスが必要です):

sky launch

sky launch my_task.yaml

その後、スカイパイロットが以下のような重労働を行います。

1. さまざまなクラウドで最低価格のVMインスタンスタイプを見つける
2. VM をプロビジョニングし、クラウドが容量エラーを返した場合の自動フェールオーバーを使用する
3. ローカルを VM に同期する

   workdir

4. タスクのコマンドを実行して、タスクを実行するための VM を準備します

   setup

5. タスクのコマンドを実行する

   run

SkyPilot の使用を開始するには、「クイックスタート」を参照してください。

詳細情報

• ドキュメンテーション
• 例: ハグ顔
• チュートリアル
• YAML リファレンス
• フレームワークの例: PyTorch DDP、Distributed TensorFlow、TPU 上の JAX/Flax、Stable Diffusion、Detectron2、プログラムによるグリッド検索、Docker など。

詳細:

• 入門ブログ投稿

問題、機能要求、および質問

私たちはあなたのフィードバックを聞くことを嬉しく思います!

• 問題と機能要求については、GitHub の問題を開いてください。
• 質問については、GitHub ディスカッションを使用してください。

一般的なディスカッションについては、スカイパイロットのスラックにご参加ください。

貢献

私たちはプロジェクトへのすべての貢献を歓迎し、評価します!参加方法については、貢献を参照してください。