riffusion-app - リアルタイム音楽生成のための安定した拡散
(Stable diffusion for real-time music generation)
Created at: 2022-11-21 03:20:04
Language: TypeScript
License: MIT
リフュージョンアプリ
Riffusion は、安定した拡散を伴うリアルタイムの音楽生成のためのアプリです。
https://www.riffusion.com/about でそれについて読んで、https://www.riffusion.com/ で試してみてください。
- ウェブアプリ: https://github.com/hmartiro/riffusion-app
- 推論サーバー: https://github.com/hmartiro/riffusion-inference
- モデル チェックポイント: https://huggingface.co/riffusion/riffusion-model-v1
- グーグルコラボノートブック:
- グラジオウェブデモ:
このリポジトリには、Web サイトを強化する対話型 Web アプリが含まれています。
Next.js、React、Typescript、three.js、Tailwind、Vercelで構築されています。
走る
これは、次のアプリの作成でブートストラップされたNext.jsプロジェクトです。
取り付ける：
npm install開発サーバーを実行します。
npm run dev
# or
yarn devブラウザで http://localhost:3000 を開き、アプリを表示します。
アプリのホームは .ファイルを編集すると、ページが自動更新されます。バージョン情報ページは にあります。
pages/index.js
pages/about.tsx
ディレクトリは にマップされます。このディレクトリ内のファイルは、React ページではなく API ルートとして扱われます。
pages/api
/api/*
推論サーバー
実際にモデル出力を生成するには、APIを介して推論要求に応答するモデルバックエンドが必要です。5 秒未満で安定した拡散を実行できる大規模な GPU がある場合は、推論サーバーで命令を複製して実行し、Flask アプリを実行します。
このアプリには、自動スケーリングと負荷分散のためにBasetenで実行する構成もあります。BaseTen を使用するには、API キーが必要です。
これらのバックエンドを構成するには、ファイルを追加します。
.env.local
# URL to your flask instance RIFFUSION_FLASK_URL=http://127.0.0.1:3013/run_inference/ # Whether to use baseten as the model backend NEXT_PUBLIC_RIFFUSION_USE_BASETEN=false # If using BaseTen, the URL and API key RIFFUSION_BASETEN_URL=https://app.baseten.co/applications/XXX RIFFUSION_BASETEN_API_KEY=XXX
引用
この作品に基づいて構築する場合は、次のように引用してください。
@software{Forsgren_Martiros_2022,
author = {Forsgren, Seth* and Martiros, Hayk*},
title = {{Riffusion - Stable diffusion for real-time music generation}},
url = {https://riffusion.com/about},
year = {2022}
}
