airbyte - API、データベース、ファイルから倉庫や湖までのELTパイプラインのためのデータ統合プラットフォーム。
(Data integration platform for ELT pipelines from APIs, databases & files to warehouses & lakes.)
API、データベース、ファイルからデータベース、倉庫、湖までのELTパイプラインのデータ統合プラットフォーム
データ移動に対するオープンソースソリューションのみが、データソースのロングテールをカバーしながら、データエンジニアが既存のコネクタをカスタマイズできると考えています。私たちの究極のビジョンは、あらゆるソースからあらゆる宛先にデータを移動できるようにすることです。Airbyteは、一般的なAPI、データベース、データウェアハウス、およびデータレイク用の300 +コネクタをすでに提供しています。
Airbyte コネクタは任意の言語で実装でき、Airbyte 仕様に従った Docker イメージの形式を取ります。次の方法で、新しいコネクタを非常に高速に作成できます。
- API コネクタ用のローコード コネクタ開発キット (CDK) (デモ))
- Python CDK (チュートリアル))
Airbyteにはスケジューラが組み込まれており、テンポラルを使用してジョブを調整し、大規模な信頼性を確保します。Airbyteはdbtを利用して抽出データを正規化し、SQLおよびdbtでカスタム変換をトリガーできます。エアバイト同期をエアフロー、知事、またはダグスターとオーケストレーションすることもできます。
デモアプリをご覧ください。
クイックスタート
エアバイトをローカルで実行する
Docker を使用して Airbyte をローカルで実行できます。
git clone https://github.com/airbytehq/airbyte.git
cd airbyte
docker compose uphttp://localhost:8000 で Web アプリにログインするには、.env ファイルにある既定の資格情報を入力します。
BASIC_AUTH_USERNAME=airbyte BASIC_AUTH_PASSWORD=password
Web アプリの UI の指示に従って、データをレプリケートするためのソース、宛先、接続を設定します。接続では、最も一般的な同期モード (データベースの完全更新、増分、変更データ キャプチャ) がサポートされています。
コードでエアバイト構成を管理する
また、YAML ファイル、Octavia CLI、および API を使用して、ソース、宛先、および接続をプログラムで管理することもできます。
Airbyte を運用環境にデプロイする
デプロイオプション:Docker、AWS EC2、Azure、GCP、Kubernetes、Restack、Plural、Oracle Cloud、Digital Ocean...
エアバイトクラウドを使用する
エアバイトクラウドは、エアバイトを実行するための最速かつ最も信頼性の高い方法です。無料クレジットは数分で開始できます。
エアバイトクラウドにサインアップします。
貢献
まず、Githubの問題を確認し、プルリクエストを作成します。貢献を開始する簡単な方法は、既存のコネクタを更新するか、ローコード CDK と Python CDK を使用して新しいコネクタを作成することです。既存のコネクタのコードは、connectors ディレクトリにあります。AirbyteプラットフォームはJavaで書かれており、フロントエンドはReactで書かれています。また、ドキュメントやチュートリアルに投稿することもできます。上級エアバイトユーザーは、メンテナプログラムとライタープログラムに申し込むことができます。
寄稿ガイドをお読みください。
脆弱性の報告
Airbyteはセキュリティ問題を非常に真剣に受け止めています。Airbyteについて懸念がある場合、または脆弱性を発見したと思われる場合は、電子メールアドレス security@airbyte.io までご連絡ください。メッセージでは、問題の説明と、理想的には再現方法を提供してみてください。セキュリティチームができるだけ早くご連絡いたします。
このセキュリティアドレスは、未公開の脆弱性にのみ使用する必要があることに注意してください。修正された問題やセキュリティ機能の使用方法に関する一般的な質問への対処は、ユーザーと開発者リストを介して定期的に処理する必要があります。セキュリティ上の問題は、公開する前に報告してください。
ライセンス
ライセンス情報については LICENSE ファイルを参照し、そのトピックに関する質問については FAQ を参照してください。
