bitsail - BitSailは、バッチ、ストリーミング、増分シナリオをサポートする分散型高性能データ統合エンジンです。BitSailは、毎日数百兆のデータを同期するために広く使用されています。

(BitSail is a distributed high-performance data integration engine which supports batch, streaming and incremental scenarios. BitSail is widely used to synchronize hundreds of trillions of data every day.)

Created at: 2022-09-29 16:39:36
Language: Java
License: Apache-2.0

ビットセイル

英語|简体中文

建てる ライセンス スラックに参加する

紹介

BitSailは、分散アーキテクチャに基づいて高性能を提供するByteDanceのオープンソースデータ統合エンジンです。複数の異種データ ソース間のデータ同期をサポートし、バッチ、ストリーミング、増分のシナリオでグローバル データ統合ソリューションを提供します。現在、Douyin、Toutiaoなど、ByteDanceのほぼすべてのビジネスラインにサービスを提供し、毎日数百兆のデータを同期しています。

なぜビットセイルを使うのか

BitSailは広く使用されており、数百兆の大規模なトラフィックをサポートしています。同時に、火山エンジンのクラウドネイティブ環境やオンプレミスのプライベートクラウド環境など、さまざまなシナリオで検証されています。

私たちは多くの経験を蓄積し、データ統合の機能を改善するために多くの最適化を行ってきました

  • グローバルデータ統合:バッチ、ストリーミング、増分シナリオをカバー

  • 水平スケーリングをサポートする分散型クラウドネイティブアーキテクチャ

  • 精度、安定性、性能の面で高い成熟度

  • 型変換、ダーティデータ処理、フロー制御、データレイク統合、自動並列処理計算などの豊富な基本機能 等。

  • トラフィック、QPS、ダーティデータ、レイテンシーなどのタスク実行ステータス監視。

BitSail の使用シナリオ

  • 異種データソースでの一括データ同期

  • ストリーミングおよびバッチ統合データ処理機能

  • データレイクとウェアハウスの統合データ処理機能

  • 高性能、高信頼性のデータ同期

  • 分散型のクラウドネイティブアーキテクチャデータ統合エンジン

ビットセイルの特徴

  • 低いスタートアップコストと高い柔軟性

  • ストリームバッチ統合とデータレイクとウェアハウスの統合アーキテクチャ、1つのフレームワークでほぼすべてのデータ同期シナリオをカバー

  • 高性能で大規模なデータ処理機能

  • DDL 自動同期

  • 型システム、異なるデータソースタイプ間の変換

  • エンジンに依存しない読み書きインターフェース、低い開発コスト

  • 開発中のタスクの進捗状況をリアルタイムで表示

  • タスクステータスのリアルタイム監視

ビットセイルのアーキテクチャ

Source[Input Sources] -> Framework[Data Transmission] -> Sink[Output Sinks]

データ処理パイプラインは次のとおりです。まず、入力ソースを介してソース データをプルし、次に中間フレームワーク レイヤーを介して処理し、最後に出力シンクを介してターゲットにデータを書き込みます。

フレームワーク層では、豊富な機能を提供し、ダーティデータ収集、自動並列処理計算、タスク監視など、すべての同期シナリオに効果を発揮します。

データ同期シナリオでは、バッチ、ストリーミング、増分データ同期について説明します。

ランタイムレイヤーでは、yarn、local、k8sなどの複数の実行モードをサポートしています。

サポートされているコネクタ

データソース サブモジュール リーダー 作家
巣箱 -
ハドゥープ -
ヘバセ -
フーディ -
カフカ -
ロケットMQ -
レディス -
ドリス -
モンゴDB -
ティッカー マイオカ
オラクル
PostgreSQL
SqlServer
フェイク -
プリント -

コネクタのドキュメント。

コミュニティサポート

スラック

このリンクからBitSailスラックチャンネルに参加する

メーリングリスト

現在、BitSailコミュニティはGoogleグループをメーリングリストプロバイダーとして使用しています。 会話を始める前にメーリングリストに登録する必要があります

購読:このアドレスにメール

bitsail+subscribe@googlegroups.com

会話を開始する: このアドレスにメールを送信する

bitsail@googlegroups.com

登録解除: このアドレスにメールを送信

bitsail+unsubscribe@googlegroups.com

微信グループ

このQRコードをスキャンして、WeChatグループチャットに参加することを歓迎します。

ティッカー

環境設定

環境設定へのリンク。

導入ガイド

展開ガイドへのリンク。

ビットセイルの設定

構成ガイドへのリンク。

寄稿ガイド

貢献ガイドへのリンク。

貢献

すべての貢献者に感謝します

ライセンス

Apache 2.0ライセンス。