streamx - ストリーム処理を簡単にします！Flink＆Spark開発の足場。StreamXの本来の目的は、Flinkの開発を容易にすることです。StreamXは、開発フェーズとタスクの管理に重点を置いています。私たちの最終的な目標は、ストリーム処理、バッチ処理、データウェアハウス、データレーカーを統合したワンストップのビッグデータソリューションを構築することです。

(Make stream processing easier! Flink & Spark development scaffold, The original intention of StreamX is to make the development of Flink easier. StreamX focuses on the management of development phases and tasks. Our ultimate goal is to build a one-stop big data solution integrating stream processing, batch processing, data warehouse and data laker.)

Created at: 2019-05-27 13:56:03

Language: Scala

URL: https://github.com/streamxhub/streamx

ストリーム処理を簡単にします!!!

公式サイト| 変更ログ| 書類

英語|中文

StreamX

ストリーム処理を簡単にします

ストリーム処理を簡単にする魔法のフレームワーク！

🚀序章

本来の目的

StreamX

は、ストリーム処理を容易にすることです。

StreamX

開発フェーズとタスクの管理に焦点を当てています。私たちの最終的な目標は、ストリーム処理、バッチ処理、データウェアハウス、データレーカーを統合したワンストップのビッグデータソリューションを構築することです。

🎉特徴

足場
すぐに使用できるコネクタ
Mavenコンパイルをサポート
構成
マルチバージョンのflinkサポート（1.12.x、1.13.x、1.14.x、1.15.x）
Scala 2.11/2.12のサポート
restapiサポート。

すべてのFlink展開モードのサポート（

Remote

K8s-Native-Application

K8s-Native-Session

YARN-Application

YARN-Per-Job

YARN-Session

）

```
start
```
、、、
```
stop
```
から
```
savepoint
```
再開
```
savepoint
```
さまざまな企業や組織
```
StreamX
```
が生産および商用製品に使用しています。
炎のグラフ
ノート
プロジェクト構成と依存関係のバージョン管理
タスクのバックアップとロールバック
依存関係を管理する
UDF
FlinkSQLコネクタ
Flink SQL WebIDE
カタログ、ハイブ
タスク
```
development
```
から
```
deployment
```
..。

🏳‍🌈コンポーネント

Streamx

streamx-core

、、

streamx-pump

およびの3つの部分で構成されます

streamx-console

1️⃣streamx-core

streamx-core

は、コーディングに焦点を当て、構成を標準化し、慣例による構成よりも優れた方法で開発するフレームワークです。また、開発時間

RunTime Content

と一連の

Connector

箱から出してすぐに使用できます。同時に、いくつかのメソッドを拡張し、 APIを

DataStream

統合して、面倒な操作を簡素化し、ビジネス自体に焦点を合わせ、開発効率と開発エクスペリエンスを向上させます。

DataStream

Flink sql

2️⃣streamx-pump

streamx-pump

は、に似た、計画されたデータ抽出コンポーネント

flinkx

です。

connector

で提供されているさまざまな情報に基づいて、

streamx-core

ビッグデータ用の便利で高速な、すぐに使用できるリアルタイムのデータ抽出および移行コンポーネントを作成することを目的としています。これは、に統合されます

streamx-console

。

3️⃣streamx-console

streamx-console

はストリーム処理および

Low Code

プラットフォームであり、

Flink

タスクの管理、プロジェクトのコンパイル、デプロイ、構成、スタートアップ、、、、モニタリング、およびその他の多くの機能の統合

savepoint

が可能です

flame graph

。

Flink SQL

タスクの日常の操作と保守を簡素化し

Flink

ます。

私たちの最終的な目標は、ストリーム処理、バッチ処理、データウェアハウス、データレーカーを統合したワンストップのビッグデータソリューションを構築することです。

上記の優れたオープンソースプロジェクトと言及されていない多くの優れたオープンソースプロジェクトに感謝します。最高の敬意を払ってくれてありがとう。素晴らしいプロジェクトを作成してくれたApacheFlinkに感謝します。初期のインスピレーションを与えてくれたApacheZeppelinプロジェクトに感謝します。