DataX

DataX は、アリババ グループ内で広く使用されているオフライン データ同期ツール/プラットフォームである Alibaba DataWorks データ統合のオープンソース バージョンです。 DataX は、MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute (ODPS)、Hologres、DRDS、databend など、さまざまな異種データ ソース間で効率的なデータ同期機能を実装します。

DataX 商用バージョン

Alibababa Cloud DataWorks データ統合は、DataX チームが Alibaba Cloud で製品化した製品で、複雑なネットワーク環境、豊富な異種データ ソース間の高速かつ安定したデータ移動、および複雑なビジネス コンテキストでのデータ同期ソリューションの提供に取り組んでいます。 現在、クラウド上の約3000,3社のお客様をサポートしており、50日で2020兆件以上のデータが同期されています。 DataWorks データ統合は、現在、オフライン 10+ データ ソースをサポートしており、ライブラリ全体の移行、クラウドへの一括接続、増分同期、ブランチ テーブルなど、さまざまな同期ソリューションを実行できます。 <> 年には、<>+ データ ソースの読み取りと書き込みの任意の組み合わせをサポートするリアルタイム同期機能が更新されます。 MySQL、Oracle、その他のデータソースからアリクラウドMaxCompute、Hologresなどのビッグデータエンジンへのワンクリックフルインクリメンタル同期ソリューションを提供します。

商用バージョンについては、「https://www.aliyun.com/product/bigdata/ide」を参照してください

Features

DataX 自体は、データ同期フレームワークとして機能し、異なるデータ ソースの同期をソース データ ソースからデータを読み取る Reader プラグインと、ターゲット側にデータを書き込む Writer プラグインに抽象化され、理論的には、DataX フレームワークは任意のデータ ソース タイプのデータ同期作業をサポートできます。 同時に、DataX プラグイン システムは、新しいデータ ソース セットへのアクセスごとに、既存のデータ ソースと通信できるエコシステムとして機能します。

DataX の詳細

参考:DataX-Introduction

Quick Start

Download DataX ダウンロード アドレス

クリックしてください:クイックアート

Support Data Channels

DataXは、現在、より包括的なプラグインシステムを持っており、主流のRDBMSデータベース、NOSQL、ビッグデータコンピューティングシステムは、すでにアクセスされており、現在、サポートデータは、次の図、詳細をクリックしてください:DataXデータソースリファレンスガイド

Alibaba Cloud DataWorks データ統合

現在、DataX の既存の機能は、Alibaba Cloud に統合され、DataX よりも効率的で安全であり、データ統合には DataX にはない他の高度な機能と機能があります。 データ統合は、DataX の完全アップグレードの商用バージョンであり、企業に安定した信頼性の高い安全なデータ転送サービスを提供すると理解できます。 DataX と比較して、データ統合には、主に次の顕著な特徴があります。

リアルタイム同期のサポート:

• 機能の概要: https://help.aliyun.com/document_detail/181912.html
• サポートされているデータ ソース: https://help.aliyun.com/document_detail/146778.html
• データ処理のサポート: https://help.aliyun.com/document_detail/146777.html

オフライン同期データ ソースの種類が大幅に拡張されました。

• DB2、Kafka、Hologres、MetaQ、SAPHANA、ダモンなどの新機能は、継続的な拡張です
• サポートされているデータ ソースをオフラインで同期する: https://help.aliyun.com/document_detail/137670.html
• 同期ソリューション:
  • ソリューション システム: https://help.aliyun.com/document_detail/171765.html
  • ワンクリックフルインクリメント:https://help.aliyun.com/document_detail/175676.html
  • ライブラリ全体の移行: https://help.aliyun.com/document_detail/137809.html
  • 一括クラウド: https://help.aliyun.com/document_detail/146671.html
  • その他の機能の更新については、「https://help.aliyun.com/document_detail/137663.html」を参照してください

私は新しいプラグインを開発するつもりです

クリックしてください:DataXプラグイン開発の宝物

重要なリリース更新プログラムの説明

DataX のフォローアップ計画の月次反復更新は、Pull requests を提出する興味のある学生を歓迎します。

• [datax_v202210]（https://github.com/alibaba/DataX/releases/tag/datax_v202210)

  • 涉及通道能力更新（OceanBase、Tdengine、Doris等）

• [datax_v202209]（https://github.com/alibaba/DataX/releases/tag/datax_v202209)

  • 涉及通道能力更新（MaxCompute、Datahub、SLS等）、安全漏洞更新、通用打包更新等

• [datax_v202205]（https://github.com/alibaba/DataX/releases/tag/datax_v202205)

  • 涉及通道能力更新（MaxCompute、Hologres、OSS、Tdengine等）、安全漏洞更新、通用打包更新等

项目成员

コアコントリブションズ:言葉、枕水、秋、緑の砂利、一口、雲

天の火、光のゴ、ラン、バジン、DataXへの静かな貢献に感謝します。

License

This software is free to use under the Apache License Apache license.

速やかにissueを私たちに提示してください。 DataxIssue に移動します

オープンソース版のDataXエンタープライズユーザー

长期招聘 联系邮箱：datax@alibabacloud.com
【JAVA开发职位】
职位名称：JAVA资深开发工程师/专家/高级专家
工作年限 : 2年以上
学历要求 : 本科（如果能力靠谱，这些都不是条件）
期望层级 : P6/P7/P8

岗位描述：
    1. 负责阿里云大数据平台（数加）的开发设计。 
    2. 负责面向政企客户的大数据相关产品开发；
    3. 利用大规模机器学习算法挖掘数据之间的联系，探索数据挖掘技术在实际场景中的产品应用 ；
    4. 一站式大数据开发平台
    5. 大数据任务调度引擎
    6. 任务执行引擎
    7. 任务监控告警
    8. 海量异构数据同步

岗位要求：
    1. 拥有3年以上JAVA Web开发经验；
    2. 熟悉Java的基础技术体系。包括JVM、类装载、线程、并发、IO资源管理、网络；
    3. 熟练使用常用Java技术框架、对新技术框架有敏锐感知能力；深刻理解面向对象、设计原则、封装抽象；
    4. 熟悉HTML/HTML5和JavaScript；熟悉SQL语言；
    5. 执行力强，具有优秀的团队合作精神、敬业精神；
    6. 深刻理解设计模式及应用场景者加分；
    7. 具有较强的问题分析和处理能力、比较强的动手能力，对技术有强烈追求者优先考虑；
    8. 对高并发、高稳定可用性、高性能、大数据处理有过实际项目及产品经验者优先考虑；
    9. 有大数据产品、云产品、中间件技术解决方案者优先考虑。

ユーザー コンサルティングのサポート:

爪群は、現在、いくつかの制御戦略によって一時的に影響を受けており、ここで質問Issueを提出することを優先し、DataX R&Dとコミュニティは定期的にIssueの質問に答え、知識ベースが豊富で、後のユーザーを助けることができます。