data-engineering-zoomcamp - 無料のデータエンジニアリングコース！
(Free Data Engineering course! )
Created at: 2021-10-21 17:32:50
Language: Jupyter Notebook
データエンジニアリングZoomcamp
- DataTalks.ClubのSlackに登録する
#course-data-engineering
チャンネルに参加する- ビデオは、コースプレイリストでDataTalks.ClubのYouTubeチャンネルに公開されます
- よくある技術的な質問
シラバス
コースを受講する
セルフペースモード
コースの教材はすべて無料で入手できるので、自分のペースでコースを受講できます
- 提案されたシラバス（下記参照）を週ごとにフォローしてください
- 登録フォームに記入する必要はありません。ビデオを見始めてSlackに参加するだけです
- 問題がある場合はFAQを確認してください
- FAQで問題の解決策が見つからない場合は、Slackでサポートを依頼してください
2022コホート
- 開始：2022年1月17日
- 登録リンク：https ：//airtable.com/shr6oVXeQvSI5HuWD
- リーダーボード
- 公開されているGoogleカレンダーを購読する（デスクトップからのみ機能します）
Slackで助けを求める
サポートを受けるための最良の方法は、DataTalks.ClubのSlackを使用することです。#course-data-engineering
チャンネルに参加してください。
Slackでのディスカッションをより整理するために：
- ヘルプを求めるときは、これらの推奨事項に従ってください
- DataTalks.Clubコミュニティガイドラインを読む
シラバス
1週目：はじめにと前提条件
- コースの概要
- GCPの概要
- Dockerとdocker-compose
- Dockerを使用してPostgresをローカルで実行する
- Terraformを使用したGCPでのインフラストラクチャのセットアップ
- コースの環境を準備する
- 宿題
2週目：データの取り込み
- データレイク
- ワークフローオーケストレーション
- Airflowをローカルに設定する
- Airflowを使用してGCPにデータを取り込む
- Airflowを使用してローカルのPostgresにデータを取り込む
- AWSからGCPへのデータの移動（転送サービス）
- 宿題
3週目：データウェアハウス
- データウェアハウス
- BigQuery
- パーティショニングとクラスタリング
- BigQueryのベストプラクティス
- BigQueryの内部
- BigQueryとAirflowの統合
- BigQuery機械学習
4週目：分析エンジニアリング
- 分析工学の基礎
- dbt（データビルドツール）
- BigQueryとdbt
- Postgresとdbt
- dbtモデル
- テストと文書化
- クラウドおよびローカルへの展開
- グーグルデータスタジオとメタベースでデータを視覚化する
5週目：バッチ処理
- バッチ処理
- Sparkとは
- Sparkデータフレーム
- Spark SQL
- 内部：GroupByと参加
6週目：ストリーミング
- カフカ入門
- スキーマ（avro）
- カフカストリーム
- KafkaConnectとKSQL
7、8、9週目：プロジェクト
学んだことすべてを実践に移す
- 7週目と8週目：自分のプロジェクトに取り組む
- 9週目：同僚のレビュー
概要
アーキテクチャ図
テクノロジー
-
Google Cloud Platform（GCP）：Googleによるクラウドベースの自動スケーリングプラットフォーム
- Google Cloud Storage（GCS）：データレイク
- BigQuery：データウェアハウス
- Terraform：Infrastructure-as-Code（IaC）
- Docker：コンテナ化
- SQL：データ分析と調査
- エアフロー：パイプラインオーケストレーション
- dbt：データ変換
- Spark：分散処理
- カフカ：ストリーミング
前提条件
このコースを最大限に活用するには、コーディングとコマンドラインに慣れ、SQLの基本を理解している必要があります。Pythonの経験があると役に立ちますが、他のプログラミング言語の経験がある場合は、Pythonを比較的早く選択できます。
データエンジニアリングの経験は必要ありません。
インストラクター
- Ankush Khanna（https://linkedin.com/in/ankushkhanna2）
- Sejal Vaidya（https://linkedin.com/in/vaidyasejal）
- Victoria Perez Mola（https://www.linkedin.com/in/victoriape rezmola/ ）
- アレクセイ・グリゴレフ（https://linkedin.com/in/agrigorev）
ツール
このコースでは、次のソフトウェアをコンピューターにインストールする必要があります。
- DockerとDocker-作成
- Python 3（例：Anaconda経由）
- Google Cloud SDK
- Terraform
これらのツールのインストールの詳細については、第1週を参照してください
よくある質問
- Q：登録しましたが、確認メールが届きません。正常ですか？ A：はい、正常です。自動化されていません。ただし、最終的にはメールが届きます
- Q：それは一日の何時に起こりますか？ A：営業時間は月曜日の17:00CETになります。しかし、すべてが記録されるので、都合の良いときにいつでも見ることができます
- Q：証明書はありますか？ A：はい、プロジェクトを完了した場合
- Q：参加できるかどうかは100％わかりません。それでもサインアップできますか？ A：はい、お願いします！すべてのアップデートを受け取り、自分のペースでコースを見ることができます。
- Q：MLエンジニアリングコースも実施する予定はありますか？ A：よろしくお願いします。私たちはします:)
- Q：行き詰まっています！技術的な質問があります！ A：Slackで質問してください！そして、学生のよくある質問をチェックしてください; 多くの一般的な問題はすでに解決されています。問題が解決した場合は、解決方法をドキュメントに追加してください。ありがとう！
私たちの友だち
コースについての情報を広めるのを手伝ってくれた他のコミュニティに大いに感謝します。
それらをチェックしてください-彼らはクールです！
