Description
通常、データ パイプラインは、「抽出、読み込み」、「抽出、読み込み、変換」、「抽出、変換、読み込み」のいずれかの枠組みに分類できます。このコースでは、バッチデータではどの枠組みを、どのような場合に使用するのかについて説明します。本コースではさらに、BigQuery、Dataproc 上での Spark の実行、Cloud Data Fusion のパイプラインのグラフ、Dataflow でのサーバーレスのデータ処理など、データ変換用の複数の Google Cloud テクノロジーについて説明します。受講者には、Qwiklabs を使用して Google Cloud でデータ パイプラインのコンポーネントを構築する実践演習を行っていただきます。
What you will learn
はじめに
このモジュールでは、コースおよびアジェンダについて紹介します
バッチデータ パイプラインの構築の概要
このモジュールでは、データ読み込みに関するさまざまな方法を確認します。EL、ELT、ETL について、また何をどのタイミングで使用するか
Dataproc での Spark の実行
このモジュールでは、Dataproc での Hadoop の実行、Cloud Storage の活用、Dataproc ジョブの最適化の方法を示します。
Dataflow を使用したサーバーレスのデータ処理
このモジュールでは、Dataflow を使用してデータ処理パイプラインを構築する方法について説明します。
