79009
Big Data Hadoop and Spark Developer 1年試験なし

コース終了時には、以下のことが理解できるようになります：

• Hadoop 2.7、Yarn、MapReduce、Pig、Hive、Impala、HBase、Sqoop、Flume、Apache SparkなどのHadoopエコシステムのさまざまなコンポーネント
• Hadoop分散ファイルシステム（HDFS）とYARNアーキテクチャ
• MapReduceとその特徴、高度なMapReduceコンセプトの習得
• さまざまな種類のファイルフォーマット、Avroスキーマ、HiveでのAvroの使用、Sqoopとスキーマの進化
• Flume、Flumeアーキテクチャ、ソース、Flumeシンク、チャネル、Flume構成
• HBase、そのアーキテクチャとデータストレージ、HBaseとRDBMSの違いを学ぶ
• レジリエント分散データセット（RDD）の詳細
• Sparkの一般的な使用例と様々な対話型アルゴリズム

また、以下のこともできるようになります：

• SqoopとFlumeを使ったデータの取り込み
• HiveとImpalaでデータベースとテーブルを作成し、HBaseを理解し、パーティショニングのためにHiveとImpalaを使用する。
• Pigとそのコンポーネントに関する知識を得る
• Sparkで関数型プログラミングを行い、Sparkアプリケーションを実装、構築する。
• Sparkの並列処理とSpark RDDの最適化技術を深く理解する。
• Spark SQLによるデータフレームの作成、変換、クエリ

ビッグデータキャリアのチャンスは増加の一途をたどっており、Hadoopは急速にビッグデータアーキテクチャにおける必須のテクノロジーとなりつつあります。ビッグデータのトレーニングは、以下のようなIT、データ管理、分析の専門家に適しています：

• ソフトウェア開発者およびアーキテクト
• アナリティクスの専門家
• シニアITプロフェッショナル
• テストおよびメインフレームの専門家
• データ管理の専門家
• ビジネスインテリジェンスの専門家
• プロジェクトマネージャー
• データサイエンティスト志望者
• ビッグデータ分析の分野でキャリアを積みたい新卒者

このコースでは以下のトピックを扱います：

• コース紹介
• レッスン1- ビッグデータとHadoopエコシステムの紹介
• レッスン2HDFSとYARN
• レッスン3- MapReduceとSqoop
• レッスン4HiveとImpalaの基本
• 第5課HiveとImpalaの操作
• 第6課 データフォーマットの種類
• Lesson 7- Hiveの高度な概念とデータファイルのパーティショニング
• レッスン8Apache FlumeとHBase
• レッスン9Pig
• レッスン10Apache Sparkの基本
• Lesson 11- SparkにおけるRDD
• 第12課 Sparkアプリケーションの実装
• レッスン13Sparkの並列処理
• Lesson 14・SparkのRDD最適化テクニック
• 第15課Sparkアルゴリズム
• レッスン16Spark SQL
• 無料コース ・Apache Kafka
• 無料コース - コアJava

このコースに前提条件はありません。ただし、Core Javaと SQLの知識があると便利です。また、Core Javaスキルのブラッシュアップが必要な方には、無料のオンラインコース「Java essentials for Hadoop」をご用意しています。