코스 Big Data Hadoop and Spark Developer
ILEARN에서 제공하는 Big Data Hadoop and Spark Developer 교육 과정
Big Data Hadoop and Spark Developer 과정의 이용 가능 여부 및 가격
주요 제품
이 쇼케이스에서는 Big Data Hadoop 및 Spark Developer 관련 교육 과정과 시험을 선별하여 소개합니다.
원하는 교육 과정이나 시험이 보이지 않는다면 문의해 주세요.
Big Data Hadoop and Spark Developer
세계는 점점 더 디지털화되고 있으며 빅데이터와 데이터 분석의 중요성은 앞으로도 계속 커질 것입니다. 빅 데이터 및 분석 분야에서 경력을 쌓는 것은 여러분의 커리어에 대한 기대치를 충족시키기 위해 찾고 있던 것일 수 있습니다.
빅 데이터 하둡 교육 과정에서는 하둡 프레임워크의 개념과 클러스터 환경에서의 하둡 구성에 대해 배우고, Cloudera의 CCA175 빅 데이터 자격증 취득을 준비할 수 있습니다.
Big Data Hadoop and Spark Developer 인증
시험은 없지만, 과정의 85%, 프로젝트 1개, 시뮬레이션 테스트 1개를 완료하고 최소 80%의 점수를 받아야 자격증을 취득할 수 있습니다.
Big Data Hadoop and Spark Developer 과정
이 빅데이터 하둡 과정에서는 HDFS, YARN, 맵리듀스 등 하둡과 스파크를 사용하는 빅데이터 프레임워크를 학습합니다. 또한 이 과정에서는 HDFS에 저장된 대규모 데이터 세트를 처리 및 분석하고 데이터 수집을 위해 Sqoop 및 Flume을 사용하는 Pig, Hive 및 Impala를 다룹니다.
Spark의 함수형 프로그래밍, Spark 애플리케이션 구현, Spark의 병렬 처리 이해, Spark RDD 최적화 기술 사용 등 Spark를 사용한 실시간 데이터 처리를 보여드립니다. 또한 Spark의 다양한 대화형 알고리즘을 배우고 데이터 양식을 생성, 변환 및 쿼리하는 데 Spark SQL을 사용합니다.
마지막으로 은행, 통신, 소셜 미디어, 보험, 전자상거래 분야에서 CloudLab을 사용하여 실제 산업 기반 프로젝트를 실행하게 됩니다.
아래에서 Big Data Hadoop and Spark Developer에 대한 정보가 담긴 코스 시트를 읽을 수 있습니다.
Objectives
이 과정이 끝나면 여러분은 이해할 수 있을 것입니다:
- Hadoop 2.7, Yarn, MapReduce, Pig, Hive, Impala, HBase, Sqoop, Flume 및 Apache Spark와 같은 Hadoop 에코시스템의 다양한 구성 요소
- Hadoop 분산 파일 시스템(HDFS) 및 YARN 아키텍처
- 맵리듀스와 그 특성 및 고급 맵리듀스 개념 이해
- 다양한 유형의 파일 형식, Avro 스키마, Hive와 함께 Avro 사용, Sqoop 및 스키마 진화
- 플룸, 플룸 아키텍처, 소스, 플룸 싱크, 채널 및 플룸 구성
- HBase, 그 아키텍처 및 데이터 저장소, HBase와 RDBMS의 차이점 알아보기
- 복원력 있는 배포 데이터 세트(RDD) 자세히 알아보기
- Spark와 다양한 대화형 알고리즘의 일반적인 사용 사례
또한 다음을 수행할 수 있습니다:
- Sqoop 및 Flume을 사용하여 데이터 수집하기
- Hive 및 Impala에서 데이터베이스 및 테이블 생성, HBase 이해, 파티셔닝을 위해 Hive 및 Impala 사용
- Pig와 그 구성 요소에 대한 실무 지식 습득
- Spark에서 함수형 프로그래밍 수행 및 Spark 애플리케이션 구현 및 구축
- Spark 의 병렬 처리 및 Spark RDD 최적화 기술에 대한 심층적 인 이해 얻기
- Spark SQL을 사용하여 데이터 프레임 생성, 변환 및 쿼리하기
Who it is aimed at
빅데이터 커리어 기회가 증가하고 있으며, Hadoop은 빅데이터 아키텍처에서 반드시 알아야 할 기술로 빠르게 자리 잡고 있습니다. 빅 데이터 교육은 다음과 같은 IT, 데이터 관리 및 분석 전문가에게 적합합니다:
- 소프트웨어 개발자 및 아키텍트
- 분석 전문가
- 선임 IT 전문가
- 테스트 및 메인프레임 전문가
- 데이터 관리 전문가
- 비즈니스 인텔리전스 전문가
- 프로젝트 관리자
- 데이터 과학자 지망생
- 빅 데이터 분석 분야에서 경력을 쌓고자 하는 졸업생
Contents
이 과정에서는 다음 주제를 다룹니다:
- 과정 소개
- 레슨 1 - 빅데이터 및 Hadoop 에코시스템 소개
- 레슨 2 - HDFS 및 YARN
- 레슨3 - MapReduce 및 Sqoop
- 레슨 4 - Hive 및 Impala의 기초
- 레슨5 - Hive 및 Impala로 작업하기
- 레슨 6 - 데이터 형식의 종류
- 레슨 7 - 고급 Hive 개념 및 데이터 파일 파티셔닝
- 레슨 8 - Apache Flume과 HBase
- 레슨 9 - Pig
- 레슨 10 - 아파치 스파크의 기초
- 레슨 11 - Spark의 RDD
- 레슨 12 - Spark 애플리케이션 구현하기
- 레슨 13 - Spark 병렬 처리
- 레슨 14 - Spark RDD 최적화 기술
- 레슨 15 - Spark 알고리즘
- 레슨 16 - Spark SQL
- 무료 코스 - 아파치 카프카
- 무료 코스 - 핵심 Java
Prerequisites
이 과정을 수강하기 위한 전제 조건은 없습니다. 하지만 Core Java 및 SQL에 대한 지식이 어느 정도 있으면 도움이 됩니다. 핵심 Java 기술을 연마해야 하는 경우 무료 자기 주도형 온라인 과정인"Hadoop을 위한 Java 필수 요소"를 제공합니다.
Duration
온라인 과정 기간:
- 1년 플랫폼 액세스