loginCursos Big Data Hadoop and Spark Developer
Cursos de formação Big Data Hadoop and Spark Developer fornecidos pelo iLEARN
Produtos em destaque
Nesta montra, encontrará uma seleção de cursos de formação e exames no contexto Big Data Hadoop and Spark Developer .
Se não encontrar o curso ou exame que pretende, contacte-nos.
BIG DATA HADOOP AND SPARK DEVELOPER
O mundo está a tornar-se cada vez mais digital e a importância dos grandes volumes de dados e da análise de dados continuará a crescer nos próximos anos. Escolher uma carreira no domínio do big data e da análise de dados pode ser o que tem procurado para satisfazer as suas expectativas profissionais.
O curso de formação Big Data Hadoop ensina-lhe os conceitos da estrutura Hadoop, a sua formação num ambiente de cluster e prepara-o para a certificação CCA175 Big Data da Cloudera.
CERTIFICAÇÃO BIG DATA HADOOP AND SPARK DEVELOPER
Não há exame disponível, mas é necessário completar 85% do curso, um projeto e um teste de simulação, com uma pontuação mínima de 80%, para obter um certificado.
CURSO DE DESENVOLVEDOR BIG DATA HADOOP AND SPARK
Com este curso de Big Data Hadoop, aprenderá a estrutura de big data utilizando Hadoop e Spark, incluindo HDFS, YARN e MapReduce. O curso também abrangerá Pig, Hive e Impala para processar e analisar grandes conjuntos de dados armazenados no HDFS e usar Sqoop e Flume para ingestão de dados.
Será mostrado o processamento de dados em tempo real usando o Spark, incluindo programação funcional no Spark, implementação de aplicações Spark, compreensão do processamento paralelo no Spark e utilização de técnicas de otimização Spark RDD. Aprenderá também os vários algoritmos interactivos do Spark e utilizará o Spark SQL para criar, transformar e consultar formulários de dados.
Por fim, terá de executar projectos reais, baseados na indústria, utilizando o CloudLab nos domínios da banca, das telecomunicações, das redes sociais, dos seguros e do comércio eletrónico.
Aqui em baixo pode ler a ficha do curso com informações sobre Big Data Hadoop and Spark Developer.
Objectives
No final do curso, será capaz de compreender:
- Os diferentes componentes do ecossistema Hadoop, como Hadoop 2.7, Yarn, MapReduce, Pig, Hive, Impala, HBase, Sqoop, Flume e Apache Spark
- Sistema de ficheiros distribuídos Hadoop (HDFS) e arquitetura YARN
- MapReduce e suas caraterísticas e assimilação de conceitos avançados de MapReduce
- Diferentes tipos de formatos de ficheiros, esquema Avro, utilização do Avro com o Hive e evolução do Sqoop e do esquema
- Flume, arquitetura do Flume, fontes, sumidouros do Flume, canais e configurações do Flume
- HBase, a sua arquitetura e armazenamento de dados, e aprender a diferença entre HBase e RDBMS
- Conjuntos de dados de distribuição resiliente (RDD) em pormenor
- Os casos de utilização comuns do Spark e vários algoritmos interactivos
Também será capaz de
- Ingerir dados usando Sqoop e Flume
- Criar bases de dados e tabelas em Hive e Impala, compreender HBase e utilizar Hive e Impala para particionamento
- Obter um conhecimento prático do Pig e dos seus componentes
- Fazer programação funcional em Spark, e implementar e construir aplicações Spark
- Obter uma compreensão aprofundada do processamento paralelo no Spark e das técnicas de otimização Spark RDD
- Criar, transformar e consultar quadros de dados com o Spark SQL
Who it is aimed at
As oportunidades de carreira em Big Data estão a aumentar e o Hadoop está a tornar-se rapidamente uma tecnologia obrigatória na arquitetura de Big Data. O treinamento em Big Data é adequado para profissionais de TI, gerenciamento de dados e análise, incluindo:
- Programadores e arquitectos de software
- Profissionais de análise
- Profissionais sénior de TI
- Profissionais de testes e de mainframe
- Profissionais de gestão de dados
- Profissionais de Business Intelligence
- Gestores de projectos
- Aspirantes a cientistas de dados
- Licenciados que pretendem construir uma carreira na análise de grandes volumes de dados
Contents
O curso abrange os seguintes tópicos:
- Introdução ao curso
- Lição 1 - Introdução ao big data e ao ecossistema Hadoop
- Lição2 - HDFS e YARN
- Lição3 - MapReduce e Sqoop
- Lição 4 - Noções básicas de Hive e Impala
- Lição 5 - Trabalhando com Hive e Impala
- Lição 6 - Tipos de formatos de dados
- Lição 7 - Conceito avançado de Hive e particionamento de arquivos de dados
- Lição 8 - Apache Flume e HBase
- Lição9 - Pig
- Lição 10 - Noções básicas de Apache Spark
- Lição11 - RDDs no Spark
- Lição 12 - Implementação de aplicações Spark
- Lição 13 - Processamento paralelo do Spark
- Lição 14 - Técnicas de otimização de RDDs em Spark
- Lição 15 - Algoritmo Spark
- Lição 16 - Spark SQL
- CURSO GRATUITO - Apache Kafka
- CURSO GRATUITO - Core Java
Prerequisites
Não existem pré-requisitos para este curso. No entanto, é vantajoso ter alguns conhecimentos de Core Java e SQL. Oferecemos um curso online gratuito de ritmo próprio"Java essentials for Hadoop" se precisar de aperfeiçoar os seus conhecimentos de Core Java.
Duration
Duração do cursoonline:
- 1 ano de acesso à plataforma