login
79009
Big Data Hadoop and Spark Developer 1 ano sem exame
Big Data Hadoop and Spark Developer 1 ano sem exame curso online em inglêsprovided by iLEARN - Innovative Learning
314,10 EUR up to 18/04/2025
Com este curso de Big Data Hadoop, você aprenderá a estrutura de big data usando Hadoop e Spark, incluindo HDFS, YARN e MapReduce. O curso também abrangerá Pig, Hive e Impala para processar e analisar grandes conjuntos de dados armazenados no HDFS e usar Sqoop e Flume para ingestão de dados.
Será mostrado o processamento de dados em tempo real usando o Spark, incluindo programação funcional no Spark, implementação de aplicações Spark, compreensão do processamento paralelo no Spark e utilização de técnicas de otimização Spark RDD. Aprenderá também os vários algoritmos interactivos no Spark e utilizará o Spark SQL para criar, transformar e consultar formulários de dados.
Por fim, terá de executar projectos reais, baseados na indústria, utilizando o CloudLab nos domínios da banca, das telecomunicações, das redes sociais, dos seguros e do comércio eletrónico.
O curso Big Data Hadoop and Spark Developer é fornecido pelo ILX Group.
Detalhes do curso online Big Data Hadoop and Spark Developer
- 12 meses de acesso online ao curso de e-learning*
- Este curso deve levar aproximadamente 15 horas para ser concluído
- 16 aulas
- Curso gratuito incluído - Apache Kafka
- Curso gratuito incluído - Core Java
- 5 projectos reais da indústria
- Dois exames simulados oficiais
*Todos os recursos disponíveis para o curso estão no menu Recursos dentro do curso. Não é fornecida uma cópia descarregável do conteúdo do eLearning. O PDF do Guia do Utilizador contém uma transcrição da narração do curso.
FORMATO E CARACTERÍSTICAS DO CURSO ONLINE
- Não existe um exame disponível, mas é necessário completar 85% do curso e realizar um teste de simulação, com uma classificação mínima de 60%, para obter um certificado.
Typology
Curso online sem exameLocalização
OnlineIndividual price
Access duration of the course
1 anoIdioma
InglêsObjectives
No final do curso, será capaz de compreender:
- Os diferentes componentes do ecossistema Hadoop, como Hadoop 2.7, Yarn, MapReduce, Pig, Hive, Impala, HBase, Sqoop, Flume e Apache Spark
- Sistema de ficheiros distribuídos Hadoop (HDFS) e arquitetura YARN
- MapReduce e suas caraterísticas e assimilação de conceitos avançados de MapReduce
- Diferentes tipos de formatos de ficheiros, esquema Avro, utilização do Avro com o Hive e evolução do Sqoop e do esquema
- Flume, arquitetura do Flume, fontes, sumidouros do Flume, canais e configurações do Flume
- HBase, a sua arquitetura e armazenamento de dados, e aprender a diferença entre HBase e RDBMS
- Conjuntos de dados de distribuição resiliente (RDD) em pormenor
- Os casos de utilização comuns do Spark e vários algoritmos interactivos
Também será capaz de
- Ingerir dados usando Sqoop e Flume
- Criar bases de dados e tabelas em Hive e Impala, compreender HBase e utilizar Hive e Impala para particionamento
- Obter um conhecimento prático do Pig e dos seus componentes
- Fazer programação funcional em Spark, e implementar e construir aplicações Spark
- Obter uma compreensão aprofundada do processamento paralelo no Spark e das técnicas de otimização Spark RDD
- Criar, transformar e consultar quadros de dados com o Spark SQL
Who it is aimed at
As oportunidades de carreira em Big Data estão a aumentar e o Hadoop está a tornar-se rapidamente uma tecnologia obrigatória na arquitetura de Big Data. O treinamento em Big Data é adequado para profissionais de TI, gerenciamento de dados e análise, incluindo:
- Programadores e arquitectos de software
- Profissionais de análise
- Profissionais sénior de TI
- Profissionais de testes e de mainframe
- Profissionais de gestão de dados
- Profissionais de Business Intelligence
- Gestores de projectos
- Aspirantes a cientistas de dados
- Licenciados que pretendem construir uma carreira na análise de grandes volumes de dados
Contents
O curso abrange os seguintes tópicos:
- Introdução ao curso
- Lição 1 - Introdução ao big data e ao ecossistema Hadoop
- Lição2 - HDFS e YARN
- Lição3 - MapReduce e Sqoop
- Lição 4 - Noções básicas de Hive e Impala
- Lição5 - Trabalhando com Hive e Impala
- Lição 6 - Tipos de formatos de dados
- Lição 7 - Conceito avançado de Hive e particionamento de arquivos de dados
- Lição 8 - Apache Flume e HBase
- Lição9 - Pig
- Lição 10 - Noções básicas de Apache Spark
- Lição11 - RDDs no Spark
- Lição 12 - Implementação de aplicações Spark
- Lição 13 - Processamento paralelo do Spark
- Lição 14 - Técnicas de otimização de RDDs em Spark
- Lição 15 - Algoritmo Spark
- Lição 16 - Spark SQL
- CURSO GRATUITO - Apache Kafka
- CURSO GRATUITO - Core Java
Prerequisites
Não existem pré-requisitos para este curso. No entanto, é vantajoso ter alguns conhecimentos de Core Java e SQL. Oferecemos um curso online gratuito de ritmo próprio"Java essentials for Hadoop" se precisar de aperfeiçoar os seus conhecimentos de Core Java.