Sobre a Vaga
O candidato contratado será responsável por trabalhar com o ecossistema Hadoop, incluindo HDFS, MapReduce, Hive, HBase, Pig e YARN. A vaga também envolve experiência com ingestão e processamento de dados, linguagens de programação (Java ou Scala e Python), armazenamento e manipulação de dados, gerenciamento e monitoramento de clusters. A capacidade de trabalhar em equipes multidisciplinares, comunicar-se efetivamente e resolver problemas complexos é essencial.
Requisitos:
Conhecimento e experiência com o ecossistema Hadoop: HDFS, MapReduce, Hive, HBase, Pig, YARN.
Experiência com ingestão e processamento de dados utilizando técnicas e ferramentas como Sqoop, Flume, Kafka.
Capacidade de realizar ETL em ambientes distribuídos.
Linguagens de Programação: Java ou Scala.
Conhecimento sobre parquet, ORC, Avro como formatos de armazenamento eficientes no ecossistema Hadoop.
Experiência com Impala ou Presto para consultas SQL de alta performance em dados armazenados no Hadoop.
Experiência no uso de ferramentas de gerenciamento e monitoramento de clusters, como Ambari, Cloudera Manager.
Experiência como engenheiro de dados, com envolvimento direto em projetos que utilizem Hadoop e tecnologias relacionadas.
Habilidade para trabalhar em equipes multidisciplinares e comunicar-se eficazmente.
Capacidade de documentar soluções técnicas e processos de maneira clara e objetiva.
Habilidade para solucionar problemas complexos relacionados a grandes volumes de dados e otimizar pipelines de dados.
Desejáveis:
Experiência com Apache Spark.
Conhecimento de Python para automação e processamento de dados.
Capacidade de diagnosticar e resolver problemas de desempenho e falhas nos clusters.#J-18808-Ljbffr