Atribuições Construir pipelines para coletar e processar dados de várias fontes:
do ponto de ingestão à disponibilização da informação (streaming ou batch).
Configurar pipelines de dados em infraestruturas de nuvem híbrida, utilizando provedores como AWS, Empresa importante Azure e GCP.
Criar serviço de ingestão de dados para lidar com milhões de eventos mensalmente.
Traduzir desafios complexos de negócio em soluções de aprendizado de máquina específicas e bem desenhadas que atinjam os requisitos de negócio.
Desenhar e implementar experimentos de aprendizado de máquina.
Fornecer orientação técnica para membros menos experientes da equipe.
Fazer parceria com outras equipes de engenharia e negócios para integrar os algoritmos aos sistemas em produção.
Apoiar na comunicação das descobertas e apresentação de resultados para um público não técnico.
Apoiar na definição arquitetural considerando ambientes de desenvolvimento, homologação e produção.
Apoiar a estruturação, definição e monitoramento de métricas e indicadores.Apoiar a identificação e realização constante de melhorias - corretivas ou evolutivas - para aperfeiçoar a confiabilidade, integridade, disponibilidade, eficácia, eficiência e qualidade de dados, ferramentas, processos e procedimentos.
Apoiar a modelagem, estruturação, definição, documentação e automatização de dados.
Conhecimentos Técnicos (Obrigatórios) Experiência na configuração, criação e manutenção de pipelines para ingestão e processamento de dados em batch e streaming.
Experiência em Python e suas respectivas bibliotecas para ciência/análise de dados.
Experiência em frameworks de aprendizado de máquina.
Experiência em Banco de dados SQL e noSQL.
Experiência com testes de unidade.
Conhecimentos em Processamento de Linguagem Natural.
Conhecimentos em Apache Spark.
Conhecimentos em processamento de dados em lote e streaming.
Conhecimentos em práticas ágeis.
Conhecimentos em arquitetura de microsserviços.
Conhecimentos Técnicos (desejáveis) Conhecimentos em práticas DevOps e DataOps.
Conhecimentos em Kubernetes.
Conhecimentos em serviços gerenciados em nuvem pública.
Conhecimentos em soluções de Data Lakehouse.