Estamos em busca de um Engenheiro de Dados Sênior para integrar um time de MLOps.
Este profissional será responsável por projetar, construir e gerenciar pipelines de dados robustos e escaláveis que suportem a implantação e operação contínua de modelos de Machine Learning.
Apesar de atuar em um ambiente voltado para MLOps, o foco principal da função será o desenvolvimento e otimização de soluções de engenharia de dados, garantindo integridade, qualidade e eficiência no fluxo de dados que alimenta os sistemas de machine learning.
Responsabilidades : Projetar, implementar e gerenciar pipelines de dados escaláveis e de alto desempenho para suportar soluções de machine learning e inteligência artificial.
Garantir a qualidade, segurança e integridade dos dados ao longo das etapas de ingestão, processamento e armazenamento.
Trabalhar em colaboração com cientistas de dados, engenheiros de machine learning e especialistas em MLOps para garantir que as necessidades de dados sejam atendidas de forma eficiente.
Manter arquiteturas de dados modernas (data lakes, data warehouses, sistemas distribuídos, etc.)
que suportem grandes volumes de dados em tempo real ou batch.
Monitorar e otimizar o desempenho das pipelines de dados em produção, identificando gargalos e implementando melhorias constantes.
Automatizar processos de manipulação e entrega de dados por meio de ferramentas e práticas modernas de engenharia de dados.
Participar do desenho e implementação de estratégias de versionamento, documentação e governança dos dados.
Garantir a conformidade com boas práticas de segurança e privacidade de dados.
Requisitos: Experiência sólida e comprovada como Engenheiro de Dados, com forte entendimento de arquiteturas de dados modernas.
Habilidade avançada em linguagens como Python, Scala, Spark ou equivalente.
Experiência com ferramentas de processamento de dados como Apache Spark, Airflow, Databricks, entre outras.
Conhecimento em bancos de dados relacionais e não relacionais.
Experiência com arquiteturas de dados em nuvem (AWS) e ferramentas como S3, Redshift, etc.
Familiaridade com sistemas de versionamento de dados (ex.
: DVC, Delta Lake, etc.)
e práticas de governança.
Boas práticas em CI/CD voltado para pipelines de dados e integrações com fluxos de MLOps.
Mentalidade orientada a resolução de problemas e melhoria contínua.
Diferenciais: Experiência com frameworks e ferramentas específicas de MLOps, como MLflow, Kubeflow, ou similares.
Noções básicas de machine learning para entender as demandas específicas do time.
Certificações em Cloud Computing ou Engenharia de Dados.
Conhecimento em infraestrutura como código (Terraform, CloudFormation, etc.