Job descriptionA área de engenharia de dados deve garantir que a organização tenha acesso a dados confiáveis e organizados, possibilitando a criação de insights e a tomada de decisões estratégicas e operacionais. Ser um agente de transformação, construindo uma plataforma escalável e resiliente, democratizando o acesso aos dados e impulsionando uma cultura orientada por dados.Missão da Vaga: Projetar, construir e manter pipelines robustos de dados, garantindo que as informações fluam de maneira eficiente e segura. Garantir a disponibilidade, qualidade e governança dos dados. Trabalhar em estreita colaboração com stakeholders e time visando promover melhores práticas na manipulação e análise de grandes volumes de dados, além da otimização de processos.Main responsibilitiesProjetar, construir e manter pipelines de dados robustos e escaláveis para ingestão, processamento e transformação de grandes volumes de dados.Desenvolver e otimizar modelos de dados para sistemas analíticos.Implementar e gerenciar soluções de armazenamento, incluindo data lakes e data warehouses, em ambientes em nuvem.Garantir a integridade, qualidade e governança dos dados, aplicando boas práticas de gerenciamento e segurança e FINOPS.Colaborar com equipes multidisciplinares para entender requisitos de negócio e oferecer soluções orientadas por dados.Monitorar e otimizar o desempenho de pipelines, bases de dados e soluções de integração.Liderar iniciativas de modernização de arquitetura de dados, utilizando tecnologias de ponta e frameworks modernos.Atuar como referência técnica e mentorar engenheiros de dados juniores e plenos.Requirements and skillsGraduação em Ciência da Computação, Engenharia de Software, Sistemas de Informação ou áreas relacionadas. Experiência com engenharia de dados ou funções similares.Experiência comprovada com plataformas de dados em nuvem (AWS, Azure ou Google Cloud).Histórico de liderança ou participação ativa em projetos complexos de integração e engenharia de dados.Competências necessárias: Cloud Computing; Experiência em GCP e seus serviços, BigQuery, Cloud Composer, Apache Airflow, Dataflow, Pub/Sub, Cloud Run, Cloud Function, KMS, Secret Manager, DataStream, Vertex AI e GitHub.Experiência em Azure e seus serviços, como Azure Data Factory, Azure Synapse Analytics e Azure Data Lake Storage; Banco de Dados: Conhecimento em modelagem de dados, bancos de dados relacionais (ex.: Oracle, SQL Server, PostgreSQL) e não relacionais (ex.: MongoDB, Cassandra).Linguagens de Programação: Proficiência em Python e Pyspark (usado para scripts e automação) e SQL (para manipulação e consulta de dados).Experiência na construção de pipelines de ETL/ELT para ingestão e transformação de dados.Data Lakes: Conhecimento de arquiteturas de Data Lake, armazenamento e otimização de dados (ex.: Delta Lake).DevOps: Experiência com pipelines de CI/CD e práticas de DataOps para automação de deploys e monitoramento de fluxos de dados.Segurança e Governança: Entendimento de práticas de segurança em nuvem, criptografia de dados e implementação de políticas de governança.Orquestração de Dados: Uso de ferramentas como Azure Data Factory e/ou Synapse e/ou Airflow/composer para integração e movimentação de dados.Desempenho e Otimização: Experiência em técnicas para melhorar a performance de pipelines de dados e consultas em ambientes distribuídos e não distribuídos.Conhecimento em extração de dados via APIs RESTful.Pensamento analítico e orientado a resultados.Excelente comunicação para traduzir necessidades técnicas e de negócio.Proatividade e senso de urgência para atender demandas críticas.Capacidade de trabalho em equipe e liderança colaborativa.Compromisso com a aprendizagem contínua e atualização tecnológica.
#J-18808-Ljbffr