Formação superior em Tecnologia: Engenharia da Computação, Análise de Sistemas, Ciência da Computação ou áreas afins.Experiência sólida com Spark, incluindo desenvolvimento e otimização de pipelines.Conhecimento em processamento de dados em filas com Delta Lake.Habilidades em Git e integração com pipelines de CI/CD.Conhecimento intermediário ou avançado em Java, aplicado a soluções de dados.Desejável:Experiência com Azure Databricks.Conhecimento de Unity Catalog para gestão e governança de dados.Experiência com outros formatos de dados, como Parquet e JSON.Familiaridade com integrações em filas (Event Hubs, Kafka).Conhecimento em otimização de pipelines Spark baseados em filas, incluindo:Uso de watermarks para controle de estado e latência em operações stateful.Estratégias de batching e auto-scaling para otimizar o processamento de dados em filas.Monitoramento e ajuste de performance em pipelines Spark de longa execução.Habilidades em SQL avançado.Conhecimento em governança de dados e implementação de políticas de acesso baseadas em colunas.Desenvolver e otimizar pipelines de dados em Azure Databricks com PySpark e Spark.Implementar soluções de streaming para leitura e escrita em Delta Lake.Processar e estruturar dados provenientes de arquivos XML, utilizando schemas XML.Garantir a governança e segurança dos dados utilizando Unity Catalog.Identificar e resolver gargalos de performance em fluxos de dados e tarefas do Spark.Colaborar com equipes multidisciplinares para integração de dados em ambiente de nuvem.Automatizar deploys e monitorar pipelines de dados.Aplicar conhecimentos de Java para desenvolver ou complementar soluções necessárias no pipeline de dados.