Quem somos nósSomos a Fiabilité e desde 2016 atuamos no mercado de tecnologia de dados aplicando nossa expertise em negócios presentes em 10 estados brasileiros. O nosso portfólio de serviços oferece aos nossos clientes soluções efetivas para tomada de decisões estratégicas, maior controle e rentabilização dos meios de pagamentos e redução dos riscos das operações. Vamos juntos explorar um universo de soluções para ir além! Estamos esperando por você! Responsabilidades e Atribuições:Será responsável pelo desenvolvimento, otimização e manutenção de pipelines de dados em larga escala, utilizando a plataforma Databricks, garantindo a eficiência e qualidade dos processos de tratamento de dados.Projetar, desenvolver e manter pipelines de ETL/ELT utilizando Databricks, PySpark e Delta Lake. Trabalhar em colaboração com cientistas de dados, analistas de negócios e engenheiros de software para fornecer soluções de dados escaláveis.Integrar diferentes fontes de dados e implementar estratégias de ingestão e processamento de dados em tempo real e em batch. Garantir a qualidade dos dados e a automação de processos de monitoramento e validação de dados. Otimizar pipelines de dados para melhorar desempenho, escalabilidade e custo. Implementar práticas de segurança e governança de dados, garantindo conformidade com políticas internas e regulamentações. Documentar soluções e arquiteturas implementadas para uso e referência futura. Utilizar o Databricks Workspace para modelagem e orquestração de processos.Para Este Desafio, é Necessário:- Experiência sólida com Databricks e desenvolvimento de pipelines com PySpark. - Proficiência em SQL para manipulação de grandes volumes de dados.- Experiência com arquiteturas de dados distribuídas (Data Lakes, Delta Lake). Conhecimentos sólidos em Spark para processamento em larga escala. - Experiência com linguagens de programação como Python.- Experiência com ferramentas de automação de pipeline de dados (CI/CD). Habilidade em otimizar processamento de dados para desempenho e custo. - Familiaridade com arquitetura de nuvem (AWS) / Databricks na AWS. - Experiência com ferramentas de versionamento de código (Git). Conhecimento em ferramentas de orquestração de dados como Apache Airflow ou Databricks Jobs.Diferenciais:Experiência com arquiteturas de Lakehouse. Certificação em Databricks ou Big Data. Experiência com MLflow e integração de dados para machine learning. Conhecimento em Power BI ou outras ferramentas de visualização de dados. Habilidade para liderar e treinar outros membros da equipe no uso de Databricks. Experiência com APIs e integração de dados de fontes externas. Informações Importantes: - Modelo de trabalho Remoto- Modelo de Contrato PJ