Resumos da Empresa
* Lumini IT Solutions é uma empresa que busca inovar e melhorar processos.
Visão da Posição
Estamos procurando um profissional para construir pipelines de dados escaláveis no ambiente Azure, garantindo a ingestão, processamento e disponibilidade dos dados.
O engenheiro será responsável pela integração de APIs externas e bases de dados existentes, além da implementação de arquiteturas escaláveis para análise e tomada de decisão.
A equipe trabalha em estreita colaboração com cientistas de dados e analistas funcionais para atender às necessidades do negócio.
Requisitos
* Experiência sólida como Engenheiro de Dados, com foco em construção de pipelines escaláveis;
* Conhecimento avançado em Azure Data Services, incluindo Data Factory, Synapse, Databricks, Azure SQL, Blob Storage e Monitoramento;
* Experiência em integração de dados via APIs REST/SOAP e consumo de dados em tempo real;
* Conhecimento em bancos de dados relacionais (SQL Server, PostgreSQL) e não relacionais (CosmosDB, MongoDB);
* Habilidade com Python, Spark, SQL e PowerShell para manipulação e processamento de dados;
* Experiência com DataOps, versionamento de código (Git) e CI/CD para pipelines de dados;
* Conhecimento em modelagem de dados, otimização de consultas e tuning de banco de dados;
* Noções de segurança e compliance em dados, incluindo LGPD e melhores práticas de armazenamento e compartilhamento;
* Capacidade de documentação e comunicação clara para interação com equipes técnicas e de negócio.
Diferenciais
* Experiência com event-driven architectures usando Azure Event Hub ou Kafka;
* Conhecimento em machine learning pipelines e MLOps no Azure;
* Certificações Microsoft (DP-203 Azure Data Engineer Associate ou afins).
Responsabilidades
* Projetar e desenvolver pipelines de ingestão de dados de fontes externas (APIs, bancos relacionais e não relacionais, arquivos, sensores de telemetria, etc.);
* Integrar e consolidar dados de diferentes fontes no ambiente Azure, garantindo qualidade e consistência;
* Implementar arquitetura de referência para processamento e armazenamento de dados;
* Criar e gerenciar data lakes, data warehouses e data marts dentro do ecossistema Azure;
* Desenvolver e otimizar processos de ETL/ELT utilizando ferramentas da Microsoft como Azure Data Factory, Databricks, Synapse Analytics e Azure Functions;
* Garantir a governança, segurança e escalabilidade dos pipelines de dados;
* Monitorar e otimizar a performance das cargas de dados, identificando gargalos e propondo melhorias;
* Trabalhar em estreita colaboração com cientistas de dados e analistas funcionais para atender às necessidades do negócio.