PERFIL: ENGENHEIRO DE DADOS
CONTRATAÇÃO CLT
ATUAÇÃO REMOTA
Responsabilidades e atribuições
O que esperamos que você realize:
* Construir pipelines de dados, desde a extração nas diversas fontes de dados disponíveis (Arquivos de Plataforma Baixa (JSON, TXT, CSV, XLSX, XML, etc), Bancos de Dados (SQL Server, Oracle, DB2), Streaming, Tópicos Kafka, API, Sites Externos, etc) até a ingestão e estruturação dos dados no Data Lake Corporativo;
* Catalogação de Dados e aplicação de controles de qualidade de dados. Deve ser especialista no ambiente Azure e Databricks;
* Execução de Teste Unitário dos Pipelines;
* Criação dos planos de implantação para implantação em ambiente de produção Acompanhamento da Implantação;
* Validação do pipeline pós-implantação;
* Acompanhamento da estabilização do pipeline em Produção Sustentação pós-implantação (Durante período de garantia – 90 dias) Registro de Atividades nas Ferramentas oficiais do Banco (Jira)
Requisitos e qualificações
O que precisamos que você tenha de conhecimento:
Requisitos essenciais:
* Sólida vivência com Azure Databrick, ETL, Azure Datafactory, Apache Spark, Python e SQL.
* Imprescindível conhecimento em git e versionamento de código
Cadastre-se em nosso link: https://stefanini.gupy.io/jobs/7738287