Responsabilidades:
* Assegurar a qualidade e a integridade dos dados em todas as etapas dos processos de dados.
* Realizar testes e validações para identificar e corrigir inconsistências, garantindo que os dados estejam corretos e prontos para uso.
* Monitorar a integridade dos dados de forma contínua, implementando alertas e relatórios de qualidade.
* Colaborar com as equipes de engenharia e análise para implementar práticas de governança de dados e automação de validação de qualidade.
Requisitos Técnicos:
* Conhecimento avançado em SQL para consultas e validação de dados.
* Experiência com ferramentas de teste de dados e conhecimento em governança de dados.
* Familiaridade com AWS, incluindo AWS Glue Data Catalog e AWS Lake Formation.
* Experiência em Python para automação de processos e scripts de validação de dados.
Habilidades Comportamentais:
* Atenção minuciosa aos detalhes para garantir precisão e qualidade dos dados.
* Organização para gerenciar múltiplas tarefas e processos de validação.
* Proatividade para identificar e propor melhorias nos processos de qualidade de dados.
Experiência Desejável:
* Experiência em empresas dos setores financeiro ou de crédito, com conhecimento das particularidades e regulamentações de dados nesses setores.
Principais Tecnologias e Ferramentas:
* AWS Glue Data Catalog e AWS Lake Formation: Para catalogação e gerenciamento de dados.
* Amazon CloudWatch e AWS CloudTrail: Monitoramento e rastreamento de atividades nos ambientes de dados.
* Apache Spark e PySpark: Para processamento de dados em larga escala.
* Great Expectations e Deequ: Ferramentas para validação e teste de dados.
* Selenium ou Robot Framework: Para automação de testes.
Este profissional desempenhará um papel fundamental na garantia da qualidade dos dados e na implementação de processos robustos de validação, contribuindo para a confiabilidade e a eficiência das operações de dados na empresa.