O que você irá fazer?
* Desenvolver e implementar serviços de coleta, armazenamento, processamento e consumo de dados;
* Criar, manter e monitorar pipelines de dados, tais como processos de coleta, armazenamento, processamento e consumo de dados em grande escala;
* Realizar provisionamento de infra-estrutura relacionadas a dados (Terraform);
* Integrar, operar e gerenciar serviços de comunicação (batch e tempo real) de dados;
* Prover integrações de aplicações e serviços de dados entre sistemas.
O que buscamos?
* Proficiência em Python e SQL;
* Conhecimento em Spark (PySpark);
* Conhecimento comprovado com AWS;
* Conhecimento em ferramentas de big data como Apache Spark, Apache Kafka e Apache Airflow, e experiência em utilizá-las para construir pipelines de dados;
* Conhecimento nos principais serviços da AWS utilizados em engenharia de dados, como Amazon S3 para armazenamento de dados, AWS Glue para ETL, EMR, Amazon Redshift para data warehousing, e AWS Lambda para processamento de dados serverless;
* Experiência em bancos de dados relacionais e não relacionais, como MySQL, PostgreSQL, e/ou NoSQL (por exemplo, MongoDB), e capacidade de otimizar consultas e modelagem de dados;
* Compreensão dos conceitos de data lakes e data warehouses, e experiência em projetar e implementar soluções utilizando serviços da AWS, como Amazon S3 e Amazon Redshift;
* Conhecimento com arquitetura distribuída, conceitos de streaming de dados e utilização de ferramentas opensource;
* Conhecimento básico em práticas de segurança da AWS, como configuração de políticas de acesso e criptografia de dados, e conformidade com regulamentações de segurança;
* Habilidade para resolver problemas técnicos (troubleshooting) relacionados à infraestrutura e processamento de dados na AWS;
* Conhecimento com arquiteturas de batch e streaming;
* Familiaridade com sistemas de controle de versão, como Git, e boas práticas de clean code;
* Experiência com desenvolvimento de WebServices e integrações via API (Rest e Soap);
* Boas habilidades de comunicação para trabalhar em equipe e colaborar com outras áreas, como cientistas de dados, engenheiros de software e analistas de negócios.
O que oferecemos?
* Vale Alimentação/Vale Refeição
* Plano de saúde e odontológico
* Seguro de vida
* Vale Transporte
* Duo Gourmet,
* Wellhub
* ....e muito mais!
#J-18808-Ljbffr