Descrição:
Desenvolvimento e Manutenção de Pipelines de Machine Learning
Projetar, construir e manter pipelines de ML eficientes e escaláveis, utilizando práticas de MLOps para automatizar e otimizar o ciclo de vida de modelos de machine learning.
Implementar e manter pipelines de integração contínua e entrega contínua (CI/CD) para aplicações de machine learning usando Jenkins, com scripts Groovy para automação.
Gerenciar a orquestração de containers com Kubernetes, assegurando a configuração, gerenciamento e otimização adequados dos recursos.
Desenvolvimento de Software
Desenvolver e manter API's REST, scripts de ETL, e realizar manipulação e análise de dados utilizando Python, Pandas, e outras bibliotecas relevantes.
Escrever testes unitários e de integração, aplicando princípios SOLID para garantir código limpo, legível e manutenível.
Realizar troubleshooting e otimização de performance para as aplicações desenvolvidas.
Processamento e Análise de Dados
Utilizar Apache Spark para processamento eficiente de grandes volumes de dados, empregando técnicas de programação distribuída.
Executar consultas e manipulações complexas de dados em bancos de dados relacionais usando SQL, entendendo profundamente as operações de banco de dados.
Integração de Sistemas
Projetar e implementar filas de mensagem para facilitar a comunicação eficiente entre diferentes componentes e serviços, garantindo robustez e escalabilidade.
Administrar e otimizar ambientes de desenvolvimento e servidores baseados em Linux.
Gestão de Infraestrutura de Cloud
Gerenciar e otimizar recursos na nuvem, com foco em Azure e Google Cloud Platform, para suportar aplicações e pipelines de ML.
Monitoramento e Análise
Configurar e utilizar Prometheus e Grafana para monitorar e analisar o desempenho das aplicações e infraestrutura, facilitando a identificação de pontos de melhoria.
Experimentação e Gerenciamento de Modelos
Utilizar MLflow e Flyte para rastrear experimentos, gerenciar modelos de ML e automatizar fluxos de trabalho, contribuindo para a melhoria contínua dos modelos e processos.
Requisitos:
MLOps: Experiência comprovada em MLOps, incluindo o desenvolvimento, a implementação e a manutenção de pipelines de ML com boas práticas de CI/CD.
Jenkins: Sólida experiência na criação, otimização e manutenção de pipelines avançados de CI/CD em Jenkins, com habilidade em escrever scripts Groovy.
Docker e Kubernetes: Experiência prática com a orquestração de containers usando Kubernetes, incluindo configuração, gerenciamento e otimização.
Python: Experiência com programação em Python, com habilidade para desenvolver API's REST, scripts de ETL, manipulação e análise de dados com Pandas, testes unitários e integrações com demais sistemas seguindo princípios SOLID.
Deve ser capaz de fazer troubleshootings relacionados a performance.
Hadoop Apache Spark: Conhecimento e experiência com Apache Spark, incluindo a capacidade de processar grandes conjuntos de dados de forma eficiente e habilidades em programação distribuída.
SQL: Habilidade em utilizar SQL para consultar e manipular bancos de dados, com compreensão profunda das operações de banco de dados relacionais.
Filas de Mensagem: Experiência com o design, implementação e manutenção de filas de mensagem para garantir a comunicação robusta e eficiente entre diferentes componentes e serviços.
Linux: Experiência com sistemas operacionais baseados em Linux, incluindo administração, configuração e otimização de ambientes de servidor e desenvolvimento.
Cloud (Azure e GCP): Conhecimento e experiência prática com serviços de cloud, com foco em Azure e Google Cloud Platform.
MLflow, Flyte, Tensorflow e Pytorch: Experiência com MLflow e Flyte é desejável, com conhecimento em rastreamento de experimentos, gerenciamento de modelos e fluxos de trabalho de ML.
Prometheus e Grafana: Familiaridade com o monitoramento e análise usando Prometheus e Grafana.
Diferenciais:
Inglês;
Espanhol.
A Kumulus oferece:
Regime CLT;
Vale alimentação e refeição (Cartão Flex);
Vale combustível (caso seja necessário);
Gympass;
Assistência médica;
Seguro de vida;
Day off no mês do aniversário;
Auxílio-creche;
Reembolso por certificações;
Convênio odontológico;
#J-18808-Ljbffr