Engenheiro de Dados Sênior

Descrição da empresa

Baseada na visão de valor compartilhado e com foco total no capital humano, a Share RH procura estabelecer relações de longo prazo com seus clientes através do seu engajamento, empatia e expertise de mercado.

Além de atuar na área de recrutamento e seleção para middle e top management, a Share RH oferece assessments profissionais, aconselhamento de carreira e desenvolvimento de jovens de alto potencial.

Com escritórios em São Paulo, capital e interior, a Share RH está preparada para atender clientes nacionais e multinacionais para projetos em todo o território nacional.

Atividades e Responsabilidades

Criação, versionamento e manutenção de workflows para consumo, carregamento e processamento de dados
Criação de scripts de ETL de dados
Deploy de modelos preditivos e criação de estrutura para acompanhamento de métricas e testes A/B de modelos
Criação e manutenção de base de dados para análises e relatórios
Coletar, limpar, combinar e tratar dados de diferentes fontes
Criar e implementar processos automatizados de Data Quality
Integração com ferramentas de governança e gerenciamento de dados
Contribuir na definição da arquitetura de dados da organização
Apoiar na criação e manutenção em ambiente de big data utilizando práticas devops e dataops
Disseminação de boas práticas para o time de engenharia
Realizar reviews de código para garantir a qualidade de código e dos dados
Realizar estimativas e análises técnicas de estórias

Requisitos

Formação em Ciências da Computação, Engenharia da Computação, Sistemas de Informação, Análise e Desenvolvimento de Sistemas ou áreas correlatas;
Conhecimento avançado em Python, Scala ou Java
Conhecimentos básicos em Linux
Conhecimentos básicos em AWS ou Azure
Conhecimento avançado em SQL
Conhecimento em banco de dados relacionais e não relacionais
Experiência com processamento de dados (Streaming e batch)
Experiência com CDC - Change Data Capture
Raciocínio lógico e pensamento analítico
Experiência ferramentas como Hadoop, Spark, Hive, Kafka, Airflow, Databricks
Noções de kubernetes e docker
Bons conhecimentos em arquitetura de big data
Conhecimentos em construção de API
Conhecimentos em Git
Conhecimentos em web scrap
Domínio dos principais design patterns para engenharia de dados.

DIFERENCIAIS:

Conhecimentos em estatística/matemática
Experiência com microsserviços
Conhecimento de Arquitetura Lambda, Kappa e orientada a eventos
Experiência com MLFlow
Vivência no mercado financeiro

O que nós oferecemos