Engenheiro(a) de dados

Descrição da empresa

Consultoria voltada para atividades de atração

Atividades e Responsabilidades

Minerar e extrair dados em diferentes repositórios
Interagir com as diferentes áreas do negócio/produto para entender seus desafios e gerar insights na aplicação de dados para cada modelo de negócio/produto
Explorar e preparar dados, modelar e implementar soluções em Python
Verificar e propor as tecnologias que serão aplicadas na interpretação dos dados para cada modelo de negócio/produto
Definir arquitetura na estrutura da ETL para cada modelo de negócio/produto
Integrar os diferentes ETLs com os serviços de DataCenter na apresentação estruturada dos dados

Requisitos

Mineração e extração de dados em diferentes repositórios
Modelagem e abstração de dados aplicadas a diferentes modelos de negócio
Contar histórias a diferentes audiências do negócio e/ou projeto, utilizando dados
Programação em Python, aplicados a grandes volumes de dados, dados em tempo real, dados não estruturados, modelos estatísticos como regressão, otimização, clustering, árvores de decisão
Modelagem e consultas de dados em SQL, assim como desenvolver otimizações de queries e performance de consultas
Processamento em batch e streaming utilizando ferramenta PySpark para facilitar mudanças no código
Armazenamento e medição na capacidade de dados em ambiente em nuvem - GoogleCloud, AWS

#E se você souber também...sua curva de aprendizado será acelerada !

Aplicação de Presto - emulador de SQL para facilitar a consulta no DataLake
Ambiente em arquitetura Cloud - AWS / S3
Aplicação da ferramenta Ranger para anonimização de dados por conta de LGPD
Utilização de ferramentas de versionamento - Bitbucket e Git
Ambiente de processamento de dados em Linux, utilizando scripts em Shell, JAVA ou Python
Manipulação de diferentes fluxos de dados, ETLs utilizando Airflow como orquestrador
Utilizando de Dockers como containers e kubernetes como ferramenta de observalidade

O que nós oferecemos