Especialista Engenheiro de Dados

Descrição da empresa

Somos uma empresa de tecnologia focada na construção de soluções inovadoras e geradoras de resultados de negócios para nossos clientes, e especializada em Desenvolvimento de Projetos, Eficiência Operacional, Gestão e Governança, Infraestrutura, Customer Experience e Meios de Pagamento.

Atividades e Responsabilidades

Quem somos:

Somos uma empresa de Tecnologia fundada em 2014 na cidade de São Paulo, e especializada em construções de soluções customizadas para cada necessidade. Trabalhamos focados na entrega de resultados para nossos clientes, sempre de forma simples e eficiente. Somos referência em desenvolvimento de projetos de tecnologia e metodologia agile, eficiência operacional, automação e otimização de processos, processamento de cartões e meios de pagamentos.

Oportunidade: Especialista Dados

O candidato será responsável por projetar, desenvolver e gerenciar soluções de armazenamento, governança, processamento e análise de grandes volumes de dados, garantindo alta performance e uma gestão eficiente de custos, utilizando o ambiente Azure Cloud.

Requisitos

Habilidades Técnicas
Linguagens de Programação: Proficiência em SQL, Python/PySpark, e Scala;
Ferramentas e Serviços do Azure: Experiência com Azure Data Factory, Azure Synapse Analytics, Azure Stream Analytics, Azure Event Hubs, Azure Data Lake Storage, Azure DevOps, Azure Databricks, e Unity Catalog;
Processamento de Dados: Expertise em processamento paralelo e padrões de arquitetura Lakehouse, com foco em Delta Lake.
Principais Responsabilidades
Integração e Transformação de Dados: Integrar, transformar e consolidar dados provenientes de sistemas estruturados, não estruturados e streaming;
Desenvolvimento de Pipelines de Dados: Criar e manter pipelines seguros e eficientes para processamento de dados;
Gerenciamento de Metadados: Configurar e gerenciar metadados no Unity Catalog, incluindo a criação de metastores, catálogos, esquemas e tabelas;
Armazenamento de Dados: Projetar soluções de armazenamento como data warehouses modernos e arquiteturas Lakehouse;
Otimização e Monitoramento: Garantir a eficiência operacional dos pipelines, resolvendo problemas de qualidade, desempenho e custos, além de gerenciar workspaces, clusters e notebooks.
Requisitos Desejáveis
Certificação: Microsoft Certified: Azure Data Engineer Associate;
Inglês: Habilidade para conversação.
Experiência na implementação de uma esteira DevOps na Azure Cloud.

O que nós oferecemos