Azure Data Engineer

Descrição da empresa

Bemax Group é uma empresa com sede em Dallas, TX (USA), uma parte importante do nosso time está localizado no Brasil fornecendo soluções de Business Intelligence e Software Development para nossos clientes na América do Norte. Acesse www.bemaxgroup.com e saiba mais sobre nossa empresa.

Atividades e Responsabilidades

Responsabilidades:
Plataforma de dados do Azure existente (IaaS):

- Responsável por manter e aprimorar a atual Plataforma de Dados do Azure (Azure SQL VM).
- Responsável pela manutenção e aprimoramento do atual processo ETL escrito alavancando soluções/linguagens como: Pentaho, Python, Luigi e Ruby.
- Colaborador ativo para desenvolvimento/manutenção de código em projetos e serviços existentes.

- Responsável pela manutenção e melhoria contínua do desenvolvimento SQL atual e que inclui, mas não está limitado a: Modelagem de Dados, Procedimentos Armazenados, Indexação e particionamento, visualizações, SQL Agent, juntamente com o suporte do Power BI Gateway existente.
- Suporte ao Analista do Power BI, criando fontes/tabelas/conjuntos de dados solicitados e outras solicitações conforme necessário.
- Responsável por manter a precisão e integridade dos dados, e também por pesquisar e corrigir discrepâncias de dados.
- Responsável pela implementação das melhores práticas em integração de sistemas, segurança, desempenho e gerenciamento de dados.
- Responsável por corrigir e atualizar o ambiente Azure atual, juntamente com sua segurança, rede e monitoramento.

Futura plataforma de dados do Azure (PaaS) - Synapse Analytics:

- Arquitetar e levantar a futura plataforma de dados do Azure - Azure Synapse Analytics
- Desenvolver novas cargas de trabalho para o Azure aproveitando Azure Data Lake, SQL Pools do Azure, Apache Spark, Synapse, pipelines Azure Data Factory/Synapse.
- Stand Up Synapse Workspace junto com a configuração de segurança e componentes de rede.
- Configurar Azure Data Lake, Azure SQL, Spark Pools e Synapse Pipeline.
- Criar e configurar o Azure Synapse Pipeline para importar dados da VM existente e outras fontes de dados da API.
- Criar tabelas junto com os métodos de distribuição recomendados, procedimentos armazenados, partições e no SQL Dedicated Pool.
- Implementar as melhores práticas para trabalhar na importação, modelagem e atendimento de grandes volumes de dados do Power BI.
- Configurar/conectar o Power BI ao Synapse Analytics.
- Arquitetar e implementar as melhores práticas para Big Data.
- Implementar e gerenciar monitoramento e segurança.
- Responsável por gerenciar o(s) Ambiente(s) de Dados Azure atual e futuro(s) junto com sua segurança, rede e monitoramento.

Requisitos

- 3+ anos de experiência em tecnologia geral e Business Intelligence/Data Engineer.
- 3+ anos de experiência com Azure Cloud.
- 3+ anos de experiência com a Arquitetura de Dados do Azure.
- 3+ anos de experiência prática em integração de dados (Azure Data Factory, Databricks, Azure Synapse Analytics, SQL Server Integration Services, Luigi, Pentaho, Python, Ruby etc.)
- 3+ anos de experiência prática com desenvolvimento/arquitetura SQL.
- 2+ anos de experiência prática com o Azure Synapse Analytics.
- 3+ Experiência em programação (T-SQL, Python).
- 2+ anos de experiência em entrega de soluções Spark.
- 2+ anos de experiência escrevendo Notebooks (PySpark)
- Deve possuir habilidades analíticas e de solução de problemas excepcionais
- Indivíduo altamente motivado com forte senso estratégicos
- Deve ser proativo com sólidas habilidades organizacionais e de gerenciamento de tempo
- Boas habilidades escritas e verbais

Bom Ter
- Ingles intermediário
- 2+ anos de experiência com desenvolvimento em Power BI
- 2+ anos de experiência com Azure Networking and Infrastructure
- Experiência com conceitos de ciência de dados e análise preditiva

O que nós oferecemos