Engenheiro(a) de Dados Pleno – Big Data / Spark

Engenheiro(a) de Dados Pleno – Big Data / Spark
Sobre a oportunidade

Buscamos um(a) Engenheiro(a) de Dados Pleno para atuar no desenvolvimento, manutenção e otimização de soluções de processamento de dados na plataforma Client Contribution . O profissional será responsável por construir pipelines escaláveis, garantir a qualidade dos dados e contribuir para a evolução da arquitetura de Big Data em um ambiente ágil e orientado por boas práticas de engenharia.
Responsabilidades

- Desenvolver, manter e otimizar soluções de processamento de dados;

- Projetar e desenvolver processos de ETL e transformação de dados;

- Implementar e manter pipelines utilizando Apache Spark ;

- Apoiar iniciativas de integração de dados entre diferentes sistemas;

- Analisar e solucionar incidentes relacionados a dados;

- Garantir a qualidade, performance e confiabilidade das soluções de dados;

- Trabalhar em conjunto com equipes multidisciplinares em ambiente Agile .

Requisitos obrigatórios

- Mínimo de 3 anos de experiência em Engenharia de Dados e desenvolvimento;

- Conhecimento sólido em SQL , incluindo:
- ANSI SQL;

- Hive SQL;

- Spark SQL;

- Experiência com Apache Spark ;

- Conhecimento em pelo menos uma das seguintes linguagens:
-
Scala ;

-
Python ;

-
Java ;

- Experiência com plataformas Big Data , como:
-
Azure Databricks ;

-
Amazon EMR ;

-
Hive ;

-
Cloudera ;

- ou outro ambiente baseado em Spark;

- Experiência com Qlik Sense para desenvolvimento de relatórios e dashboards;

- Vivência em ambientes de Integração Contínua (CI) , DevOps e metodologias ágeis;

- Conhecimento em ferramentas como:
-
Git ;

-
GitHub ;

-
SonarQube ;

-
Nexus ;

- Capacidade de análise de requisitos e trabalho colaborativo;

- Inglês nível B2 ou superior .

- Espanhol nível B2 ou superior.

Diferenciais

- Interesse ou experiência no uso de ferramentas de Inteligência Artificial aplicadas à Engenharia de Dados;

- Conhecimento em automação de processos utilizando IA;

- Interesse em utilizar assistentes de desenvolvimento para aumentar produtividade, qualidade do código e eficiência das soluções analíticas.

Condições da posição

-
Atuação 100% remota ;

- É obrigatória a disponibilidade para mudança futura para Portugal ou Espanha , caso seja necessário por questões de projeto, estratégia da empresa ou requisitos legais;

- Enquanto estiver no Brasil, o trabalho será realizado integralmente em regime remoto;

-
Os currículos deverão ser apresentados em inglês .

Originally posted on Himalayas