ENGENHEIRO DADOS PL

Estamos em busca de um(a) Engenheiro(a) de Dados Pleno para atuar em um projeto estratégico de migração de dados, realizando a transição de tabelas, pipelines e processos do ambiente Cloudera Hadoop para a AWS . O profissional atuará de ponta a ponta no projeto, desde o levantamento do ambiente atual até a implantação e estabilização das soluções em produção. - Realizar o levantamento e análise do ambiente atual em Cloudera Hadoop, identificando tabelas, pipelines, jobs e queries em HQL. - Mapear e documentar rotinas de orquestração desenvolvidas em Shell Script. - Migrar queries HQL para serviços AWS, utilizando Amazon Athena , AWS Glue ou Amazon EMR , conforme critérios de custo, performance e necessidade do negócio. - Redesenhar processos de orquestração baseados em Shell Script para serviços gerenciados da AWS, como AWS Step Functions , AWS Lambda , Amazon EventBridge e Amazon MWAA (Airflow) . - Projetar e implementar a arquitetura do Data Lake em Amazon S3 , estruturando as camadas Raw , Trusted e Refined . - Modelar e implementar estruturas analíticas em Amazon Redshift , quando necessário. - Desenvolver, testar e validar pipelines de dados, garantindo integridade, qualidade e performance. - Atuar na implantação, homologação e estabilização das soluções em produção. - Trabalhar em conjunto com equipes de arquitetura, infraestrutura e negócios para garantir uma migração eficiente e segura. - Documentar processos, arquiteturas e fluxos desenvolvidos durante o projeto. O que precisamos que você tenha de conhecimento: Experiência como Engenheiro(a) de Dados . Vivência em projetos de migração de ambientes de dados. Conhecimento em Cloudera Hadoop e desenvolvimento de queries em HQL (Hive Query Language) . Experiência com desenvolvimento e manutenção de Shell Script . Conhecimento sólido dos serviços AWS voltados para engenharia de dados, especialmente: - Amazon Athena; - AWS Glue; - Amazon EMR; - Amazon S3; - Amazon Redshift; - AWS Step Functions; - AWS Lambda; - Amazon EventBridge; - Amazon MWAA (Airflow). Experiência com modelagem de Data Lake e pipelines de dados. Conhecimento em SQL e boas práticas de modelagem de dados. Experiência com processos de ETL/ELT.  Diferenciais: - Certificações AWS. - Conhecimento em Python para desenvolvimento de pipelines e automações. - Experiência com CI/CD aplicado à engenharia de dados. - Vivência em projetos de modernização de plataformas de dados e migração para Cloud. Informações adicionais 🍛 Vale-alimentação ou vale-refeição; 👨🏼‍🎓 Desconto em cursos, universidades e instituições de idiomas; 📚 Academia Stefanini — plataforma com cursos on-line, gratuitos, atualizados e com certificado; 🗣 Mentoring; 💉 Clube de vantagens para consultas e exames; 🏥 Assistência médica; 🦷 Assistência odontológica; 💰 Clube de vantagens e descontos nos melhores estabelecimentos; 🛫 Clube de viagens; 🐶 Convênio para pets. Originally posted on Himalayas