Engenharia de Dados Sênior| Remota - 134795 (Alphaville - Barueri, BR, 06.454-00

O que buscamos:

Buscamos um(a) Engenheiro(a) de Dados Sênior para integrar o time de Lakehouse Platform , atuando na construção de um Enterprise Lakehouse baseado em Databricks , estruturado sob os princípios de Data Mesh . Procuramos um profissional com sólida experiência em plataformas de dados, governança, automação e arquitetura moderna, capaz de contribuir na definição dos padrões, frameworks e fundações tecnológicas que suportarão a estratégia de dados da organização.
Responsabilidades:

- Colaborar na construção e evolução da plataforma Enterprise Lakehouse baseada em Databricks e Data Mesh;

- Implementar e administrar o Unity Catalog como camada central de governança de dados;

- Estruturar o compartilhamento de dados entre domínios utilizando Delta Sharing;

- Desenvolver padrões de ingestão de dados em batch e streaming para utilização pelos domínios de negócio;

- Construir e evoluir a arquitetura medalhão (Bronze, Silver e Gold) para processamento de dados;

- Desenvolver frameworks de Data Contracts e Data Quality para a plataforma;

- Estruturar e automatizar esteiras de CI/CD para ambientes Databricks;

- Implementar automações de infraestrutura utilizando práticas de Infrastructure as Code (IaC);

- Integrar a plataforma Databricks ao ecossistema Data Mesh existente na AWS;

- Garantir interoperabilidade entre catálogos, serviços e modelos de governança de dados;

- Participar de decisões de arquitetura, definição de padrões técnicos e evolução da plataforma;

- Produzir documentação técnica e apoiar o desenvolvimento técnico do time;

- Contribuir para Observabilidade, monitoramento, performance e governança dos ambientes de dados.

Requisitos Obrigatórios:

- Experiência sólida com a plataforma Databricks, incluindo administração de WorkSpaces, clusters, Jobs e workflows;

- Experiência com Unity Catalog, incluindo governança, modelo de permissões, lineage, external locations e integração com Storage;

- Conhecimento avançado em Delta Lake e arquitetura medalhão (Bronze, Silver e Gold);

- Experiência na implementação de processos de ingestão de dados em batch e streaming;

- Vivência com CI/CD para Databricks, utilizando Databricks Asset Bundles, Repos e ferramentas como GitHub Actions, Azure DevOps ou similares;

- Experiência com serviços AWS, incluindo S3, Glue, Lake Formation, EMR (EC2 e Serverless), Athena, Lambda, IAM, DMS, Kinesis, Step Functions, SNS, SQS e EventBridge;

- Conhecimento em Infrastructure as Code utilizando Terraform, incluindo o Provider Databricks;

- Proficiência em Python e PySpark para desenvolvimento de pipelines e automações;

- Conhecimento avançado em SQL;

- Experiência com Data Contracts e plataformas de metadados, como OpenMetadata;

- Experiência com monitoramento e Observabilidade utilizando DataDog;

- Conhecimento em arquitetura e governança de dados em ambientes corporativos;

- Capacidade de atuar em ambientes colaborativos, conduzindo discussões técnicas e decisões arquiteturais;

- Vivência em iniciativas de Data Mesh, incluindo domínios de dados, Data Products e governança federada.

Requisitos Diferenciais:

- Vivência em iniciativas de Data Mesh, incluindo domínios de dados, Data Products e governança federada;

- Experiência no mercado financeiro, crédito ou serviços financeiros;

- Conhecimento em observabilidade e monitoramento de plataformas de dados, métricas de jobs e qualidade de dados;

- Experiência com práticas de FinOps aplicadas a ambientes Databricks, incluindo monitoramento e otimização de custos;

- Experiência com Delta Sharing em cenários cross-company, cross-cloud ou cross-region;

- Certificações AWS, como Data Engineer Associate ou Solutions Architect;

- Certificações Databricks, como Data Engineer Associate, Data Engineer Professional ou Platform Administrator;

- Conhecimento em padrões abertos de contratos de dados, como Open Data Contract Standard (ODCS/ODPS);

- Experiência com plataformas modernas de governança, compartilhamento e