DevOps / DataOps Engineer – Databricks Platform | Senior

.

- Projetar, implementar e evoluir a esteira de CI/CD da plataforma Databricks , garantindo a promoção automatizada de artefatos entre os ambientes de desenvolvimento, homologação e produção.

- Padronizar o empacotamento e o deploy de workloads utilizando Databricks Asset Bundles, criando templates reutilizáveis para os diferentes domínios e squads de dados.

- Implementar e manter a infraestrutura como código (IaC) utilizando Terraform e o provider Databricks, contemplando workspaces, políticas de compute, service principals, secret scopes e objetos do Unity Catalog.

- Definir e evoluir estratégias de versionamento, branching, code review e release management, utilizando ferramentas como Bitbucket, GitHub ou GitLab.

- Construir e manter pipelines como código utilizando Bitbucket Pipelines, GitHub Actions ou GitLab CI, incluindo estratégias de deploy, versionamento, rollback e promoção entre ambientes.

- Estabelecer quality gates automatizados nas pipelines, incluindo testes unitários e de integração, validação de contratos de dados, análise estática, lint e métricas mínimas de cobertura como pré-requisitos para merge e deploy.

- Automatizar controles e práticas de governança e segurança , incluindo permissões via Unity Catalog, RBAC, políticas de cluster e custos, segregação de ambientes, gestão de segredos e trilhas de auditoria.

- Disseminar boas práticas de engenharia de software junto às squads de plataforma, migração e analytics engineering, promovendo modularização, reutilização de código, testabilidade, documentação e qualidade.

- Contribuir com decisões de arquitetura, definição de padrões técnicos, elaboração de documentação e mentoria técnica para outros profissionais do time.

- Apoiar o monitoramento e troubleshooting de pipelines, workloads e infraestrutura, utilizando ferramentas de observabilidade como Datadog ou similares.

- Experiência em DevOps, DataOps ou áreas correlatas, com atuação na construção e evolução de pipelines de CI/CD ponta a ponta.

- Experiência com CI/CD como código, utilizando pelo menos uma das seguintes plataformas: Bitbucket Pipelines, GitHub Actions ou GitLab CI.

- Domínio de Git, incluindo estratégias de branching como Trunk-Based Development, GitFlow ou similares, além de Pull Requests, Code Review, proteção de branches e versionamento de releases.

- Experiência com Databricks Asset Bundles, Databricks CLI e processos de empacotamento e deploy de jobs, workflows e configurações.

- Conhecimento avançado em Python , incluindo estruturação e modularização de projetos, criação de bibliotecas, empacotamento com wheel e publicação de artefatos.

- Experiência com testes automatizados , incluindo testes unitários e de integração utilizando Pytest ou ferramentas similares, além de mocks, fixtures e métricas de cobertura.

- Experiência com Terraform , especialmente na automação e gerenciamento de recursos utilizando o provider Databricks.

- Vivência em ambientes Cloud, preferencialmente AWS ou Azure , com conhecimentos relacionados a identidade, armazenamento, redes e serviços gerenciados.

- Conhecimento sólido em SQL para validação, análise e troubleshooting de pipelines de dados .

Diferenciais

- Experiência em projetos de migração de Data Warehouse legado para arquiteturas Lakehouse.

- Conhecimento na administração e sustentação da plataforma Databricks, incluindo workspaces, clusters, jobs, workflows e políticas de compute.

- Experiência com Unity Catalog, governança de dados, RBAC, gestão de segredos, segregação de ambientes e controles automatizados de auditoria.

- Vivência com observabilidade e monitoramento de pipelines e infraestrutura utilizando Datadog ou ferramentas equivalentes.

- Experiência com plataformas de dados, Data Engineering, Data Warehouse e processos de modernização de ambientes corporativos.

Originally posted on Himalayas