Engenheiro de Dados Sênior (AWS - PySpark - Kafka)

A Leega é uma empresa focada no atendimento eficiente e inovador em seus clientes. Isso não poderia ser diferente com o nosso principal combustível: as pessoas! Nossa cultura é inspiradora e nossos valores estão presentes no dia a dia: ética e transparência, excelência de qualidade, trabalho em equipe, responsabilidade econômica, social e ambiental, relações humanas e credibilidade.Buscamos profissionais inovadores que sejam movidos por desafios e focados em resultados.Se você busca uma empresa dinâmica e parceira e que investe em seus colaboradores através de capacitação constante, a Leega é o lugar para você!>> A LEEGA É PARA TODOS, ficaremos muito felizes em ter você em nosso time.

Venha fazer parte da nossa história e da construção do nosso futuro. Cadastre-se agora mesmo em nossas vagas!Responsabilidades e atribuições Buscamos um Engenheiro de Dados Sênior que, além de construir e operar pipelines, assuma responsabilidade arquitetural sobre a plataforma de dados orientada a eventos: desenho de tópicos e contratos de eventos, padrões de ingestão em streaming, processamento com PySpark e decisões de performance, resiliência e custo no ambiente AWS. É uma posição de execução técnica pesada: a pessoa escreve código, faz tuning de Kafka e Spark, revisa o desenho de terceiros e responde pela confiabilidade dos dados que alimentam painéis executivos, relatórios a clientes e obrigações regulatórias.O ambiente é regulado, no mercado financeiro e de investimentos, onde rastreabilidade, reprodutibilidade e correção auditável dos números são requisitos de primeira ordem.

A interlocução acontece com áreas como Wealth Management, Comercial, Risco, Compliance e Operações, além da atuação como referência técnica em Kafka e streaming para engenheiros pleno e júnior.Principais responsabilidadesProjetar e evoluir a arquitetura orientada a eventos na AWS, com Kafka (Amazon MSK ou Confluent) como backbone de integração entre sistemas transacionais e a plataforma analítica.Desenvolver producers e consumers Kafka com PySpark (Spark Structured Streaming), com controle explícito de offsets, checkpointing, idempotência, tratamento de late data e semântica de entrega adequada a cada caso.Definir e defender o desenho de tópicos, chaves, particionamento, retenção, compactação e contratos de eventos, com justificativa de trade-offs entre ordenação, throughput e custo.Governar esquemas no Schema Registry (Avro, Protobuf ou JSON Schema), definindo regras de compatibilidade e evolução sem quebrar consumidores.Implementar Change Data Capture (CDC) de bancos transacionais via Kafka Connect ou Debezium e integrar com fontes como APIs de custodiantes, distribuidores e provedores de mercado.Construir a camada de persistência dos eventos no Data Lake em S3, com formatos de tabela abertos (Iceberg ou Delta), organização de camadas e integração com Glue, EMR e Redshift.Conduzir tuning de performance e custo em Kafka e Spark, cobrindo lag de consumer groups, rebalanceamento, dimensionamento de brokers, micro-batch, skew e spill.Instrumentar observabilidade e controles automatizados de qualidade dos fluxos de eventos, cobrindo lag, freshness, volumetria, quebras de contrato e reconciliação entre origem e destino.Garantir linhagem e rastreabilidade ponta a ponta, da origem do evento ao número no painel, aplicando controles de acesso, criptografia, segregação por sensibilidade e conformidade com LGPD e normas do setor.Automatizar provisionamento e deploy da plataforma com infraestrutura como código e CI/CD, documentar decisões arquiteturais (ADRs) e atuar em code review, pareamento e definição de padrões com o time.

Requisitos e qualificações Requisitos obrigatórios6+ anos de experiência em engenharia de dados, sendo pelo menos 2 anos com responsabilidade arquitetural sobre plataformas orientadas a eventos (ter desenhado a arquitetura, não apenas implementado o desenho de outra pessoa).Histórico comprovado de ter colocado em produção e operado uma plataforma de streaming com Kafka, com incidentes, plantão e consequências reais.Domínio de Apache Kafka: tópicos, partições, chaves, consumer groups, offsets, retenção, compactação, rebalanceamento, configuração de producers e consumers e diagnóstico de lag.Experiência prática na construção de producers e consumers com PySpark (Spark Structured Streaming) integrados ao Kafka, incluindo checkpointing, triggers, watermarks e gestão de estado.Experiência consolidada no ecossistema de dados AWS: Amazon MSK, S3, Glue, EMR, Lambda, IAM e Redshift ou equivalente.Python aplicado a engenharia de dados, com código modular, testável e versionado (não apenas notebooks), incluindo tipagem e testes automatizados.SQL avançado, com window functions, CTEs e leitura de plano de execução.Schema Registry e formatos de serialização (Avro, Protobuf ou JSON Schema), com regras de compatibilidade e evolução de esquemas.Kafka Connect ou Debezium para Change Data Capture (CDC) e integração de fontes transacionais à plataforma de dados.Infraestrutura como código (Terraform, CloudFormation ou CDK), Git, cultura de code review e CI/CD aplicado a dados.Formatos de tabela abertos (Iceberg ou Delta) e arquitetura Lakehouse sobre S3.DiferenciaisExperiência no mercado financeiro: investimentos, wealth management, custódia, renda fixa e variável, fundos, posição e movimentação.Vivência com dados regulatórios de CVM, BACEN, BSM e ANBIMA, incluindo prazos e formatos de entrega.Confluent Cloud ou Confluent Platform, Kafka Streams, ksqlDB ou Apache Flink (incluindo Amazon Managed Service for Apache Flink).Kinesis Data Streams e Firehose como alternativa ou complemento ao Kafka na AWS.Orquestração com Apache Airflow (MWAA) ou Step Functions e transformação versionada com dbt.Ferramentas de qualidade, catálogo e observabilidade (Great Expectations, Soda, DataHub, OpenMetadata, Prometheus, Grafana, CloudWatch).Certificações AWS (Data Engineer, Solutions Architect) ou Confluent Certified Developer for Apache Kafka.Competências comportamentaisRigor com correção numérica e com garantias de entrega: em ambiente regulado, evento perdido ou duplicado é dado errado.Comunicação escrita clara, capaz de registrar a arquitetura de eventos em documento que sobreviva à saída do autor.Autonomia para investigar do painel até o evento de origem sem depender de aprovação a cada passo.Postura de referência técnica, com code review, pareamento e mentoria de profissionais pleno e júnior.Capacidade de traduzir demandas de negócio em desenho de eventos sustentável, inclusive recusando atalhos que geram dívida técnica.Honestidade na estimativa de escopo, risco e prazo no planejamento técnico.INDISPENSÁVEL Conhecimento/Atuação em:Apache Kafka em produção (Amazon MSK ou Confluent), com desenho de tópicos e operação de consumer groupsProducers e consumers com PySpark (Spark Structured Streaming) integrados ao KafkaEcossistema de dados AWS (MSK, S3, Glue, EMR, IAM)Schema Registry e Change Data Capture (Kafka Connect ou Debezium)Infraestrutura como código e CI/CD aplicado a dados Informações adicionaisAtuação: 100%Remoto.