Ingeniero Big Data - Integración de Datos y CDC

¡Sé parte de Stefanini!

Buscamos un Ingeniero de Datos con experiencia en integración de datos y mecanismos de captura de cambios (CDC), responsable de implementar, configurar, probar y estabilizar flujos de replicación de datos desde Oracle hacia Apache Kafka y PostgreSQL.El profesional participará en la implementación de una arquitectura de integración basada en Oracle, LogMiner, Debezium, Kafka Connect, Apache Kafka y JDBC Sink, asegurando la integridad, continuidad y trazabilidad de los datos durante su procesamiento y transferencia.Se valorará la experiencia con herramientas CDC como Debezium, Oracle GoldenGate, IBM IIDR, Qlik Replicate, AWS DMS u otras tecnologías equivalentes.

Responsabilidades y atribucionesImplementar y configurar flujos de integración y replicación de datos mediante tecnologías CDC.Participar en la configuración de Apache Kafka, incluyendo topics, particiones, offsets, replication factor y políticas de retención.Configurar y validar los mecanismos de integración entre Oracle, Kafka y PostgreSQL.Implementar y configurar conectores de captura y escritura de datos, utilizando Kafka Connect, Debezium y JDBC Sink, según la arquitectura definida.Ejecutar pruebas de integración para validar operaciones INSERT, UPDATE y DELETE.Realizar pruebas de integridad, consistencia y reconciliación de datos entre origen y destino.Diagnosticar problemas de integración, retrasos en la captura de datos, errores de conectividad y procesamiento.Participar en pruebas de rendimiento, recuperación y continuidad operativa.Coordinar con los equipos de DBA, Infraestructura, Redes y Seguridad para la implementación de la solución.Elaborar documentación técnica, procedimientos de recuperación y manuales de operación.Realizar transferencia de conocimiento al equipo responsable del soporte y operación.

Requisitos y calificacionesTecnología / conocimientoApache Kafka - IntermedioHerramientas CDC - Intermedio

SQL - IntermedioApache Spark - Intermedio, sujeto a validación de necesidadLinux - IntermedioOracle - Experiencia en consultas, transacciones y validación de datosIntegración de datos - Experiencia en proyectos productivosConocimientos deseablesDebezium y Debezium Oracle Connector.Kafka Connect: workers, connectors y tasks.PostgreSQL: integración y validación de datos.Oracle LogMiner y manejo de REDO / Archived REDO.Java / JVM.Alta disponibilidad (HA), recuperación y continuidad de procesos.Monitoreo de lag, latencia, throughput y performance.Manejo de datos LOB: CLOB, BLOB y NCLOB.Automatización con Bash o Python.Redes y conectividad: DNS, puertos y NTP.