Senior Data Engineer (m/f/d)

Sobre el puesto

El Data Pool de SimpliFi es un repositorio central de datos alojado en Azure, diseñado para unificar los datos financieros de OE y mejorar la eficiencia de costes. Actúa como la fuente principal de datos contables y de informes, garantizando el cumplimiento de los requisitos de información obligatorios. Es un componente clave del programa SimpliFi, integrado con SAP, que proporciona un modelo de datos armonizado con componentes Common Core, incluyendo un Plan de Cuentas globalmente armonizado y procesos contables y de informes estandarizados.

El ecosistema está diseñado para agilizar la gestión y los informes de datos financieros a través de componentes clave: almacenamiento de datos organizado (Staging Area, Raw Data Vault, Business Data Vault), integraciones de sistemas de alimentación personalizados, conectividad SAP mediante funciones de Azure y una capa de consumo habilitada para PowerBI para un análisis detallado y transparencia en el linaje de datos.

Incorpora una gestión sólida de datos maestros y de referencia (Informatica IDMC), controles rigurosos de calidad de datos y la interfaz SimpliFi Studio para cargas manuales y supervisión de canalizaciones, garantizando operaciones fluidas, alta integridad de los datos y una toma de decisiones informada.

Responsabilidades

• Implementar canalizaciones de datos de acuerdo con los estándares de ingeniería establecidos: patrones de diseño de canalizaciones, convenciones de nomenclatura y enfoques de modelado (por ejemplo, Data Vault). Aplicar las decisiones de arquitectura tomadas a nivel de Lead y traducirlas en soluciones funcionales y mantenibles.
• Construir y mantener canalizaciones de datos de extremo a extremo en la ingesta, transformación y carga. En términos de SimpliFi, esto significa desarrollar y poseer flujos a través de las capas Raw Data Vault, Business Data Vault, UJT y CORE, trabajando de forma práctica con herramientas como Databricks, Azure Synapse e IDMC.
• Responsable de la calidad de los datos dentro del alcance de su canalización: implementar controles, identificar problemas tempranamente y resolverlos antes de que se propaguen aguas abajo. Escalar problemas sistémicos o interdominio al Lead.
• Revisar el código de ingenieros junior y de nivel medio, compartir mejores prácticas y contribuir a elevar la capacidad del equipo. Actuar como referencia técnica diaria para colegas con menos experiencia.
• Trabajar junto a modeladores de datos, especialistas en MDM/RDM y líderes de componentes de TI. Traducir las restricciones técnicas y los hallazgos en aportaciones claras para las discusiones de planificación y diseño.
• Garantizar que las canalizaciones se construyan de acuerdo con los requisitos de gobernanza de datos: linaje, clasificación y controles de acceso. Apoyar los procesos de puerta (por ejemplo, DAB/CCP) proporcionando evidencia técnica y documentación precisas.
• Participar activamente en la planificación de sprints y ciclos de entrega, proporcionando estimaciones de esfuerzo, señalando dependencias técnicas y manteniendo el trabajo en movimiento dentro de su carril de entrega.

Requisitos

• Experiencia práctica en la construcción y operación de canalizaciones a gran escala (lotes y streaming). Dominio de herramientas como Apache Spark, Databricks y equivalentes nativos de la nube. Experiencia con patrones ETL/ELT a escala empresarial.
• Experiencia práctica con plataformas modernas de lakehouse/warehouse: Databricks, Azure Synapse o equivalentes. Comprensión de particionamiento, clustering y optimización de consultas.
• Conocimiento profundo de al menos una nube importante (Azure): computación, almacenamiento, redes, servicios gestionados. En contextos empresariales como SimpliFi, Azure suele ser dominante (ADLS, ADF, Azure Databricks).
• Sólida comprensión de los paradigmas de modelado: Medallion, dimensional (Kimball) y Data Vault 2.0. Capacidad para revisar y contribuir a los modelos, no solo implementarlos. Saber cómo implementar la captura de metadatos, el linaje de datos (por ejemplo, a través de IDMC o Purview) y los controles de acceso. Experiencia navegando marcos de gobernanza y procesos de puerta.
• SQL fuerte (transformaciones complejas, ajuste de rendimiento), Python (lógica de canalización, scripts de calidad de datos) y familiaridad con PySpark para cargas de trabajo distribuidas. Experiencia en la implementación de reglas de DQ, perfilado y monitoreo, idealmente con herramientas como DQX, Great Expectations.
• Comprensión de los flujos de datos maestros y de referencia: cómo se crean, mantienen y consumen los registros dorados. La experiencia con plataformas como SAP MDG o Informatica MDM es una gran ventaja.
• CI/CD para canalizaciones de datos (GitHub Actions), disciplina de control de versiones y conceptos básicos de infraestructura como código (Terraform). Capaz de leer y contribuir a documentos de arquitectura y comprender capas, zonas y patrones de flujo de datos en toda una plataforma.
• La familiaridad con el aprendizaje automático (Machine Learning) es una ventaja importante.

Lo que ofrecemos

• Modelo de trabajo híbrido que reconoce el valor de equilibrar la colaboración presencial y el trabajo remoto, incluyendo hasta 25 días al año trabajando desde el extranjero.
• Paquete de compensación y beneficios que incluye un esquema de bonificación de la empresa, pensión, programa de acciones para empleados y múltiples descuentos.
• Programas de desarrollo profesional, aprendizaje digital y movilidad internacional.
• Trabajo flexible, ofertas de salud y bienestar (incluyendo atención médica y beneficios de licencia parental) para equilibrar la familia y la carrera.

Compromiso con la integridad, la equidad y la inclusión

Allianz es un empleador que ofrece igualdad de oportunidades y fomenta una cultura inclusiva donde todos se sientan empoderados para crecer y dar forma a un futuro mejor. Damos la bienvenida a solicitudes independientemente de la raza, etnia, edad, género, nacionalidad, religión, clase social, discapacidad, orientación sexual o cualquier otra característica protegida.