Data Platform Engineer H/F

il y a 4 jours

Paris, France Vusion Group Temps plein

Nous construisons. Nous créons un impact positif. En tant que Data Platform Engineering / DataOps, vous serez chargé(e) à la fois de créer des pipelines de production et de renforcer l'écosystème à l'aide de normes, de contrôles qualité, de mesures de gouvernance et d'observabilité, afin que les équipes produit puissent livrer plus rapidement des données fiables. Vos projets - Migrer les architectures multi-technologies Databricks + Unity Catalog + dbt - Évaluer les flux existants (batch/stream, orchestrations, modèles, coût/performance) et définir des modèles cibles (Delta Lake, Databricks Jobs/Workflows, modèles dbt). - Réécrire les pipelines (Kubernetes/Airflow/Spark/SQL) et replatformer les modèles dans dbt en appliquant les conventions de nommage, les tests et la documentation. - Intégrer les actifs dans Unity Catalog (RBAC/ACL, lignage, masquage des données/PII), structurer les catalogues/schémas et gérer les autorisations. - DataOps & reliability - Mettre en oeuvre des systèmes robustes et tolérants aux pannes pour l'ingestion et le traitement des données. - Renforcer la CI/CD des données (tests dbt dans PR, linting, vérifications de schéma) et l'orchestration avec réessai/backoff, dépendances et conformité avec les SLAs. - Déployer l'observabilité de bout en bout (métriques du pipeline, fraîcheur, couverture des tests) et les alertes (par exemple, Datadog) avec des playbooks et des objectifs de temps moyen de réparation (MTTR). - Définir et surveiller les contrats de données et les SLO avec les équipes consommatrices et garantir la conformité. - Tenir à jour la documentation (catalogue, définitions des métriques, journaux des modifications) et créer des runbooks standardisés pour l'audit et le déploiement des données - Continuous Improvement - Optimiser les tâches/tables Delta (partitioning, ZOrder, OPTIMIZE, autoscaling) ; surveiller les coûts/performances (budget, rentabilité unitaire par pipeline). - Collaboration & enablement - Travailler en collaboration avec différentes équipes, notamment celles chargées de data science, infrastructure, équipe software, équipe produit et équipe conseil, afin de comprendre leurs besoins en matière de données et de leur fournir des solutions. - Collaborer avec les Client Analytics Engineers afin de traduire les besoins des retailers en modèles fiables et faciles à maintenir. - Diffuser les bets practices (modèles dbt, guides d'intégration, listes de contrôle qualité). - Former les membres de l'équipe à l'interrogation SQL dans Databricks et diriger les mises à jour pendant les sessions Data Domain. Vos missions : - Déployer les directives existantes pour migrer les pipelines d'ingestion/ELT sur Databricks (jobs/workflows, Spark/SQL) et les modèles dbt avec des tests et des documents. - Créer des blocs de code standardisés à utiliser par le reste de l'équipe et gérer les PRs acceptées afin de limiter la dette technique. - Déployer l'observabilité (dashboard Datadog, alertes) et réduire le MTTR à l'aide de runbooks exploitables. - Gérer les ensembles de données sous Unity Catalog (catalogues/schémas/tables, lignage, accès, masquage) afin de garantir la conformité et la sécurité. - Piloter les contrats de données et les SLO, surveiller la fraîcheur/qualité/dérive des schémas. - Tenir à jour une documentation claire et fournir des modèles afin d'accélérer les migrations ultérieures.

  • Data Platform Engineer

    il y a 11 heures

    Paris, France Lenstra Temps plein

    Lenstra was created by a passion of engineers specialised in Computer Science with a proven history in delivering top quality solutions to its customers. Bringing together work excellence and vision we managed to serve top tier clients from a variety of industry domains like Banking/Insurance, Luxury and Tech. We help our clients to solve their most...

  • Data Platform Enablement Engineer

    il y a 2 jours

    Paris, France Capital Fund Management (CFM) Temps plein

    Our Company Founded in 1991, we are a global quantitative and systematic asset management firm applying a scientific approach to finance to develop alternative investment strategies that create value for our clients. We value innovation, dedication, collaboration, and the ability to make an impact. Together, we create a stimulating environment for talented...

  • Data Platform Enablement Engineer

    il y a 3 jours

    Paris, Île-de-France CAPITAL FUND MANAGEMENT Temps plein

    Paris, 75, FRABOUT CFMFounded in 1991, we are a global quantitative and systematic asset management firm applying a scientific approach to finance to develop alternative investment strategies that create value for our clients.We value innovation, dedication, collaboration, and the ability to make an impact. Together, we create a stimulating environment for...

  • Solution Engineer

    il y a 12 heures

    Paris, France Yotta - Expert en recrutement Data, AI & Product Temps plein

    Cette société développe une Data Platform sous un format SaaS qui permet à ses clients de pouvoir centraliser et traiter ses données en temps réel - une plateforme qui traite une très grande volumétrie de données au quotidien.Cette solution est notamment destinée à des clients ayant de belles problématiques côté Data & Tech.Dotée d’une forte...

  • Senior Data

    il y a 11 heures

    Paris, France CryptoNext Security Temps plein

    Post Quantum Cryptography | Cybersecurity | We're hiring Who we are CryptoNext Security is a deeptech startup specializing in post-quantum cryptography. We help businesses and institutions prepare for a world where quantum computers will challenge today's security standards. Our clients include major financial institutions, defense actors, telecom operators,...

  • Data Platform Enablement Engineer

    il y a 2 semaines

    Paris, Île-de-France Free-Work Temps plein

    En quelques motsCherry Pick est à la recherche d'un "Data Platform Enablement Engineer" pour un client dans le secteur BancaireDescription Le Contexte : La Tech au service de la RechercheVotre mission est au cœur de notre réacteur technologique. Vous ne construisez pas seulement des outils ; vousdonnez le pouvoirà notre communauté de plus de 50 Data...

  • Staff Data Engineer, Data Platform

    il y a 2 semaines

    Paris, Île-de-France Jobgether Temps plein

    This position is posted by Jobgether on behalf of a partner company. We are currently looking for a Staff Data Engineer, Data Platform in France. This role offers the opportunity to lead and shape the evolution of a modern data platform in a fast-growing SaaS environment. As a Staff Data Engineer, you will be responsible for designing, building, and...

  • Senior Data Platform Engineer

    il y a 2 semaines

    Paris, Île-de-France Doctolib Temps plein

    We are looking for a Senior Data Platform Engineer to join our Data & Machine Learning Platform team. As a Senior Data Platform Engineer , your mission will be to design, implement, and manage our data infrastructure, ensuring seamless data flow across the organization and enabling data-driven decision-making. You will be...

  • Senior Data Platform Engineer

    il y a 3 jours

    Paris, Île-de-France Doctolib Temps plein

    We are looking for aSenior Data Platform Engineerto join ourData & Machine Learning Platformteam.As aSenior Data Platform Engineer, your mission will be to design, implement, and manage our data infrastructure, ensuring seamless data flow across the organization and enabling data-driven decision-making. You will be working in a feature team developing...

  • SENIOR DATA ENGINEER

    il y a 2 jours

    Paris, France STATION F Temps plein

    About Rejoignez Allphins, une start-up insurtech dynamique qui redéfinit la gestion des risques dans l'industrie de la (ré)assurance grâce à une technologie innovante. En tant que Senior Data Engineer, vous aurez l'opportunité de jouer un rôle clé dans notre croissance rapide et notre expansion internationale. Notre parcours a commencé en 2019, au...