Lead Data Engineer

il y a 9 heures

LevalloisPerret, France SIKIA Temps plein

Nous recherchons un lead Data Engineer pour rejoindre nos équipes. Vous disposez de plus de 5 ans d'expérience dans la conception, le développement et l'industrialisation de pipelines Data en environnements Big Data et Cloud.Vous maîtrisez Spark, Databricks, NiFi, Kafka ainsi que les écosystèmes Azure, et vous avez une expérience confirmée en lead technique et en pilotage de projets data.La connaissance de Dataiku constitue un atout complémentaire pour l'orchestration et la gestion des flux de transformation.Conception et développement de pipelines Big Data Concevoir et développer des pipelines robustes en Spark (PySpark, Scala ou Java).Mettre en œuvre des flux de transformation et d'ingestion dans Databricks.Construire des workflows de traitement dans NiFi (ingestion, orchestration, transformation).Développer des flux d'ingestion et de préparation de données répondant aux exigences de performance et de qualité.Ingestion & StreamingMettre en place des architectures d'ingestion temps réel via Apache Kafka.Assurer la gestion des topics, partitions, schémas et performances Kafka.Superviser les flux streaming utilisés dans les applications analytiques ou opérationnelles.Industrialisation & OrchestrationDéfinir et automatiser les pipelines sur Apache Airflow (DAGs, scheduling, monitoring).Automatiser les environnements, déploiements et configurations via Ansible.Intégrer les projets data dans une logique CI/CD (Azure DevOps, Git).Déployer des pipelines industrialisés et fiables sur des environnements distribués.Cloud & PlateformesDévelopper et optimiser des solutions data dans un environnement Microsoft Azure, en utilisant Azure Databricks.Intégrer les services Azure dans les workflows (Data Lake, Event Hub, Key Vault...).Outils ETL et transformationExploiter Apache Spark pour les transformations massives.Utiliser NiFi pour les flux d'ingestion et la gestion du cycle de données.Contribuer à des projets utilisant Dataiku (atout apprécié) pour l'orchestration visuelle, la transformation et la gouvernance.CI/CD & DevOps DataMettre en œuvre des pipelines CI/CD pour les projets data (Azure DevOps, Git).Assurer la qualité du code et des déploiements via tests, validations, automatisations.Superviser les versions, les environnements et les déploiements industrialisés.Leadership Technique & GouvernanceDéfinir les standards de développement, les bonnes pratiques et les guidelines architecture.Participer activement à la communauté technique interne (Tech Leads, Lines of Business).Garantir la qualité, la fiabilité, la sécurité et la scalabilité des solutions data.

  • Lead Data Engineer H/F

    il y a 2 semaines

    Levallois-Perret, France TALEXIM Temps plein

    Ce que nous vous proposons : Contexte : La mission s'inscrit dans une dynamique d'industrialisation et de montée en maturité des flux data, avec un fort objectif de performance, de robustesse et de standardisation. Vos missions : - Architecture & Développement : - Concevoir, développer et industrialiser des pipelines Big Data à forte volumétrie. -...

  • Modern Data Stack

    il y a 19 heures

    Levallois-Perret, France Devoteam Temps plein

    Description de l'entrepriseVous êtes un Lead Data Engineer passionné par Snowflake et DBT ? Vous rêvez de travailler sur des projets innovants, de construire des assets technologiques et de transformer la façon dont les entreprises gèrent leurs données ? Ne cherchez plus ! Devoteam lance sa toute nouvelle entité dédiée à l'intégration de...

  • Data Engineer

    il y a 7 jours

    Levallois-Perret, France MP Data Temps plein

    En tant que Data Engineer Senior, vous jouerez un rôle clé dans la construction, l'optimisation et la fiabilisation de nos pipelines de données à grande échelle, au coeur de notre plateforme analytique. Votre expertise sur Databricks et l'environnement Spark sera essentielle pour garantir des traitements performants, sécurisés et...

  • Lead Data Engineer H/F

    il y a 2 jours

    Levallois-Perret, France Talexim Temps plein

    Ce que nous vous proposons : Contexte : La mission s'inscrit dans une dynamique d'industrialisation et de montée en maturité des flux data, avec un fort objectif de performance, de robustesse et de standardisation. Vos missions : - Architecture & Développement : - Concevoir, développer et industrialiser des pipelines Big Data à forte volumétrie. -...

  • Tech Lead Data Engineer H/F

    il y a 1 semaine

    Levallois-Perret, Île-de-France JEMS Temps plein

    Nous recherchons un(e) Tech Lead Data Engineer capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data.Vous aurez la charge de :? Assurer la mise en ?uvre de l'accès, du référencement et de la qualité de la donnée? Assurer l'industrialisation, la supervision et l'intégration des solutions? Rédiger les normes de...

  • Tech Lead Data Engineer H/F

    il y a 1 jour

    Levallois-Perret, Île-de-France Free-Work Temps plein

    Nous recherchons un(e) Tech Lead Data Engineer capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data.Vous aurez la charge de :Assurer la mise en œuvre de l'accès, du référencement et de la qualité de la donnéeAssurer l'industrialisation, la supervision et l'intégration des solutionsRédiger les normes de...

  • Finance Data Leader

    il y a 1 semaine

    Levallois-Perret, Île-de-France OPmobility Temps plein

    Finance Data LeaderHungry for challenges? Join a group with innovation at its heart and contribute to the automotive revolutionOPmobility is a world leader in sustainable mobility and a technology partner to mobility players worldwide. Driven by innovation since its creation in 1946, the Group is today composed of complementary business groups that enable it...

  • Finance Data Leader

    il y a 2 semaines

    Levallois-Perret, Île-de-France OP Mobility Temps plein

    Hungry for challenges? Join a group with innovation at its heart and contribute to the automotive revolutionOPmobility is a world leader in sustainable mobility and a technology partner to mobility players worldwide. Driven by innovation since its creation in 1946, the Group is today composed of complementary business groups that enable it to offer its...

  • Data Scientist Llm

    il y a 4 semaines

    Levallois-Perret, France MP Data Temps plein

    Nous recrutons : Data Scientist LLM / GCP Confirmé(e) Boulogne-Billancourt (92100) Secteur : Industrie CDI - Équipe Data Nous renforçons notre équipe Data et recherchons un(e) Data Scientist confirmé(e) spécialisé(e) en LLM et GCP. Vous interviendrez sur toutes les étapes clés de nos projets d'Intelligence Artificielle, de l'exploration à la mise...

  • Paris - Data Engineer Sénior H/F

    il y a 3 semaines

    Levallois-Perret, France Hardis Group Temps plein

    Pourquoi nous rejoindre ? Hardis Group développe son positionnement sur le domaine de la DATA depuis plusieurs années, au travers d'une practice nationale, avec des expertises sur l'ensemble de la chaine de valeur de la donnée. Nous avons à coeur de progresser chaque jour en challengeant nos talents avec des missions variées mais également en faisant...