DATA Engineer Senior GCP-python

il y a 5 jours

Paris, Île-de-France Free-Work Temps plein

CONTEXTE

Au sein de l'équipe Bronze, la mission se déroulera en collaboration avec les autres équipes de la Data, au coeur de la plateforme Data. Cette équipe est composée d'un product owner, d'un data steward et de deux autres data ingénieurs.

Notre stack technique est principalement constituée de Python, Spark, SQL pour les traitements de données, Airflow pour l'orchestration et Cloud Storage et Delta lake pour le stockage. La stack inclut aussi les services BigQuery, Dataproc, PubSub et Cloud Storage de la Google Cloud Platform et Terraform et Terragrunt pour la gestion de l'infrastructure.

MISSIONS :
Prestation de cette équipe

  • Collecter et centraliser les différentes sources de données non homogènes
  • Assurer la conformité et la sécurité des données
  • Participer aux initiatives de gouvernance des données

Prestation du data ingénieur
En interaction avec les membres de l'équipe, la mission consiste à :

  • Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l'équipe
  • Construire et maintenir de pipelines data robustes et scalables
  • Accompagner les membres de l'équipe dans l'exploitation et le requêtage des données
  • Organiser et structurer le stockage des données
  • Mettre en place et maintenir des infrastructures scalables capable de répondre aux besoins et à l'accroissement rapide du volume de données
  • Construire et maintenir les workflows de la CI/CD
  • Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur
  • Assurer l'évolutivité, la sécurité, la stabilité des environnements
  • Participer aux différentes instances des data ingénieurs
  • Contribuer et veiller à la mise à jour de la documentation
  • Faire de la veille technologique active dans le domaine

Expertises demandées pour la réalisation de la prestation :

  • Au moins 3 ans d'expérience en tant que Data Ingénieur dans un environnement data
  • Compétences solides en data : structures de données, code, architecture
  • Expériences dans la conception et la réalisation de pipelines data
  • Expériences dans un environnement du cloud Google (GCP)
  • Expériences intégrant BigQuery et Dataplex Universal Catalog
  • Expériences intégrant les langages Python et SQL
  • Expériences intégrant Spark
  • Expériences intégrant delta lake
  • Expériences intégrant Terraform et Terragrunt
  • Expériences intégrant Gitlab et Gitlab CI/CD
  • Expériences intégrant les méthodologies Agile : Scrum ou Kanban
  • Capacité à vulgariser et à communiquer sur des aspects purement techniques

Profil candidat:

Expertises demandées pour la réalisation de la prestation :

  • Au moins 3 ans d'expérience en tant que Data Ingénieur dans un environnement data
  • Compétences solides en data : structures de données, code, architecture
  • Expériences dans la conception et la réalisation de pipelines data
  • Expériences dans un environnement du cloud Google (GCP)
  • Expériences intégrant BigQuery et Dataplex Universal Catalog
  • Expériences intégrant les langages Python et SQL
  • Expériences intégrant Spark
  • Expériences intégrant delta lake
  • Expériences intégrant Terraform et Terragrunt
  • Expériences intégrant Gitlab et Gitlab CI/CD
  • Expériences intégrant les méthodologies Agile : Scrum ou Kanban
  • Capacité à vulgariser et à communiquer sur des aspects purement techniques

  • DATA Engineer Senior GCP-python

    il y a 2 semaines

    Paris, Île-de-France Kéoni Consulting Temps plein 60 000 € - 120 000 € par an

    CONTEXTEAu sein de l?équipe Bronze, la mission se déroulera en collaboration avec les autres équipes de la Data, au coeur de la plateforme Data. Cette équipe est composée d?un product owner, d?un data steward et de deux autres data ingénieurs.Notre stack technique est principalement constituée de Python, Spark, SQL pour les traitements de données,...

  • Senior Data Engineer – GCP – Luxe

    il y a 5 jours

    Paris, Île-de-France Sander Temps plein

    Vous souhaitez rejoindreun groupe français emblématique du luxe & retail, engagé dans une transformation digitale ambitieuse ? Envie de travailler au cœur d'un environnement stimulant, data-driven, avec de vrais enjeux de scalabilité et d'innovation ?Nous recrutons unSenior Data Engineerpour intégrer l'équipeData Platform, composée d'experts...

  • Data Engineer GCP

    il y a 2 semaines

    Paris, Île-de-France INFOGENE Temps plein 60 000 € - 120 000 € par an

    [Secteur Beauté & Cosmétique] – Data Engineer / Cloud Engineer GCP (H/F)Paris – Mission long termeUn leader mondial du secteurBeauté / Cosmétiquepoursuit sa transformation digitale et lance unprojet stratégiquedédié à la valorisation de données non structurées (documents, images, audio, vidéo).L'ambition : construire uneplateforme transverse...

  • Data Engineer Python

    il y a 5 jours

    Paris, Île-de-France UCASE CONSULTING Temps plein

    Contexte & Objectif de la missionNous recherchons pour notre client du secteur bancaire un Data Engineer confirmé sur Python.Vous interviendrez en binôme avec le développeur en place sur la conception, le développement et la mise en qualité des flux de migration, tout en garantissant la robustesse et la fiabilité du code déployé.Rôles &...

  • Senior Data Engineer

    il y a 2 semaines

    Paris, Île-de-France Ekkiden Temps plein 80 000 € - 120 000 € par an

    Groupe de conseil international fondé en 2019, Ekkiden anime un écosystème de consultants passionnés et engagés qui mènent des projets de transformation organisationnelle, opérationnelle et technologique dans l'IT/Digital, l'Industrie/R&D et la sustainability, chez les grands comptes et PME, en France, Suisse, Espagne et Allemagne.Le rôle : Senior...

  • Data Engineer GCP

    il y a 2 semaines

    Paris, Île-de-France Lutessa Temps plein

    La mission Data Engineer GCP – Spark, Airflow, dbt/Kedro | Industrialisation & qualité des donnéesContexteTu veux rejoindre une équipe Data qui construit des pipelines cloud à grande échelle, avec des enjeux de performance, de qualité et d'industrialisation ?Nous recherchons un Data Engineer confirmé GCP, passionné par la scalabilité, la...

  • Senior Data Engineer

    il y a 2 semaines

    Paris, Île-de-France Sander Temps plein 70 000 € - 85 000 € par an

    Vous souhaitez travaillez pour un acteur européen du tourisme et participer à sa transformation numérique et rejoindre une équipe data expérimenter ? Une structure établi recherche actuellement unSenior Data Engineeravec une forte expérience en GCP pour rejoindre leur équipe Digital platform.Votre mission :Vous serez responsable de la conception et...

  • Data Engineer Python

    il y a 2 semaines

    Paris, Île-de-France Askills Temps plein

    Askills est un cabinet de conseil lyonnais. Nous proposons à nos clients des prestations d'expertise technique dans la data et le développement web.Aujourd'hui nous sommes une vingtaine, nous souhaitons continuer à grandir en restant simples et transparents.Nous avons choisi de nous entourer de consultant.e.s sur 2 pôles :Toute la chaîne de la data avec...

  • Cloud Engineer GCP

    il y a 1 jour

    Paris, Île-de-France Collective Temps plein

    Budget: 550 Contexte De La MissionPour le compte d'ungrand groupe international, nous recherchons unCloud Engineer spécialisé GCPpour rejoindre uneéquipe Data & AIen charge de concevoir, déployer et opérer des solutions digitales à forte valeur ajoutée autour de ladata, de l'IA prédictiveet de l'IA générative.Vous interviendrez au sein d'une...

  • Data engineer Python

    il y a 1 semaine

    Paris, Île-de-France lehibou Temps plein 60 000 € - 80 000 € par an

    Notre client dans le secteur Énergie recherche un 2 x Data Engineer Python/PySpark/Microsoft Fabric/ Azure F/HDescriptif de la mission:Objectifs et livrablesNous recherchons 2 prestations de Data Engineer avec des compétences sur Python/PySpark/Microsoft Fabric sous un environnement Azure Cloud.Le prestataire Data Engineer sera responsable de la...