DATA Engineer Senior GCP-python

il y a 1 semaine

Paris, Île-de-France Free-Work Temps plein

CONTEXTE

Au sein de l'équipe Bronze, la mission se déroulera en collaboration avec les autres équipes de la Data, au coeur de la plateforme Data. Cette équipe est composée d'un product owner, d'un data steward et de deux autres data ingénieurs.

Notre stack technique est principalement constituée de Python, Spark, SQL pour les traitements de données, Airflow pour l'orchestration et Cloud Storage et Delta lake pour le stockage. La stack inclut aussi les services BigQuery, Dataproc, PubSub et Cloud Storage de la Google Cloud Platform et Terraform et Terragrunt pour la gestion de l'infrastructure.

MISSIONS :
Prestation de cette équipe

  • Collecter et centraliser les différentes sources de données non homogènes
  • Assurer la conformité et la sécurité des données
  • Participer aux initiatives de gouvernance des données

Prestation du data ingénieur
En interaction avec les membres de l'équipe, la mission consiste à :

  • Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l'équipe
  • Construire et maintenir de pipelines data robustes et scalables
  • Accompagner les membres de l'équipe dans l'exploitation et le requêtage des données
  • Organiser et structurer le stockage des données
  • Mettre en place et maintenir des infrastructures scalables capable de répondre aux besoins et à l'accroissement rapide du volume de données
  • Construire et maintenir les workflows de la CI/CD
  • Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur
  • Assurer l'évolutivité, la sécurité, la stabilité des environnements
  • Participer aux différentes instances des data ingénieurs
  • Contribuer et veiller à la mise à jour de la documentation
  • Faire de la veille technologique active dans le domaine

Expertises demandées pour la réalisation de la prestation :

  • Au moins 3 ans d'expérience en tant que Data Ingénieur dans un environnement data
  • Compétences solides en data : structures de données, code, architecture
  • Expériences dans la conception et la réalisation de pipelines data
  • Expériences dans un environnement du cloud Google (GCP)
  • Expériences intégrant BigQuery et Dataplex Universal Catalog
  • Expériences intégrant les langages Python et SQL
  • Expériences intégrant Spark
  • Expériences intégrant delta lake
  • Expériences intégrant Terraform et Terragrunt
  • Expériences intégrant Gitlab et Gitlab CI/CD
  • Expériences intégrant les méthodologies Agile : Scrum ou Kanban
  • Capacité à vulgariser et à communiquer sur des aspects purement techniques

Profil candidat:

Expertises demandées pour la réalisation de la prestation :

  • Au moins 3 ans d'expérience en tant que Data Ingénieur dans un environnement data
  • Compétences solides en data : structures de données, code, architecture
  • Expériences dans la conception et la réalisation de pipelines data
  • Expériences dans un environnement du cloud Google (GCP)
  • Expériences intégrant BigQuery et Dataplex Universal Catalog
  • Expériences intégrant les langages Python et SQL
  • Expériences intégrant Spark
  • Expériences intégrant delta lake
  • Expériences intégrant Terraform et Terragrunt
  • Expériences intégrant Gitlab et Gitlab CI/CD
  • Expériences intégrant les méthodologies Agile : Scrum ou Kanban
  • Capacité à vulgariser et à communiquer sur des aspects purement techniques

  • Senior Data Engineer GCP MLOps

    il y a 2 jours

    Paris, Île-de-France Free-Work Temps plein

    En quelques motsCherry Pick est à la recherche d'unSenior Data Engineer (H/F)pour l'un de ses clients qui opère dans le secteur culturelDescription Contexte de missionAu sein d'un pôle Data d'une douzaine de personnes, vous intégrerez l'équipe Data Engineering composée de trois Data Engineers. La mission vise à renforcer l'expertise du pôle dans un...

  • Senior Data Engineer – GCP – Luxe

    il y a 1 semaine

    Paris, Île-de-France Sander Temps plein

    Vous souhaitez rejoindreun groupe français emblématique du luxe & retail, engagé dans une transformation digitale ambitieuse ? Envie de travailler au cœur d'un environnement stimulant, data-driven, avec de vrais enjeux de scalabilité et d'innovation ?Nous recrutons unSenior Data Engineerpour intégrer l'équipeData Platform, composée d'experts...

  • Data Engineer GCP

    il y a 2 jours

    Paris, Île-de-France SFEIR Temps plein

    Qui sommes-nous ? SFEIR, partenaire Premier de Google Cloud, est une communauté de 900 experts Tech dont plus de 100 spécialistes Data. SFEIR c'est aussi•140 certifiés sur GCP•70 Trainers •7 Google Developers Experts Notre expertise Data & CloudConception et implémentation de data lakes et data warehouses sur BigQueryDéveloppement de pipelines...

  • data engineer gcp

    il y a 3 jours

    Paris, Île-de-France UCASE CONSULTING Temps plein

    Bonjour,Pour le compte de notre client, nous recherchons un data GCP.ContexteDans un contexte de modernisation des plateformes data, vous intervenez sur la conception, le développement et l?industrialisation de pipelines data cloud natifs sur GCP, au service des équipes métiers et analytics.Missions principalesConcevoir et maintenir des pipelines de...

  • DATA ENGINEER GCP

    il y a 4 jours

    Paris, Île-de-France Collective Temps plein

    Budget: Bonjour,Pour le compte de notre client, nous recherchons un data GCP.ContexteDans un contexte de modernisation des plateformes data, vous intervenez sur la conception, le développement et l'industrialisation de pipelines data cloud natifs surGCP, au service des équipes métiers et analytics.Missions principalesConcevoir et maintenir des pipelines...

  • Senior Data Engineer

    il y a 2 jours

    Paris, Île-de-France Sander Temps plein

    Vous souhaitez rejoindre unestart-up tech ambitieuse, où la donnée et le cloud sont au cœur de la stratégie produit et de l'innovation IA ? Envie de travailler dans un environnement stimulant, data-driven, avec de vrais défis de scalabilité et de performance ?Nous recrutons unSenior Data Engineerpour intégrer l'équipeData Platform, composée...

  • Senior Data Engineer Python

    il y a 3 jours

    Paris, Île-de-France lehibou Temps plein

    Notre client dans le secteur Énergie et ressources naturelles recherche un Senior Data Engineer Python ? Environnement AWS Cloud H/F Descriptif de la mission:Objectifs et livrablesL?entreprise recherche une prestation de Senior Data Engineer externe, curieux(se) et engagé(e), pour rejoindre une équipe data. Le profil externe sera responsable de : ...

  • Cloud Engineer GCP

    il y a 5 jours

    Paris, Île-de-France Collective Temps plein

    Budget: 550 Contexte De La MissionPour le compte d'ungrand groupe international, nous recherchons unCloud Engineer spécialisé GCPpour rejoindre uneéquipe Data & AIen charge de concevoir, déployer et opérer des solutions digitales à forte valeur ajoutée autour de ladata, de l'IA prédictiveet de l'IA générative.Vous interviendrez au sein d'une...

  • Lead Data Engineer Senior

    il y a 2 semaines

    Paris, Île-de-France PROPULSE IT Temps plein

    PROPULSE IT recherche un Lead Data Ingénieur ayant près de 10 ans d'expérience pour un de ses clientsEn tant que Lead Data Engineer, vous travaillerez au sein de l'équipe digitale «?data et performance?», en charge principalement de l'infrastructure data, et du traitement, de l'intégration et de la transformation de la donnée digitale d'Hermès )....

  • Data engineer Python

    il y a 2 semaines

    Paris, Île-de-France lehibou Temps plein

    Notre client dans le secteur Énergie recherche un 2 x Data Engineer Python/PySpark/Microsoft Fabric/ Azure F/HDescriptif de la mission:Objectifs et livrablesNous recherchons 2 prestations de Data Engineer avec des compétences sur Python/PySpark/Microsoft Fabric sous un environnement Azure Cloud.Le prestataire Data Engineer sera responsable de la...