Data Engineer GCP
Il y a 6 jours
Paris, A8, France
VISIAN
Temps plein
Gratuit avec email ou Google
Enregistrez cette offre et organisez votre recherche
Créez un compte gratuit pour enregistrer des offres d'emploi, créer des alertes et revenir à cette liste depuis votre tableau de bord.
Gratuit avec email ou Google
Missions
Mise en place de pipelines d?ingestion des données cliniques depuis les systèmes on-premise vers GCP (Python, GCS, BigQuery, Argo Workflows, Docker, GKE).
Transformation des données via dbt selon les modèles métiers définis.
Gestion de l?infrastructure cloud de la plateforme data (création des ressources, gestion des accès) avec Terraform.
Orchestration et automatisation des workflows de données sur GKE via Argo Workflows.
Développement du backend d?un portail utilisateur pour l?accès aux services de la plateforme (Flask).
Création d?un connecteur entre GCP et l?outil de dictionnaire des données pour la remontée et la restitution des métadonnées (Python, DataGalaxy).
Développement, maintenance des chaînes CI/CD (Git, Gitlab CI/CD).
Mise en place de la supervision et du monitoring des pipelines de données.
Rédaction de la documentation technique liée aux développements réalisés.
Environnement techniqueGCP, GKE, Argo Workflows, BigQuery, Cloud Run, Cloud Functions, Pub/Sub, Cloud Storage
Python, Terraform, Docker, Kubernetes, SQL, Git, Gitlab CI/CD, Bash
Profil candidat:
Profil recherché
Diplôme d'ingénieur ou Master en informatique, Data Engineering, ou équivalent Minimum 3 à 5 ans d'expérience en Data Engineering, idéalement sur des environnements cloud GCP Expérience confirmée dans la mise en place et l'exploitation de plateformes data en mode Build & Run Compétences techniques Excellente maîtrise de GCP et de ses services data : BigQuery, Cloud Storage, Pub/Sub, Cloud Functions, Cloud Run Solide expérience en Kubernetes / GKE et orchestration de workflows Maîtrise de Python pour le développement de pipelines de données et de connecteurs applicatifs Bonne connaissance de dbt pour la transformation de données selon des modèles métiers Expérience en Terraform pour la gestion de l'infrastructure as code Maîtrise de SQL et des bonnes pratiques de modélisation de données
Profil recherché
Diplôme d'ingénieur ou Master en informatique, Data Engineering, ou équivalent Minimum 3 à 5 ans d'expérience en Data Engineering, idéalement sur des environnements cloud GCP Expérience confirmée dans la mise en place et l'exploitation de plateformes data en mode Build & Run Compétences techniques Excellente maîtrise de GCP et de ses services data : BigQuery, Cloud Storage, Pub/Sub, Cloud Functions, Cloud Run Solide expérience en Kubernetes / GKE et orchestration de workflows Maîtrise de Python pour le développement de pipelines de données et de connecteurs applicatifs Bonne connaissance de dbt pour la transformation de données selon des modèles métiers Expérience en Terraform pour la gestion de l'infrastructure as code Maîtrise de SQL et des bonnes pratiques de modélisation de données