Senior Data Engineer
Il y a 5 jours
Lille, Nord-Pas-de-Calais, France
Collective.work
Temps plein
Gratuit avec email ou Google
Enregistrez cette offre et organisez votre recherche
Créez un compte gratuit pour enregistrer des offres d'emploi, créer des alertes et revenir à cette liste depuis votre tableau de bord.
Gratuit avec email ou Google
En continuant, vous acceptez nos Conditions d’utilisation & Politique de confidentialité.
Taux journalier (TJM): 530€ / jour
CONTEXTE
Mission longue (12 mois renouvelables) chez un grand acteur du secteur du retail. Présence sur site 3 jours obligatoire à Lille (Le client souhaite uniquement une personne habitant sur place).
MISSIONS, RÔLES ET RESPONSABILITÉS
* Renforcer l'équipe Dataplatform afin d'accélérer l'industrialisation des pipelines de données et des outils d'ingestion sur Google Cloud Platform (GCP).
* Assurer la gouvernance et le contrôle de la plateforme (architecture, modèle médaillon) pour garantir cohérence, qualité et pérennité.
* Mettre en œuvre et faire respecter les standards d'observabilité, de FinOps et de sécurité sur l'ensemble de la plateforme.
* Automatiser le provisioning et l'infrastructure via Terraform pour fiabiliser et accélérer les déploiements.
* Concevoir et industrialiser des pipelines et services data sur GCP (Cloud Run, Cloud Functions, Pub/Sub, Airflow, BigQuery, Vertex AI).
* Réduire la dette technique et améliorer en continu la maintenabilité des composants de la plateforme.
* Documenter les pratiques et animer la communauté des Data Engineers autour des standards et des bonnes pratiques.
* Contribuer à des projets IA/ML en s'appuyant sur Vertex AI.
* Travailler en présentiel 3 jours par semaine (obligatoire), avec un démarrage sur un chantier majeur prévu début 2025. COMPÉTENCES REQUISES
* Excellente maîtrise de GCP, et capacité à concevoir et opérer des composants data à l'échelle (notamment BigQuery et les services managés associés).
* Solide expérience de Terraform pour l'Infrastructure as Code, l'automatisation du provisioning et la standardisation des déploiements.
* Maîtrise d'Airflow pour l'orchestration de pipelines, la gestion des dépendances, la planification et la supervision des traitements.
* Très bon niveau en SQL pour le traitement, la modélisation et l'optimisation des données.
* Expérience confirmée des enjeux Dataplatform (gouvernance, industrialisation, qualité et standards de plateforme).
PROFIL RECHERCHÉ
* Expérience significative sur des environnements de type Dataplatform, avec un rôle structurant sur l'architecture et la gouvernance.
* Habitude de cadrer et d'appliquer des standards de plateforme (observabilité, FinOps, sécurité) dans une logique d'industrialisation.
* Capacité à porter la réduction de la dette technique et à améliorer durablement la qualité et la maintenabilité des solutions.
* Aisance pour documenter, partager les bonnes pratiques et animer une équipe/communauté de Data Engineers.
* Intérêt pour les sujets IA/ML et contribution possible à des projets s'appuyant sur Vertex AI.
* Disponibilité pour une présence sur site 3 jours par semaine (condition obligatoire).
Experience:
2 An(s)
* Renforcer l'équipe Dataplatform afin d'accélérer l'industrialisation des pipelines de données et des outils d'ingestion sur Google Cloud Platform (GCP).
* Assurer la gouvernance et le contrôle de la plateforme (architecture, modèle médaillon) pour garantir cohérence, qualité et pérennité.
* Mettre en œuvre et faire respecter les standards d'observabilité, de FinOps et de sécurité sur l'ensemble de la plateforme.
* Automatiser le provisioning et l'infrastructure via Terraform pour fiabiliser et accélérer les déploiements.
* Concevoir et industrialiser des pipelines et services data sur GCP (Cloud Run, Cloud Functions, Pub/Sub, Airflow, BigQuery, Vertex AI).
* Réduire la dette technique et améliorer en continu la maintenabilité des composants de la plateforme.
* Documenter les pratiques et animer la communauté des Data Engineers autour des standards et des bonnes pratiques.
* Contribuer à des projets IA/ML en s'appuyant sur Vertex AI.
* Travailler en présentiel 3 jours par semaine (obligatoire), avec un démarrage sur un chantier majeur prévu début 2025. COMPÉTENCES REQUISES
* Excellente maîtrise de GCP, et capacité à concevoir et opérer des composants data à l'échelle (notamment BigQuery et les services managés associés).
* Solide expérience de Terraform pour l'Infrastructure as Code, l'automatisation du provisioning et la standardisation des déploiements.
* Maîtrise d'Airflow pour l'orchestration de pipelines, la gestion des dépendances, la planification et la supervision des traitements.
* Très bon niveau en SQL pour le traitement, la modélisation et l'optimisation des données.
* Expérience confirmée des enjeux Dataplatform (gouvernance, industrialisation, qualité et standards de plateforme).
PROFIL RECHERCHÉ
* Expérience significative sur des environnements de type Dataplatform, avec un rôle structurant sur l'architecture et la gouvernance.
* Habitude de cadrer et d'appliquer des standards de plateforme (observabilité, FinOps, sécurité) dans une logique d'industrialisation.
* Capacité à porter la réduction de la dette technique et à améliorer durablement la qualité et la maintenabilité des solutions.
* Aisance pour documenter, partager les bonnes pratiques et animer une équipe/communauté de Data Engineers.
* Intérêt pour les sujets IA/ML et contribution possible à des projets s'appuyant sur Vertex AI.
* Disponibilité pour une présence sur site 3 jours par semaine (condition obligatoire).
Experience:
2 An(s)