Senior Data Engineer
Il y a 2 jours
Toulouse, Midi-Pyrénées, France
Créative
Temps plein
Gratuit avec email ou Google
Enregistrez cette offre et organisez votre recherche
Créez un compte gratuit pour enregistrer des offres d'emploi, créer des alertes et revenir à cette liste depuis votre tableau de bord.
Gratuit avec email ou Google
En continuant, vous acceptez nos Conditions d’utilisation & Politique de confidentialité.
Contexte Dans le cadre d'un programme data stratégique pour un grand compte industriel international, nous recherchons un(e) Senior Data Engineer pour concevoir, industrialiser et maintenir des pipelines de données de bout en bout entre un environnement cloud AWS et une plateforme analytique basée sur Palantir Foundry. Le poste s'inscrit dans une équipe produit data (data engineers, data scientists, business analysts, product owner) travaillant en mode agile sur des cas d'usage opérationnels à fort volume : données de production, de maintenance, de capteurs (IoT) et de supply chain. Missions principales
- Concevoir et développer des pipelines d'ingestion et de transformation de données (batch et quasi temps réel) depuis AWS et des systèmes sources (ERP, bases relationnelles, API, fichiers, flux) vers Palantir Foundry.
- Développer des transformations en PySpark / Python / SQL dans les Code Repositories Foundry et via Pipeline Builder, en privilégiant les builds incrémentaux.
- Modéliser et maintenir l'Ontologie Foundry (object types, link types, actions, propriétés) pour exposer des données fiables aux applications métier.
- Mettre en place les connexions sources via Data Connection (agents, connecteurs S3, JDBC, REST) et les échanges bidirectionnels Foundry ↔ AWS.
- Garantir la qualité et la fiabilité des données : data expectations, health checks, monitoring des schedules, alerting, gestion des incidents.
- Optimiser la performance et les coûts des traitements Spark (partitionnement, gestion du skew, profils de calcul).
- Industrialiser les déploiements : branches et revues de code, CI/CD, tests unitaires et de données, Infrastructure as Code côté AWS.
- Appliquer les règles de sécurité et de gouvernance : gestion des accès, markings, lignage des données, conformité RGPD.
- Documenter les pipelines et accompagner les équipes métier et les profils plus juniors (revues de code, bonnes pratiques). Groupe Créative réunit des experts en conseil, conception et développement de Softwares sur-mesure. Consultants, PO, Chefs de projet, UX-UI Designers, Architectes, Développeurs, Chercheurs… +380 collaborateurs.rices dans nos agences à Rennes, Nantes, Paris, Bordeaux, Lille et Toulouse.
- Concevoir et développer des pipelines d'ingestion et de transformation de données (batch et quasi temps réel) depuis AWS et des systèmes sources (ERP, bases relationnelles, API, fichiers, flux) vers Palantir Foundry.
- Développer des transformations en PySpark / Python / SQL dans les Code Repositories Foundry et via Pipeline Builder, en privilégiant les builds incrémentaux.
- Modéliser et maintenir l'Ontologie Foundry (object types, link types, actions, propriétés) pour exposer des données fiables aux applications métier.
- Mettre en place les connexions sources via Data Connection (agents, connecteurs S3, JDBC, REST) et les échanges bidirectionnels Foundry ↔ AWS.
- Garantir la qualité et la fiabilité des données : data expectations, health checks, monitoring des schedules, alerting, gestion des incidents.
- Optimiser la performance et les coûts des traitements Spark (partitionnement, gestion du skew, profils de calcul).
- Industrialiser les déploiements : branches et revues de code, CI/CD, tests unitaires et de données, Infrastructure as Code côté AWS.
- Appliquer les règles de sécurité et de gouvernance : gestion des accès, markings, lignage des données, conformité RGPD.
- Documenter les pipelines et accompagner les équipes métier et les profils plus juniors (revues de code, bonnes pratiques). Groupe Créative réunit des experts en conseil, conception et développement de Softwares sur-mesure. Consultants, PO, Chefs de projet, UX-UI Designers, Architectes, Développeurs, Chercheurs… +380 collaborateurs.rices dans nos agences à Rennes, Nantes, Paris, Bordeaux, Lille et Toulouse.