Data Engineer
Il y a 18 heures
Lille, Nord-Pas-de-Calais, France
Collective.work
Temps plein
Gratuit avec email ou Google
Enregistrez cette offre et organisez votre recherche
Créez un compte gratuit pour enregistrer des offres d'emploi, créer des alertes et revenir à cette liste depuis votre tableau de bord.
Gratuit avec email ou Google
En continuant, vous acceptez nos Conditions d’utilisation & Politique de confidentialité.
Taux journalier (TJM): 500
Nous recherchons un Data Engineer pour rejoindre une équipe Data au cœur des enjeux stratégiques d'un grand environnement international.
Vous interviendrez sur une plateforme Data à fort volume, dédiée à la centralisation, la fiabilisation et la mise à disposition des données de ventes auprès de multiples équipes métier.
Vous participerez activement à la conception et à l'évolution des pipelines Data, à l'intégration de nouveaux outils ainsi qu'à l'amélioration continue de l'écosystème technique.
VOS PRINCIPALES MISSIONS
* Concevoir, développer et maintenir des pipelines Data robustes, performants et évolutifs.
* Optimiser les traitements et les architectures Big Data.
* Assurer la qualité, la fiabilité et la gouvernance des données.
* Concevoir et industrialiser les modèles de données.
* Mettre en place les bonnes pratiques de développement, de tests et de documentation.
* Assurer le monitoring, le support et le maintien en conditions opérationnelles.
* Participer aux choix d'architecture et apporter votre expertise technique.
* Collaborer avec les équipes techniques et métier dans un environnement Agile / Scrum. Indispensables :
* Databricks : gestion des clusters et optimisation des performances.
* SQL : expertise en requêtage, modélisation et optimisation.
* Python : développement et transformation de données.
* DBT : industrialisation, documentation et tests des modèles de données.
* Airflow / Astro : orchestration et monitoring des pipelines.
* PySpark : traitement de données à grande échelle.
* Git / GitHub CI-CD : versioning, code review et intégration continue.
* Expérience des environnements Agile / Scrum. Atouts supplémentaires :
* Bonne connaissance de l'environnement AWS.
* Utilisation d'outils de développement assisté par IA (GitHub Copilot).
* Anglais professionnel, notamment à l'écrit.
Experience:
Débutant accepté
* Concevoir, développer et maintenir des pipelines Data robustes, performants et évolutifs.
* Optimiser les traitements et les architectures Big Data.
* Assurer la qualité, la fiabilité et la gouvernance des données.
* Concevoir et industrialiser les modèles de données.
* Mettre en place les bonnes pratiques de développement, de tests et de documentation.
* Assurer le monitoring, le support et le maintien en conditions opérationnelles.
* Participer aux choix d'architecture et apporter votre expertise technique.
* Collaborer avec les équipes techniques et métier dans un environnement Agile / Scrum. Indispensables :
* Databricks : gestion des clusters et optimisation des performances.
* SQL : expertise en requêtage, modélisation et optimisation.
* Python : développement et transformation de données.
* DBT : industrialisation, documentation et tests des modèles de données.
* Airflow / Astro : orchestration et monitoring des pipelines.
* PySpark : traitement de données à grande échelle.
* Git / GitHub CI-CD : versioning, code review et intégration continue.
* Expérience des environnements Agile / Scrum. Atouts supplémentaires :
* Bonne connaissance de l'environnement AWS.
* Utilisation d'outils de développement assisté par IA (GitHub Copilot).
* Anglais professionnel, notamment à l'écrit.
Experience:
Débutant accepté