Data Engineer

Il y a 18 heures

Lille, Nord-Pas-de-Calais, France Collective.work Temps plein
Taux journalier (TJM): 500 Nous recherchons un Data Engineer pour rejoindre une équipe Data au cœur des enjeux stratégiques d'un grand environnement international. Vous interviendrez sur une plateforme Data à fort volume, dédiée à la centralisation, la fiabilisation et la mise à disposition des données de ventes auprès de multiples équipes métier. Vous participerez activement à la conception et à l'évolution des pipelines Data, à l'intégration de nouveaux outils ainsi qu'à l'amélioration continue de l'écosystème technique. VOS PRINCIPALES MISSIONS
* Concevoir, développer et maintenir des pipelines Data robustes, performants et évolutifs.
* Optimiser les traitements et les architectures Big Data.
* Assurer la qualité, la fiabilité et la gouvernance des données.
* Concevoir et industrialiser les modèles de données.
* Mettre en place les bonnes pratiques de développement, de tests et de documentation.
* Assurer le monitoring, le support et le maintien en conditions opérationnelles.
* Participer aux choix d'architecture et apporter votre expertise technique.
* Collaborer avec les équipes techniques et métier dans un environnement Agile / Scrum. Indispensables :
* Databricks : gestion des clusters et optimisation des performances.
* SQL : expertise en requêtage, modélisation et optimisation.
* Python : développement et transformation de données.
* DBT : industrialisation, documentation et tests des modèles de données.
* Airflow / Astro : orchestration et monitoring des pipelines.
* PySpark : traitement de données à grande échelle.
* Git / GitHub CI-CD : versioning, code review et intégration continue.
* Expérience des environnements Agile / Scrum. Atouts supplémentaires :
* Bonne connaissance de l'environnement AWS.
* Utilisation d'outils de développement assisté par IA (GitHub Copilot).
* Anglais professionnel, notamment à l'écrit.

Experience:
Débutant accepté