Data Engineer Big Data

Il y a 5 jours

Suresnes, Hauts-de-Seine, France skiils Temps plein 40 000 € - 70 000 € Contrat

Tu es passionné(e) par la Data Engineering et tu aimes concevoir des plateformes de données performantes capables de traiter des volumes massifs sur le Cloud ? BigQuery, dbt et les architectures GCP font partie de ton quotidien ?
Rejoins la Guild Data Factorii en tant que Data Engineer BigQuery / dbt et participe à des projets stratégiques de transformation data au sein d’un environnement technique de pointe.

Mais qu’est-ce que l’équipe Data Factorii adresse ?

En tant que Data Engineer H/F, tes missions seront de :

  • Concevoir et développer des pipelines de données performants : construire, maintenir et faire évoluer des traitements ELT/ETL robustes capables de gérer de très grands volumes, tout en garantissant leur qualité et leur performance.

  • Modéliser la donnée : participer à la conception de modèles de données adaptés aux besoins analytiques et métier, en garantissant leur cohérence et leur évolutivité.

  • Développer et industrialiser les transformations avec dbt : écrire, tester et documenter les modèles dbt, mettre en place des tests de qualité de données et fiabiliser les couches de transformation.

  • Optimiser les performances sur BigQuery : travailler le partitionnement, le clustering et le tuning des requêtes pour garantir performance et maîtrise des coûts.

  • Orchestrer les traitements de données : planifier, monitorer et fiabiliser les pipelines via Apache Airflow / Cloud Composer.

  • Contribuer à l’intégration de flux temps réel : participer à l’intégration de flux Kafka / Pub-Sub au sein des pipelines de traitement de données.

  • Industrialiser les développements Data : automatiser les déploiements et garantir la qualité des livrables grâce à Git et aux pipelines CI/CD (GitLab CI).

  • Collaborer avec les équipes techniques et métiers : travailler en étroite collaboration avec les équipes de développement, de production et les différents interlocuteurs métier afin de proposer des solutions adaptées aux enjeux business.

  • Participer à l’amélioration continue : être force de proposition sur les évolutions techniques, les performances des traitements et les bonnes pratiques de développement.