Data Engineer Gcp

Nous recherchons un Data Engineer GCP - BigQuery, Azure Data Factory et DBT pour contribuer à des projets de transformation de données. Vous serez responsable de la conception et de la gestion des pipelines de données en utilisant Google BigQuery comme base de données principale, Azure Data Factory (ADF) pour le processus ELT, et DBT (Data Build Tool) pour orchestrer les transformations entre les bases de données BigQuery.
Vous travaillerez sur des projets de captage et de transformation de données ainsi que sur la mise en place d'indicateurs et de rapports via des outils de BI tels que Power BI, SSRS ou d'autres plateformes de visualisation.
**Développement de pipelines de données (ELT)**:
Créer et maintenir des pipelines de données avec Azure Data Factory pour orchestrer l'extraction, le chargement et la transformation des données.
Intégrer des flux de données provenant de multiples sources vers BigQuery pour le stockage et l?analyse.
Gérer l'architecture des données, en assurant la qualité et la conformité tout au long du processus ELT.
**Transformation des données avec DBT**:
Utiliser DBT (Data Build Tool) pour transformer et modéliser les données au sein de BigQuery.
Développer et maintenir des modèles de données modifiables et bien structurés pour répondre aux besoins d'analyse métier.
Assurer une documentation claire des transformations et des modèles DBT pour faciliter leur réutilisation et leur maintenabilité.
**Gestion des données sur BigQuery**:
Assurer l'optimisation des performances des bases de données BigQuery en termes de stockage, de requêtes et de coûts.
Implémenter les meilleures pratiques pour la gestion des données, y compris les partitions et les indexations.
**Mise en place de reporting et d'indicateurs**:
Collaborer avec les équipes métiers pour définir les KPI et concevoir des tableaux de bord personnalisés avec Power BI ou SSRS.
Créer des visualisations interactives et dynamiques permettant d?analyser les données stockées dans BigQuery et issues des transformations réalisées via DBT.
Automatiser les processus de reporting pour fournir des rapports en temps réel et des indicateurs fiables.
**Documentation et optimisation**:
Documenter toutes les étapes des pipelines de données, des transformations DBT et des processus de reporting pour garantir la transparence et la collaboration entre les équipes.
Identifier et implémenter des solutions pour améliorer les performances des pipelines de données et des processus d'analyse.
**Collaboration inter-équipes**:
Travailler en collaboration avec les équipes data, DevOps, et les parties prenantes métier pour comprendre les besoins, résoudre les problèmes techniques et optimiser les flux de données.
Participer activement à l'amélioration continue des processus et des outils.
**Formation**: Bac+5 en Informatique, Data Science, ou équivalent.
**Expérience**: 3 ans minimum en tant que Data Engineer, avec une expérience avérée sur GCP (BigQuery), Azure Data Factory, et DBT.
**Plateformes cloud**:
Google Cloud Platform (BigQuery, Dataflow, Cloud Composer)
Microsoft Azure (Azure Data Factory, Azure SQL, Data Lake)
**Cloud et outils ELT**:
Expertise dans Google Cloud Platform avec un focus sur BigQuery.
Expérience solide avec Azure Data Factory pour orchestrer des processus ELT.
Maîtrise de DBT (Data Build Tool) pour les transformations de données sur BigQuery.
**Langages de programmation**:
Compétences en SQL pour le développement et l?optimisation de requêtes dans BigQuery.
Connaissance de Python ou d?autres langages de scripting est un plus.
**Outils de reporting et de BI**:
Expérience avec Power BI, SSRS ou d'autres outils de visualisation de données pour créer des rapports et des tableaux de bord interactifs.
**Bases de données**:
Connaissance approfondie de la gestion des bases de données relationnelles et des entrepôts de données (BigQuery, SQL Server, etc.).
**Optimisation et performance**:
Capacité à optimiser les pipelines, les transformations DBT, et les requêtes BigQuery pour réduire les coûts et améliorer les performances.
**Documentation et collaboration**:
Compétence en documentation des pipelines de données, des transformations et des processus d'analyse pour assurer la traçabilité et faciliter la collaboration.
Forte capacité d?analyse et de résolution de problèmes complexes.
Autonomie et rigueur dans la gestion des projets.
Excellente communication avec des équipes techniques et non techniques.