Data Engineer GCP
Il y a 4 mois
Paris, Ile-de-France
Pyl.Tech
Temps plein
Gratuit avec email ou Google
Enregistrez cette offre et organisez votre recherche
Créez un compte gratuit pour enregistrer des offres d'emploi, créer des alertes et revenir à cette liste depuis votre tableau de bord.
Gratuit avec email ou Google
En continuant, vous acceptez nos Conditions d’utilisation & Politique de confidentialité.
Pyl.
Tech est un pure player Google qui accompagne les entreprises dans leur transformation numérique grâce à des solutions innovantes personnalisées. De la modernisation des infrastructures Cloud à l’adoption de l’IA Générative (Gemini), en passant par le Digital Workplace et la Data, nous intervenons de la conception stratégique à la mise en œuvre technique auprès de clients grands comptes et ETI ambitieuses. Notre conviction : conjuguer performance et simplicité au service de votre transformation. Pour renforcer notre pôle Data & Plateformes, nous cherchons un(e) Data Engineer en mesure de construire des pipelines de données robustes alimentant les plateformes Analytics et IA de nos clients sur Google Cloud. Construction de Pipelines Data : Développer des pipelines batch robustes avec Apache Beam / Dataflow pour traiter des volumes de données massifs (TB+) Concevoir des pipelines de streaming temps réel avec Pub/Sub et Dataflow Streaming pour l’ingéstion événementielle Gérer l’ingéstion multi-sources complexe : APIs REST/GraphQL, bases relationnelles (CDC), fichiers plats, données semi-structurées (JSON, Avro, Parquet) Orchestrer les workflows de données avec Cloud Composer (Airflow) : dépendances, retry policies, alerting et SLA monitoring Implémenter les stratégies de gestion d’erreurs : dead letter queues, idempotence et exactly-once processing Architecture & Modélisation : Designer le Data Warehouse BigQuery avec une architecture en couches (raw, staging, curated, serving) selon les bonnes pratiques Appliquer la modélisation dimensionnelle (étoile/flocon) et les techniques de Slowly Changing Dimensions (SCD Type 1/2/3) Optimiser les performances BigQuery : Partitioning (time/range), Clustering, materialized views et BI Engine Concevoir le Data Lake sur Cloud Storage avec une convention de nommage et un cycle de vie adapté (Nearline, Coldline, Archive) Qualité & Gouvernance : Mettre en place la Data Quality avec dbt tests, Great Expectations et contrôles de cohérence inter-tables Implémenter le catalogage des données avec Dataplex : discovery, classification automatique et tagging métier Assurer la traçabilité complète des données (lineage) avec Data Catalog et les metadata BigQuery Définir et appliquer les politiques de Data Masking et de contrôle d’accès au niveau colonne (column-level security) Industrialisation & DevOps Data : Industrialiser les déploiements avec CI/CD pour la Data : tests unitaires dbt, validation de schémas et promotion d’environnements Provisionner l’infrastructure Data via Terraform : datasets BigQuery, topics Pub/Sub, buckets et DAGs Composer Documenter les pipelines, les modèles de données et les runbooks opérationnels pour assurer la maintenabilité
Formation:
Titulaire d’un diplôme Bac+5 en Informatique ou Data Science.
Expérience:
Fort(e) d’une expérience de 2 à 4 ans en Data Engineering avec un focus sur BigQuery. Vos compétences Techniques (“Hard skills”) : Expert SQL avec requêtes complexes et optimisation Bonne maîtrise Python pour scripting et transformations Expérience BigQuery, Dataflow, Pub/Sub, Cloud Storage Connaissance Airflow, dbt, Terraform Comportementales (“Soft skills”) : Rigueur et sens de la qualité des données Autonomie et capacité à travailler en équipe Curiosité pour les services managés GCP Échange RH(visio) – Un premier échange avec un membre de l’équipe de recrutement, consacré à la découverte de votre parcours, de vos aspirations professionnelles et de votre potentiel d’évolution au sein de Pyl.
Tech. Entretien technique(visio) – Une rencontre approfondie avec le manager de l’équipe concernée, visant à évaluer l’adéquation entre votre expertise technique, vos qualités humaines et les exigences du poste. Entretien final avec un co-fondateur(visio ou présentiel) – Un échange privilégié avec l’un des fondateurs de Pyl.
Tech, l’occasion de partager la vision de l’entreprise, de répondre à vos dernières interrogations et de confirmer votre projection à long terme. Ce que Pyl.
Tech vous offre De solides perspectives d’évolution : Un plan de carrière clair avec des formations ciblées et des certifications professionnelles (Google Cloud, Gemini, etc.) pour accélérer votre développement professionnel. Un cadre de travail flexible et stimulant : Télétravail, culture d’entreprise basée sur la confiance, l’entraide et l’innovation. Des projets à fort impact : Contribuez à des projets mobilisant les technologies les plus innovantes (IA Générative Gemini, Cloud souverain, Data, Digital Workplace) au service de clients grands comptes et d’ETI ambitieuses. Un écosystème Google unique : En tant que pure player Google, bénéficiez d’un accès privilégié aux dernières technologies, aux formations partenaires et à une communauté d’experts passionnés où chaque expertise est valorisée.
Tech est un pure player Google qui accompagne les entreprises dans leur transformation numérique grâce à des solutions innovantes personnalisées. De la modernisation des infrastructures Cloud à l’adoption de l’IA Générative (Gemini), en passant par le Digital Workplace et la Data, nous intervenons de la conception stratégique à la mise en œuvre technique auprès de clients grands comptes et ETI ambitieuses. Notre conviction : conjuguer performance et simplicité au service de votre transformation. Pour renforcer notre pôle Data & Plateformes, nous cherchons un(e) Data Engineer en mesure de construire des pipelines de données robustes alimentant les plateformes Analytics et IA de nos clients sur Google Cloud. Construction de Pipelines Data : Développer des pipelines batch robustes avec Apache Beam / Dataflow pour traiter des volumes de données massifs (TB+) Concevoir des pipelines de streaming temps réel avec Pub/Sub et Dataflow Streaming pour l’ingéstion événementielle Gérer l’ingéstion multi-sources complexe : APIs REST/GraphQL, bases relationnelles (CDC), fichiers plats, données semi-structurées (JSON, Avro, Parquet) Orchestrer les workflows de données avec Cloud Composer (Airflow) : dépendances, retry policies, alerting et SLA monitoring Implémenter les stratégies de gestion d’erreurs : dead letter queues, idempotence et exactly-once processing Architecture & Modélisation : Designer le Data Warehouse BigQuery avec une architecture en couches (raw, staging, curated, serving) selon les bonnes pratiques Appliquer la modélisation dimensionnelle (étoile/flocon) et les techniques de Slowly Changing Dimensions (SCD Type 1/2/3) Optimiser les performances BigQuery : Partitioning (time/range), Clustering, materialized views et BI Engine Concevoir le Data Lake sur Cloud Storage avec une convention de nommage et un cycle de vie adapté (Nearline, Coldline, Archive) Qualité & Gouvernance : Mettre en place la Data Quality avec dbt tests, Great Expectations et contrôles de cohérence inter-tables Implémenter le catalogage des données avec Dataplex : discovery, classification automatique et tagging métier Assurer la traçabilité complète des données (lineage) avec Data Catalog et les metadata BigQuery Définir et appliquer les politiques de Data Masking et de contrôle d’accès au niveau colonne (column-level security) Industrialisation & DevOps Data : Industrialiser les déploiements avec CI/CD pour la Data : tests unitaires dbt, validation de schémas et promotion d’environnements Provisionner l’infrastructure Data via Terraform : datasets BigQuery, topics Pub/Sub, buckets et DAGs Composer Documenter les pipelines, les modèles de données et les runbooks opérationnels pour assurer la maintenabilité
Formation:
Titulaire d’un diplôme Bac+5 en Informatique ou Data Science.
Expérience:
Fort(e) d’une expérience de 2 à 4 ans en Data Engineering avec un focus sur BigQuery. Vos compétences Techniques (“Hard skills”) : Expert SQL avec requêtes complexes et optimisation Bonne maîtrise Python pour scripting et transformations Expérience BigQuery, Dataflow, Pub/Sub, Cloud Storage Connaissance Airflow, dbt, Terraform Comportementales (“Soft skills”) : Rigueur et sens de la qualité des données Autonomie et capacité à travailler en équipe Curiosité pour les services managés GCP Échange RH(visio) – Un premier échange avec un membre de l’équipe de recrutement, consacré à la découverte de votre parcours, de vos aspirations professionnelles et de votre potentiel d’évolution au sein de Pyl.
Tech. Entretien technique(visio) – Une rencontre approfondie avec le manager de l’équipe concernée, visant à évaluer l’adéquation entre votre expertise technique, vos qualités humaines et les exigences du poste. Entretien final avec un co-fondateur(visio ou présentiel) – Un échange privilégié avec l’un des fondateurs de Pyl.
Tech, l’occasion de partager la vision de l’entreprise, de répondre à vos dernières interrogations et de confirmer votre projection à long terme. Ce que Pyl.
Tech vous offre De solides perspectives d’évolution : Un plan de carrière clair avec des formations ciblées et des certifications professionnelles (Google Cloud, Gemini, etc.) pour accélérer votre développement professionnel. Un cadre de travail flexible et stimulant : Télétravail, culture d’entreprise basée sur la confiance, l’entraide et l’innovation. Des projets à fort impact : Contribuez à des projets mobilisant les technologies les plus innovantes (IA Générative Gemini, Cloud souverain, Data, Digital Workplace) au service de clients grands comptes et d’ETI ambitieuses. Un écosystème Google unique : En tant que pure player Google, bénéficiez d’un accès privilégié aux dernières technologies, aux formations partenaires et à une communauté d’experts passionnés où chaque expertise est valorisée.