Data Engineer Gcp Dbt

Je recherche pour un de mes clients dans le domaine de la Banque/Assurance un Data Engineer GCP&DBT confirmé:
**Missions principales**:
? Participer aux analyses, études d?impacts et cadrage techniques
? Concevoir des solutions en respectant les bonnes pratiques d?architecture data et développement
? Réaliser le développement de nouveaux data products et assurer la maintenance évolutive et corrective des data products existants
? Rédiger la documentation technique des data products
? Assurer un support aux testeurs
? Reporter de ton activité à ta Squad et travailler dans une démarche d?efficacité collective
**Livrables principaux**:
? Réaliser du code applicatif à l?état de l?art sur notre nouvelle Data Platform
? Rédiger les documentations techniques liés à ta solution, incluant le modèle de données, les procédures, l?ordonnancements
? Faire des propositions techniques
**Compétences techniques**:
**? Langages de programmation**: Python, SQL, Scripts Shell
**? Services de streaming data**: Kafka
**? Services d?ingestion des données**: Kafka Connect, SFTP
**? Services de stockage**: GCP BigQuery, Cloud Storage, Kafka, Sharepoint
**? Processing**: Scripts Python, GCP Dataflow, Data Build Tool (DBT)
**? Restitution**: Looker (Dashboards, Explores de données), Fichiers de reporting (CSV, Excel)
**? Outils de collaboration et de CI/CD**: GitLab, Flamingo
? Utilisation de plateformes pour le développement et le déploiement : Docker, Kubernetes, Kustomize, Helm, Terraform
**? Testing**: Tests avec DBT, Tests de non-régression, collaboration avec la QA.
**? Manipulation des formats de fichiers**: CSV, JSON, Avro, XML
**Compétences transverses**:
? Autonomie, rigueur, proactivité et prise d?initiative
? Curiosité, veille technologie sur le data engineering et sur l?AI / ML
? Capacité à aborder des problèmes complexes de manière structurée
? Aptitude à concevoir des solutions innovantes
? Capacité d?écoute, d?analyse et de synthèse
? Capacité à communiquer, à travailler en équipe et excellent relationnel
Une pratique opérationnelle de l?anglais est également nécessaire pour la rédaction de la documentation et la participation à certaines cérémonies.
Une expérience professionnelle significative dans le domaine de la banque de détail est un plus.
Je recherche pour un de mes clients dans le domaine de la Banque/Assurance un Data Engineer GCP&DBT confirmé:
**Missions principales**:
? Participer aux analyses, études d?impacts et cadrage techniques
? Concevoir des solutions en respectant les bonnes pratiques d?architecture data et développement
? Réaliser le développement de nouveaux data products et assurer la maintenance évolutive et corrective des data products existants
? Rédiger la documentation technique des data products
? Assurer un support aux testeurs
? Reporter de ton activité à ta Squad et travailler dans une démarche d?efficacité collective
**Livrables principaux**:
? Réaliser du code applicatif à l?état de l?art sur notre nouvelle Data Platform
? Rédiger les documentations techniques liés à ta solution, incluant le modèle de données, les procédures, l?ordonnancements
? Faire des propositions techniques
**Compétences techniques**:
**? Langages de programmation**: Python, SQL, Scripts Shell
**? Services de streaming data**: Kafka
**? Services d?ingestion des données**: Kafka Connect, SFTP
**? Services de stockage**: GCP BigQuery, Cloud Storage, Kafka, Sharepoint
**? Processing**: Scripts Python, GCP Dataflow, Data Build Tool (DBT)
**? Restitution**: Looker (Dashboards, Explores de données), Fichiers de reporting (CSV, Excel)
**? Outils de collaboration et de CI/CD**: GitLab, Flamingo
? Utilisation de plateformes pour le développement et le déploiement : Docker, Kubernetes, Kustomize, Helm, Terraform
**? Testing**: Tests avec DBT, Tests de non-régression, collaboration avec la QA.
**? Manipulation des formats de fichiers**: CSV, JSON, Avro, XML
**Compétences transverses**:
? Autonomie, rigueur, proactivité et prise d?initiative
? Curiosité, veille technologie sur le data engineering et sur l?AI / ML
? Capacité à aborder des problèmes complexes de manière structurée
? Aptitude à concevoir des solutions innovantes
? Capacité d?écoute, d?analyse et de synthèse
? Capacité à communiquer, à travailler en équipe et excellent relationnel
Une pratique opérationnelle de l?anglais est également nécessaire pour la rédaction de la documentation et la participation à certaines cérémonies.
Une expérience professionnelle significative dans le domaine de la banque de détail est un plus.