Data Engineer GCP Python, Spark, SQL Senior
Enregistrez cette offre et organisez votre recherche
Créez un compte gratuit pour enregistrer des offres d'emploi, créer des alertes et revenir à cette liste depuis votre tableau de bord.
En continuant, vous acceptez nos Conditions d’utilisation & Politique de confidentialité.
* Data Engineer GCP Python, Spark, SQL SeniorContext: This mission will be carried out in collaboration with the other Data teams, at the heart of the Data platform. This team consists of a product owner, a data steward, and two other data engineers. Our technical stack primarily comprises Python, Spark, and SQL for data processing; Airflow for orchestration; and Cloud Storage and Delta Lake for storage. The stack also includes BigQuery, Dataproc, PubSub, and Cloud Storage services from Google Cloud Platform, as well as Terraform and Terragrunt for infrastructure management.
MISSIONS:
1. Collect and centralize various non-homogeneous data sources 2. Ensure data compliance and security 3. Participate in data governance initiatives In interaction with team members, the service consists of:
• Actively participating in the various phases of design, planning, and execution of tasks with the team
• Building and maintaining robust and scalable data pipelines
• Supporting team members in data exploitation and querying
• Organizing and structuring data storage
• Implementing and maintaining scalable infrastructures capable of meeting the needs and rapid growth of data volume
• Building and maintaining CI/CD workflows
• Sharing best practices with other data engineers
• Ensuring the scalability, security, and stability of environments
• Participating in various data engineering meetings
• Contributing to and ensuring the updating of documentation . Actively monitoring technological developments in the fieldProfile & Required Expertise:
• At least 3 years of experience as a Data Engineer in a data environment
• Strong data
skills:
data structures, code, architecture
• Experience in designing and implementing data pipelines
• Experience in a Google Cloud Platform (GCP) environment
• Experience integrating BigQuery and Dataplex Universal Catalog
• Experience integrating Python and SQL
• Experience integrating Spark
• Experience integrating Delta Lake
• Experience integrating Terraform and Terragrunt
• Experience integrating GitLab and GitLab CI/CD
• Experience integrating Agile methodologies: Scrum or Kanban
• Ability to simplify and communicate purely technical aspects Expected Expertise Level: Senior: more than 5 years of significant experience in the type of expertise requiredWork
location:
Europe
-
Senior Data Engineer | GCP, Python
Il y a 4 jours
Paris, Nouvelle-Aquitaine, France Keoni Temps plein 80 000 € - 110 000 € ContratKéoni Consulting recherche un Data Engineer Senior spécialisé GCP et Python pour s’intégrer à l’équipe Bronze, au cœur de la plateforme Data. Vous travaillerez sur l’ingestion, la sécurisation et l’orchestration des données avec BigQuery, Spark et Airflow, tout en garantissant l’évolutivité et la conformité.Vous concevrez et...
-
Data Engineer
Il y a 20 heures
Paris, Nouvelle-Aquitaine, France Kéoni Consulting Temps plein 65 000 € - 90 000 € ContratContexteLe projet vise à mettre en place une solution permettant d’ingérer, agréger et exposer des données issues de sources multiples, afin de produire les rapports métiers nécessaires à la surveillance du risque de crédit.La solution est développée sur Google Cloud Platform (GCP) au sein d’une équipe expérimentée, sur un projet à forts...
-
GCP Data Engineer — Python/Spark for Risk Analytics
Il y a 2 jours
Paris, Nouvelle-Aquitaine, France VISIAN Temps plein 65 000 € - 90 000 € ContratOnyx-Conseil recherche un Data Engineer Python/Spark pour un projet stratégique axé sur les risques et les reportings métiers. Le poste implique l’ingestion, l’agrégation et l’exposition de données issues de sources multiples sur Google Cloud Platform (GCP).Vous contribuerez à la conception et au développement de solutions Data, au déploiement...
-
Data Engineer GCP – Python
Il y a 20 heures
Paris, Nouvelle-Aquitaine, France Kéoni Consulting Temps plein 65 000 € - 90 000 € ContratContexte Le projet vise à mettre en place une solution permettant d’ingérer, agréger et exposer des données issues de sources multiples, afin de produire les rapports métiers nécessaires à la surveillance du risque de crédit. La solution est développée sur Google Cloud Platform (GCP) au sein d’une équipe expérimentée, sur un projet à forts...
-
Senior Data Developer: Python, SQL
Il y a 4 jours
Paris, Nouvelle-Aquitaine, France Keoni Temps plein 60 000 € - 90 000 € ContratKeoni is seeking a Data Developer with 5+ years of experience in Python, SQL, Shell and Spark to support CLoudera Hadoop-based data platforms. You will develop and maintain data ingestion, populate the Datalake, and provide user support in a high-demand production environment.You will mentor juniors, review code, and ensure delivery deadlines while improving...
-
Data Engineer GCP – Python
Il y a 2 jours
Paris, Nouvelle-Aquitaine, France Keoni Temps plein 65 000 € - 90 000 € ContratContext: This project aims to implement a solution for ingesting, aggregating, and exposing data from multiple sources to generate the business reports necessary for credit risk monitoring. The solution is being developed on Google Cloud Platform (GCP) by an experienced team, on a high-stakes, high-profile project. Experience in the field of credit risk...
-
GCP Data Engineer: BigQuery, Python
Il y a 4 jours
Paris, Nouvelle-Aquitaine, France Keoni Temps plein 50 000 € - 75 000 € ContratKeoni is seeking a Data Engineer to join a DataOps project. You will implement ingestion processes, prepare and transform data, and maintain data pipelines while collaborating with DevOps and production teams.The role emphasizes autonomy, problem solving and a proactive approach in a dynamic environment. The candidate should be highly proficient with GCP,...
-
DATA Engineer Senior GCP-python
Il y a 4 jours
Paris, Nouvelle-Aquitaine, France Keoni Temps plein 80 000 € - 110 000 € ContratDATA Engineer Senior GCP-python CONTEXTE Au sein de l’équipe Bronze, la mission se déroulera en collaboration avec les autres équipes de la Data, au coeur de la plateforme Data. Cette équipe est composée d’un product owner, d’un data steward et de deux autres data ingénieurs.Notre stack technique est principalement constitué de Python, Spark,...
-
Senior Data Analyst
Il y a 4 jours
Paris, Nouvelle-Aquitaine, France Nexton Temps plein 60 000 € - 90 000 € ContratRejoindre NEXTON, c'est intégrer une entreprise où convergent l'esprit d'un cabinet de conseil, la créativité d'une Factory et la dynamique d'une ESN ! Grâce à notre expertise, nous accompagnons des clients grands comptes et des pure players tels que SNCF, Orange, et BNP Paribas dans leurs stratégies d'évolution et d'innovation digitale.Fondée en...
-
Data Engineer | Python
Il y a 5 jours
Paris, Nouvelle-Aquitaine, France TEOLIA CONSULTING Temps plein 70 000 € - 95 000 € ContratFree-Work recherche un Data Engineer Python / Spark pour concevoir et développer des solutions Data sur Google Cloud Platform (GCP). Vous participerez à l’ingestion, l’agrégation et l’exposition de données issues de sources multiples afin de produire des reportings métiers dédiés au risque de crédit.La mission se déroule dans une équipe...