Data Engineer Python

Il y a 2 mois

Paris, France Kéoni Consulting Temps plein

**Data engineer Python**
- **Contexte**:_

La Direction Technique du Numérique mène des projets transverses en étroite collaboration avec les autres directions, notamment la direction Data. La Direction Data, au sein de la Direction du Numérique, a été créée avec la volonté de faire de la Data un levier de croissance des offres numériques.

La Direction Data a 3 grandes missions : maximiser la collecte de données tout en respectant les réglementations en vigueur, développer la connaissance et l’expérience utilisateurs et mettre à disposition auprès des équipes internes des outils de pilotage et d’aide à la décision.

Avec pour objectif d’accélérer dans le déploiement de la Gouvernance des données au sein de notre plateforme Data, nous souhaitons constituer une nouvelle équipe en charge de déployer les différents datasets organisés par domaine de données. Cette équipe est composée d’un product owner, d’un data steward et d’un data ingénieur.

Notre stack technique est principalement constituée de Python, Spark, SQL, dbt, BigQuery et Airflow pour l’orchestration des traitements. La stack inclut aussi d’autres services de la Google Cloud Platform.

1- Déployer les datasets normés sur un ou plusieurs des data domain suivants : Utilisateurs, Comportements et Référentiels

2- Accompagner les utilisateurs dans leurs usages

3- Mettre en place le contrôle qualité sur ces datasets

**MISSIONS**:
En interaction avec les membres de l’équipe, mission consistera à
- Construire et maintenir de pipelines data robustes et scalables
- Accompagner les membres de l’équipe dans l’exploitation et le requêtage des données
- Organiser et structurer le stockage des données
- Mettre en place et maintenir des infrastructures scalables capable de répondre aux besoins et à l’accroissement rapide du volume de données
- Participer aux initiatives de gouvernance des données en assurant la qualité, la fiabilité et l’intégrité des données
- Construire et maintenir les workflows de la CI/CD centrés données
- Collaborer avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur
- Participer à la guilde des data ingénieurs
- Assurer l’évolutivité, la sécurité, la stabilité des environnements
- Contribuer et veiller à la mise à jour de la documentation
- Faire de la veille technologique active dans le domaine
- Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l’équipe

**Expertises requises**:

- Au moins 3 ans d’expérience en tant que Data Ingénieur dans un environnement data
- Compétences solides en data : structures de données, code, architecture
- Expériences dans un environnement du Cloud Provider Public Google (GCP)
- Une bonne maîtrise des langages Python et SQL est indispensable
- Expériences en Spark
- La connaissance de dbt est un plus
- Expertises dans la mise en place de pipeline ETL / ELT
- Bonnes connaissances de Gitlab et Gitlab CI/CD
- Capacité à vulgariser et à communiquer sur des aspects purement techniques
- Pratique des méthodes Agile : Scrum ou Kanban

Type d'emploi : Temps plein

Rémunération : 2 000,00€ à 4 500,00€ par mois

Lieu du poste : En présentiel

Date de début prévue : 01/10/2024

  • Data Engineer

    il y a 6 jours

    Paris, France Data Engineer - Lead - Data Platforms Temps plein

    Lenstra was created by the passion of engineers specialised in Computer Science with a proven history in delivering top quality solutions to its customers. Bringing together work excellence and vision we managed to serve top tier clients from a variety of industry domains like Banking/Insurance, Luxury and Tech.We help our clients to solve their most...

  • Data Engineer

    il y a 3 semaines

    Paris, Île-de-France ECF Data, LLC Temps plein

    Expert Data Engineer WantedECF Data, LLC is seeking a seasoned Data Engineer to bolster their Lyon-based team. The ideal candidate will contribute to a cutting-edge data project platform, leveraging their expertise in Microsoft Azure ecosystem.Key Responsibilities:Collaborate with fellow Data Engineers and developers on technical issues and best...

  • Data Engineer Python/spark

    il y a 4 semaines

    Paris, France VISIAN Temps plein

    Bonjour, Dans le cadre de ses projets clients, Visian est à la recherche d'n Data Engineer Python/Spark. Les missions de la prestation notamment seront: Remplacement des pipelines Informatica par des pipelines spark, pyspark et python Ordonnancement : Remplacement du DAC de OBIEE par Dagster Restitution : Création de rapports sur Apache SuperSet sur la...

  • Lead Python Backend Engineer

    Il y a 5 mois

    Paris, France Data Theorem Temps plein

    **Data Theorem is an exciting company focused on creating a more secure world for data. Rooted in a strong engineer first culture, every employee has an impact on product and direction. We are searching for exceptional talent pursuing an opportunity to grow and take ownership of the projects that resonate most with them.**: You will: - Implement web...

  • Lead Python Backend Engineer

    Il y a 5 mois

    Paris, France Data Theorem Temps plein

    Paris, France Full Time Experienced **Data Theorem is an exciting company focused on creating a more secure world for data. Rooted in a strong engineer first culture, every employee has an impact on product and direction. We are searching for exceptional talent pursuing an opportunity to grow and take ownership of the projects that resonate most with...

  • Python Engineer

    il y a 3 semaines

    Paris, Île-de-France Elveflow Temps plein

    Job Requirements We are seeking a Python engineer to join our data analytics team at Elveflow. As a data engineer, you will be responsible for designing and implementing data pipelines, working closely with our research team to analyze and process large datasets. The ideal candidate will have a strong background in statistics and data science, with...

  • Data Engineer

    il y a 3 semaines

    Paris, Île-de-France Elveflow Temps plein

    Job Overview We are seeking a highly skilled Python engineer to join our team at Elveflow. As a data engineer, you will be responsible for designing and implementing data pipelines, working closely with our research team to analyze and process large datasets. The ideal candidate will have a strong background in statistics and data science, with proficiency...

  • Data Engineer Python/Spark

    il y a 4 semaines

    Paris, France VISIAN Temps plein

    Bonjour,Dans le cadre de ses projets clients, Visian est à la recherche d'n Data Engineer Python/Spark.Les missions de la prestation notamment seront : Remplacement des pipelines Informatica par des pipelines spark, pyspark et pythonOrdonnancement : Remplacement du DAC de OBIEE par DagsterRestitution : Création de rapports sur Apache SuperSet sur la base...

  • Data Engineer

    il y a 4 semaines

    Paris, Île-de-France ECF Data, LLC Temps plein

    Job Title: Data Engineer - LyonECF Data, LLC is seeking a skilled Data Engineer to join our Lyon-based team. As a Data Engineer, you will play a crucial role in contributing to our client-focused data project platform.About the RoleWe are looking for a highly motivated and experienced Data Engineer to join our team. The ideal candidate will have a strong...

  • Data Engineer Python/pandas/pyspark/databricks

    il y a 1 mois

    Paris, France LeHibou Temps plein

    Notre client, acteur majeur de l'énergie, recherche un Data Engineer avec des compétences sur Python/Pandas/Pyspark/Databricks sous un environnement Azure Cloud. Le Data Engineer doit avoir des connaissances solides du langage de programmation Python et avoir travaillé avec ce langage pendant au moins les 4 dernières années. Le Data Engineer évoluera...

  • Data Engineer

    Il y a 2 mois

    Paris, France Cherry Pick Temps plein

    Nous recherchons une prestation de Data Engineering avec des compétences sur Python/ Pandas/ Pyspark/ Databricks sous un environnement Azure Cloud. Le data engineer évoluera dans un contexte agile, en mode itératif et co-constructif, en s?appuyant sur l?intelligence collective. Le data engineer sera responsable de la conception, du développement et de la...

  • Data Engineer

    il y a 3 semaines

    Paris, Île-de-France ECF Data, LLC Temps plein

    ECF Data, LLC is seeking a highly skilled Data Engineer to contribute to the development of a client-focused data project platform. As a key member of our Lyon-based expert team, you will be responsible for participating in technical and functional design workshops, developing functionalities, and collaborating with other Data Engineers and developers on...

  • Data Engineer Aws/python/pyspark/databricks/kinesis

    il y a 4 semaines

    Paris, France Cherry Pick Temps plein

    Nous recherchons une prestation de Data Engineering avec des compétences sur Python/Pandas/Pyspark/Databricks/Kinesis/MongoDB sous un environnement AWS Cloud. Le Data Engineer doit avoir des connaissances solides du langage de programmation Python et avoir travaillé avec ce langage pendant au moins les 4 dernières années. Le data engineer évoluera dans...

  • Data Engineer

    il y a 4 semaines

    Paris, Île-de-France ECF Data, LLC Temps plein

    Twyce is a consulting firm that specializes in digital transformation, but above all, it's an exciting human adventure with a community of over 50 collaborators based mainly in Paris and Montreal.Founded in 2021, Twyce emphasizes a strong commitment to its customers and teams, built around the principles of intrapreneurship, collective intelligence, and...

  • Data Engineer

    il y a 3 semaines

    Paris, Île-de-France ECF Data, LLC Temps plein

    Twyce is a consulting firm specializing in Digital Transformation, with a strong focus on innovation and customer satisfaction. We are looking for a talented Data Engineer to join our team and work on large-scale projects in various sectors, including Banking, Insurance, Transport, Energy, Telecoms, and Retail.The ideal candidate will have a strong...

  • Data Engineer

    il y a 4 semaines

    Paris, France LeHibou Temps plein

    Notre client est un acteur majeur du secteur des énergies. Il recherche un(e) consultant(e) pour une prestation de Data Engineering avec des compétences sur Python/Pandas/Pyspark/Databricks/Kinesis/MongoDB sous un environnement AWS Cloud. Le Data Engineer doit avoir des connaissances solides du langage de programmation Python et avoir travaillé avec ce...

  • Data Architect

    il y a 4 semaines

    Paris, France Data Engineer - Lead - Data Platforms Temps plein

    Lenstra was created by the passion of engineers specialised in Computer Science with a proven history in delivering top quality solutions to its customers. Bringing together work excellence and vision we managed to serve top tier clients from a variety of industry domains like Banking/Insurance, Luxury and Tech.We help our clients to solve their most...

  • Cloud and Data Solutions Engineer

    il y a 3 semaines

    Paris, Île-de-France ECF Data, LLC Temps plein

    We are looking for a talented Data Engineer to join our team and work on large-scale projects in various sectors, including Banking, Insurance, Transport, Energy, Telecoms, and Retail.The ideal candidate will have a strong background in data processing, cloud computing, and software development. Responsibilities will include designing and implementing data...

  • Senior Data Engineer

    il y a 4 semaines

    Paris, France Datasite Temps plein

    Datasite is where deals are made. We provide the data rooms and SaaS technology used in M&A and other high-value transactions, to deliver projects in more than 170 countries. Carrying that success into the future is all about you. Your useful skills, your unusual experience, your unique ideas. Everyone here brings something unexpected. What's yours? Invest...

  • Senior Data Engineer

    il y a 1 mois

    Paris, France Datasite Temps plein

    Datasite is where deals are made. We provide the data rooms and SaaS technology used in M&A and other high-value transactions, to deliver projects in more than 170 countries. Carrying that success into the future is all about you. Your useful skills, your unusual experience, your unique ideas. Everyone here brings something unexpected. What's yours? Invest...