Data Engineer Python
Il y a 3 mois
**Data engineer Python**
- **Contexte**:_
La Direction Technique du Numérique mène des projets transverses en étroite collaboration avec les autres directions, notamment la direction Data. La Direction Data, au sein de la Direction du Numérique, a été créée avec la volonté de faire de la Data un levier de croissance des offres numériques.
La Direction Data a 3 grandes missions : maximiser la collecte de données tout en respectant les réglementations en vigueur, développer la connaissance et l’expérience utilisateurs et mettre à disposition auprès des équipes internes des outils de pilotage et d’aide à la décision.
Avec pour objectif d’accélérer dans le déploiement de la Gouvernance des données au sein de notre plateforme Data, nous souhaitons constituer une nouvelle équipe en charge de déployer les différents datasets organisés par domaine de données. Cette équipe est composée d’un product owner, d’un data steward et d’un data ingénieur.
Notre stack technique est principalement constituée de Python, Spark, SQL, dbt, BigQuery et Airflow pour l’orchestration des traitements. La stack inclut aussi d’autres services de la Google Cloud Platform.
1- Déployer les datasets normés sur un ou plusieurs des data domain suivants : Utilisateurs, Comportements et Référentiels
2- Accompagner les utilisateurs dans leurs usages
3- Mettre en place le contrôle qualité sur ces datasets
**MISSIONS**:
En interaction avec les membres de l’équipe, mission consistera à
- Construire et maintenir de pipelines data robustes et scalables
- Accompagner les membres de l’équipe dans l’exploitation et le requêtage des données
- Organiser et structurer le stockage des données
- Mettre en place et maintenir des infrastructures scalables capable de répondre aux besoins et à l’accroissement rapide du volume de données
- Participer aux initiatives de gouvernance des données en assurant la qualité, la fiabilité et l’intégrité des données
- Construire et maintenir les workflows de la CI/CD centrés données
- Collaborer avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur
- Participer à la guilde des data ingénieurs
- Assurer l’évolutivité, la sécurité, la stabilité des environnements
- Contribuer et veiller à la mise à jour de la documentation
- Faire de la veille technologique active dans le domaine
- Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l’équipe
**Expertises requises**:
- Au moins 3 ans d’expérience en tant que Data Ingénieur dans un environnement data
- Compétences solides en data : structures de données, code, architecture
- Expériences dans un environnement du Cloud Provider Public Google (GCP)
- Une bonne maîtrise des langages Python et SQL est indispensable
- Expériences en Spark
- La connaissance de dbt est un plus
- Expertises dans la mise en place de pipeline ETL / ELT
- Bonnes connaissances de Gitlab et Gitlab CI/CD
- Capacité à vulgariser et à communiquer sur des aspects purement techniques
- Pratique des méthodes Agile : Scrum ou Kanban
Type d'emploi : Temps plein
Rémunération : 2 000,00€ à 4 500,00€ par mois
Lieu du poste : En présentiel
Date de début prévue : 01/10/2024
-
Data Engineer
il y a 2 semaines
Paris, Île-de-France Data Engineer - Lead - Data Platforms Temps pleinJob Title: Data Engineer - Lead - Data PlatformsAbout Us:We're a team of engineers at Lenstra who deliver top-quality solutions to our clients, serving industries like Banking/Insurance, Luxury, and Tech. Our holistic approach helps clients solve complex problems around Cloud Computing & DevOps, Data Platform, and IT Security.Key Responsibilities:Designing...
-
Data Engineer Python/spark
Il y a 2 mois
Paris, France VISIAN Temps pleinBonjour, Dans le cadre de ses projets clients, Visian est à la recherche d'n Data Engineer Python/Spark. Les missions de la prestation notamment seront: Remplacement des pipelines Informatica par des pipelines spark, pyspark et python Ordonnancement : Remplacement du DAC de OBIEE par Dagster Restitution : Création de rapports sur Apache SuperSet sur la...
-
Lead Python Backend Engineer
Il y a 6 mois
Paris, France Data Theorem Temps plein**Data Theorem is an exciting company focused on creating a more secure world for data. Rooted in a strong engineer first culture, every employee has an impact on product and direction. We are searching for exceptional talent pursuing an opportunity to grow and take ownership of the projects that resonate most with them.**: You will: - Implement web...
-
Lead Python Backend Engineer
Il y a 6 mois
Paris, France Data Theorem Temps pleinParis, France Full Time Experienced **Data Theorem is an exciting company focused on creating a more secure world for data. Rooted in a strong engineer first culture, every employee has an impact on product and direction. We are searching for exceptional talent pursuing an opportunity to grow and take ownership of the projects that resonate most with...
-
Data Engineer Python/pandas/pyspark/databricks
Il y a 2 mois
Paris, France LeHibou Temps pleinNotre client, acteur majeur de l'énergie, recherche un Data Engineer avec des compétences sur Python/Pandas/Pyspark/Databricks sous un environnement Azure Cloud. Le Data Engineer doit avoir des connaissances solides du langage de programmation Python et avoir travaillé avec ce langage pendant au moins les 4 dernières années. Le Data Engineer évoluera...
-
Data Engineer
Il y a 3 mois
Paris, France Cherry Pick Temps pleinNous recherchons une prestation de Data Engineering avec des compétences sur Python/ Pandas/ Pyspark/ Databricks sous un environnement Azure Cloud. Le data engineer évoluera dans un contexte agile, en mode itératif et co-constructif, en s?appuyant sur l?intelligence collective. Le data engineer sera responsable de la conception, du développement et de la...
-
Data Engineer Aws/python/pyspark/databricks/kinesis
Il y a 2 mois
Paris, France Cherry Pick Temps pleinNous recherchons une prestation de Data Engineering avec des compétences sur Python/Pandas/Pyspark/Databricks/Kinesis/MongoDB sous un environnement AWS Cloud. Le Data Engineer doit avoir des connaissances solides du langage de programmation Python et avoir travaillé avec ce langage pendant au moins les 4 dernières années. Le data engineer évoluera dans...
-
Data Architect
Il y a 2 mois
Paris, France Data Engineer - Lead - Data Platforms Temps pleinLenstra was created by the passion of engineers specialised in Computer Science with a proven history in delivering top quality solutions to its customers. Bringing together work excellence and vision we managed to serve top tier clients from a variety of industry domains like Banking/Insurance, Luxury and Tech.We help our clients to solve their most...
-
Data Engineer
Il y a 2 mois
Paris, France LeHibou Temps pleinNotre client est un acteur majeur du secteur des énergies. Il recherche un(e) consultant(e) pour une prestation de Data Engineering avec des compétences sur Python/Pandas/Pyspark/Databricks/Kinesis/MongoDB sous un environnement AWS Cloud. Le Data Engineer doit avoir des connaissances solides du langage de programmation Python et avoir travaillé avec ce...
-
Senior Data Engineer
Il y a 4 mois
Paris, Ile-de-France Datasite Temps pleinDatasite is where deals are made. We provide the data rooms and SaaS technology used in M&A and other high-value transactions, to deliver projects in more than 170 countries. Carrying that success into the future is all about you. Your useful skills, your unusual experience, your unique ideas. Everyone here brings something unexpected. What's yours?...
-
Senior Data Engineer
Il y a 2 mois
Paris, France Datasite Temps pleinDatasite is where deals are made. We provide the data rooms and SaaS technology used in M&A and other high-value transactions, to deliver projects in more than 170 countries. Carrying that success into the future is all about you. Your useful skills, your unusual experience, your unique ideas. Everyone here brings something unexpected. What's yours? Invest...
-
Senior Data Engineer
Il y a 4 mois
Paris, France Datasite Temps pleinDatasite is where deals are made. We provide the data rooms and SaaS technology used in M&A and other high-value transactions, to deliver projects in more than 170 countries. Carrying that success into the future is all about you. Your useful skills, your unusual experience, your unique ideas. Everyone here brings something unexpected. What's yours?...
-
Senior Data Engineer
Il y a 4 mois
Paris, France Datasite Temps pleinJob Description:The kind of data engineer we are looking for is a software engineer first, with a strong focus (at least initially) on Python programming and scalability.Primary responsibilitiesWrite Python pipelines for semantic processing (NLP) and data augmentation in general:- Vectorisation (embeddings) to/from MongoDB/Pinecone- Named Entity Recognition...
-
Data Engineer
Il y a 3 mois
Paris, France CTG Temps pleinEn tant que Data Engineer Python Airflow, vous travaillerez en direct avec le Team Lead, les business analystes et le PO. Vous aurez à c?ur de comprendre le business model. **Vos activités principales seront**: Automatiser des processus répétitifs sans valeur ajoutée dans le but de les optimiser et répondre ainsi aux besoins d?excellence...
-
Data Engineer Python
Il y a 3 mois
Paris, France AMD Blue Temps pleinQui sommes-nous ? Chez AMD Blue, l'innovation est notre passion, et nous sommes fiers de présenter Blue Data, notre Tribu spécialisée dans le domaine de la Data. Avec une présence établie sur l'ensemble du territoire français et une récente expansion aux États-Unis, nous sommes résolument tournés vers l'avenir. Dans le cadre d?un besoin client,...
-
Lead Data Intégration
Il y a 6 mois
Paris, France WAKE IT UP Temps pleinPostgresql / Graphql / Scala / Flask / Python / Agile_ - Data Engineer, Big Data Developer, Lead Developer Backend, Backend Developer / CDI / Environ 85k€ / 7+ / Paris_ **Le poste** La société: - Start-Up innovante qui édite une Smart Digital Platform en mode Saas, basée sur la Data et l’IA. - Son objectif : optimiser les chaines de production dans...
-
Software Engineer Python
Il y a 6 mois
Paris, France Harnham Temps pleinINFO - SALARY: - €60000 - €80000 LOCATION Paris - JOB TYPE - Permanent **Software Engineer Python - Sport** **60K€-80K€ par an** **Full remote, France** Cette société spécialisé développe une technologie SaaS orienté Data innovante à destination du monde du sport. Aujourd'hui elle recherche un profil Software Engineer avec une dominante...
-
Data Engineer Spark/python
Il y a 6 mois
Paris, France Apside Temps plein**OPPORTUNITE A POURVOIR : Data Engineer Spark/Python !** **Découvrez la Vie Apsidienne** et vous aussi, devenez Apsidien On aurait pu demander à Chat GPT de vous démontrer en quoi **Apside est l’ESN qu’il vous faut,** mais on préfère que vous le découvriez vous-mêmes **Découvrez votre future mission** **Contexte** - Le client a lancé un...
-
Data Engineer
Il y a 3 mois
Paris, France SCALIAN Temps pleinEn tant que Data Engineer, vous jouerez un rôle clé dans la conception, le développement et la maintenance des pipelines de données qui alimentent nos plateformes analytiques. Vous collaborerez étroitement avec les équipes Data Science, IT, et produit pour transformer les données brutes en insights exploitables. Concevoir et implémenter des pipelines...
-
Senior Data Engineer
Il y a 6 mois
Paris, France Dataworks Temps plein**Senior Data Engineer** **Paris - France (full remote possible)** **60-70K€ + variable** **TECH STACK**: GCP, Python, SQL, Airflow, dbt **LA SOCIÉTÉ**: Voici une opportunité de travailler pour une startup avec un produit SaaS à destination des métiers marketing. Avec une forte culture tech, ils recherchent un Senior Data Engineer pour renforcer...
