Data Engineer Python, Spark Et Aws
il y a 2 semaines
Responsabilités:
- Concevoir, développer et mettre en œuvre des pipelines de données robustes et évolutifs.
- Collaborer avec les équipes de développement et d'analyse pour comprendre les besoins et les exigences en matière de données.
- Effectuer l'ingestion, la transformation et la manipulation de données à grande échelle.
- Optimiser les performances des pipelines de données et résoudre les problèmes liés à la qualité et à la fiabilité des données.
- Mettre en place des mécanismes de surveillance et de détection des anomalies pour garantir l'intégrité des données.
Exigences:
- Au moins 3 ans d'expérience en tant que Data Engineer ou dans un rôle similaire.
- Maîtrise avancée de Python, y compris les compétences en langage pySpark, ainsi que de solides compétences en SQL.
- Expérience pratique d'au moins un an avec les technologies AWS telles que Glue, Athena, Glue Catalogue, S3, RDS et Lambda.
- Connaissance approfondie de Gitlab et Jenkins pour la gestion du code source et des déploiements.
- Une expérience préalable avec Airflow et Axway pour l'acquisition des données serait un plus apprécié.
Si vous souhaitez travailler dans un environnement de travail stimulant avec de belles opportunités de croissance professionnelle, n'hésitez pas à nous envoyez votre CV
Type d'emploi : Temps plein, CDI
Salaire : 45 000,00€ à 80 000,00€ par an
Avantages:
- Prise en charge du transport quotidien
- RTT
- Travail à domicile
Programmation:
- Période de travail de 8 Heures
Expérience:
- AWS: 3 ans (Exigé)
Lieu du poste : Hybrid remote Paris 9e)
-
Data Engineer Spark
il y a 2 semaines
Paris, Île-de-France Bek Advisory Temps pleinContexteNotre client recherche un Data engineer Spark / Scala.Vous serez intégré(e) dans l'équipe Data Science et Engineering.A chaque projet, l'équipe Data Science et Engineering intervient dans les décisions d'architecture et le cadrage fonctionnel, la conception technique, puis implémente les traitements : transformations (volumes massifs,...
-
Big Data Engineer
il y a 2 semaines
Paris, Île-de-France Octopus IT Temps pleinSenior Data Engineer | Python - Scala - Spark - AWS | Solution SaaS dans le Big Data Type de poste : CDI Salaire : En fonction de l'xp Expérience : 4/6 ans Lieu : Paris Tags : CDI | Python - Scala - Spark - AWS Vous êtes unSenior Data Engineer et souhaitez un nouveau challenge? Créée en 2016 cette startups'est spécialisée dans l'analyse de données...
-
Senior Data Engineer
il y a 2 semaines
Paris, Île-de-France Octopus IT Temps pleinSenior Data Engineer | Python - Scala - Spark - AWS | Solution SaaS dans le Big Data Type de poste : CDI Salaire : En fonction de l'xp Expérience : 4/6 ans Lieu : Paris Tags : CDI | Python - Scala - Spark - AWS Vous êtes unSenior Data Engineer et souhaitez un nouveau challenge? Et si vous rejoigniez une entreprise qui révolutionne la prise de décisions...
-
Cdi - data engineer - python
il y a 2 semaines
Paris, Île-de-France Octopus IT Temps pleinType de poste : CDI Salaire : En fonction de l'xp Expérience : 2/5 ans Lieu : Paris/Remote partiel Tags : CDI | Python, Spark, AWS/GCP | IA | Machine Learning | Big Data Plus besoin de chercher l'information Après le recrutement de leur Lead Data (réaliser ensemble)et suiteà l'annonce de leur levée de 2,5M€ pour tripler la taille de ses équipes, le...
-
Senior Data Engineer
il y a 24 heures
Paris, Ile-de-France Pulsover Temps pleinÀ propos de Pulsover : Pulsover est un cabinet de conseil spécialisé dans la data, le cloud et le delivery. La mission de nos consultants Pulsover est d'accompagner des entreprises de toutes tailles dans leur transformation digitale grâce à la combinaison de leur expertise technique et de leur capacité à gérer des projets internationaux et...
-
Big Data Engineer
il y a 2 semaines
Paris, Île-de-France Octopus IT Temps pleinData Engineer | Python - Spark - Hadoop | Spécialisé en Big Data | Paris ou Remote Partiel Type de poste : CDI Salaire : En fonction de l'xp Expérience : 2/5 ans Lieu : Paris/Remote partiel Tags : CDI | Python, Spark, Hadoop | IA | Machine Learning | Big Data Créée il y a 7ans, cette entreprise de conseilen hyper croissance, se compose d'environ 90...
-
Senior Data engineer
il y a 2 semaines
Paris, Île-de-France Mindquest Temps pleinMon client, faisant partie des leaders dans le domaine de la distribution numérique de musique, recrute un Data Engineer.Au sein de l'équipe organisée selon la pratique Scrum, en charge du Build et du Run de son périmètre, vous aurez pour responsabilité d'implémenter les flux de données depuis l'ingestion des nouvelles sources jusqu'à leur...
-
Lead Data Engineer
il y a 2 semaines
Paris, Île-de-France FREELANCEREPUBLIK Temps pleinNotre partenaire, agence digitale spécialisée dans les projets Data., recherche plusieurs profils de Lead Data Engineer pour intégrer différents projets. Chaque projet est composé d'un Lead, de plusieurs Data Engineer Juniors à confirmé et d'un PO. Projet dans la banque, construction de flux de données pour un produit type dashboard. Le lead a un...
-
Data Engineer
il y a 4 semaines
Paris, Île-de-France GROUPE LA CENTRALE Temps pleinQuelles sont les missions ?Notre équipe "Data Platform & BI" aide à gérer la donnée et à accélérer la prise de décision en proposant une plateforme Datamesh et une BI as a service à l'ensemble du groupe.Rejoignez-nous pour devenir Data Platform EngineerA ce titre, vous porterez des sujets techniques et participerez aux développements au sein de...
-
Data Engineer
il y a 1 mois
Paris, Île-de-France GROUPE LA CENTRALE Temps pleinQuelles sont les missions ?Notre équipe "Data Platform & BI" aide à gérer la donnée et à accélérer la prise de décision en proposant une plateforme Datamesh et une BI as a service à l'ensemble du groupe.Rejoignez-nous pour devenir Data Platform EngineerA ce titre, vous porterez des sujets techniques et participerez aux développements au sein de...
-
Senior Data Engineer
il y a 2 semaines
Paris, Île-de-France Octopus IT Temps pleinSenior Data Engineer | Python - Spark | Spécialiste en Big Data | Paris ou Remote Partiel Type de poste : CDI Salaire : En fonction de l'xp Expérience : 5 ans Lieu : Paris/Remote partiel Tags : CDI | Python, Spark | IA | Machine Learning | Big Data La sociétéCréée il y a 5 ans, cette entreprise compte aujourd'hui 30 personnes.Ils proposent deux...
-
Data Engineer
il y a 2 semaines
Paris 09 Opéra, Île-de-France My PepIT Temps pleinPosition: Data Engineer M/FIndustry: Eco-MobilityTechnologies: Python, SQL, Airflow, GCP (or AWS / Azure), knowledge with DevOps technologiesLocation: AmsterdamRemote Work: 2 days per weekSalary and Benefits: Competitive based on experience + Stock options + Health insurance (100%) + Meal vouchers + Paid time offTHE PROJECT:Join an international scale-up in...
-
Remote Senior Data Engineer
il y a 2 semaines
Paris, Île-de-France Believe Temps pleinBelieve est avant tout une passion pour la musique, la technologie et le marketing numérique, partagée par plus de 1720 talents dans plus de 50pays. C'est un esprit visionnaire et entrepreneurial qui nous anime et fait de nous un leader mondial de la distribution numérique de musique.Believe est une tribu d'experts qui relève avec succès les défis de...
-
Consultant·e Senior Data Engineer Aws H/F
il y a 2 semaines
Paris, Île-de-France Devoteam Temps pleinLe data engineering est essentiel pour l'analyse de données. En construisant et en optimisant les pipelines de données, les data engineers permettent aux entreprises d'exploiter pleinement leur potentiel analytique. Leur rôle crucial dans la collecte, le stockage et le traitement des données garantit une base solide pour les décisions stratégiques et...
-
Data Engineer
il y a 2 semaines
Paris, Île-de-France Believe Temps pleinBelieve est l'un des leaders mondiaux du marché de la musique numérique. Believe a pour mission d'accompagner les artistes et les labels locaux dans l'écosystème digital en leur offrant des solutions à chaque étape de leur carrière et de leur développement.Ce sont plus de 1919 salariés dans plus de 50 pays qui accompagnent les artistes avec...
-
Data Engineer Spark/ Scala
il y a 2 semaines
Paris, Île-de-France Datapy Group Temps pleinVous travaillerez en tant que data engineer sur l?environnement technique suivant:- Spark- ScalaLes plus : Kafka, avoir travaillé dans un environnement cloudVous vous différencierez également par vos qualités humaines, votre savoir-êtreLe processus de sélection comprend un entretien avec un responsable Datapy, un entretien avec notre client permettant...
-
Senior Data Engineer H/F
il y a 2 semaines
Paris, Île-de-France Believe Temps pleinBelieve est l'un des leaders mondiaux du marché de la musique numérique. Believe a pour mission d'accompagner les artistes et les labels locaux dans l'écosystème digital en leur offrant des solutions à chaque étape de leur carrière et développementCe sont plus de 1900 salariés dans 50 pays qui accompagnent artistes avec expertise, respect, équité...
-
Senior Data Engineer Databricks
il y a 24 heures
Paris, Ile-de-France VISIAN Temps pleinLa Direction des Systèmes d’Information de notre client grand compte dans l’énergie recherche un profil Data Engineer Databricks Senior pour concevoir, développer et maintenir les architectures Data nécessaires à l’exploitation de ses données par les analystes métiers et data scientists.Le Data Engineer Senior intègre une équipe en charge du...
-
Senior Engineer, Data Engineering
il y a 2 semaines
Paris, Île-de-France Mirakl - Labs Temps pleinLa solution SaaS Mirakl est le moteur des marketplaces des plus importants e-commerçants à travers le monde. Cette solution gère et produit de gros volumes de données qui présentent des challenges extrêmement intéressants pour les spécialistes de la donnée (produits, commandes, clients, niveaux de stock, prix, messages, appels API, données de...
-
Data Engineer
il y a 24 heures
Paris, Ile-de-France Branch Tech Temps pleinThe Role My client are seeking a talented Data Engineer to join their growing team. You will play a key role in designing, building, and maintaining our data pipelines and infrastructure. This role requires a strong understanding of PostgreSQL databases and experience working with cloud platforms.ResponsibilitiesDesign, develop, and implement data pipelines...