Data Engineer Python, Spark Et Aws

il y a 2 semaines


Paris Opéra, Île-de-France Datapy Temps plein
**Description du poste**:
Responsabilités:

- Concevoir, développer et mettre en œuvre des pipelines de données robustes et évolutifs.
- Collaborer avec les équipes de développement et d'analyse pour comprendre les besoins et les exigences en matière de données.
- Effectuer l'ingestion, la transformation et la manipulation de données à grande échelle.
- Optimiser les performances des pipelines de données et résoudre les problèmes liés à la qualité et à la fiabilité des données.
- Mettre en place des mécanismes de surveillance et de détection des anomalies pour garantir l'intégrité des données.

Exigences:

- Au moins 3 ans d'expérience en tant que Data Engineer ou dans un rôle similaire.
- Maîtrise avancée de Python, y compris les compétences en langage pySpark, ainsi que de solides compétences en SQL.
- Expérience pratique d'au moins un an avec les technologies AWS telles que Glue, Athena, Glue Catalogue, S3, RDS et Lambda.
- Connaissance approfondie de Gitlab et Jenkins pour la gestion du code source et des déploiements.
- Une expérience préalable avec Airflow et Axway pour l'acquisition des données serait un plus apprécié.

Si vous souhaitez travailler dans un environnement de travail stimulant avec de belles opportunités de croissance professionnelle, n'hésitez pas à nous envoyez votre CV

Type d'emploi : Temps plein, CDI

Salaire : 45 000,00€ à 80 000,00€ par an

Avantages:

- Prise en charge du transport quotidien
- RTT
- Travail à domicile

Programmation:

- Période de travail de 8 Heures

Expérience:

- AWS: 3 ans (Exigé)

Lieu du poste : Hybrid remote Paris 9e)
  • Data Engineer Spark

    il y a 2 semaines


    Paris, Île-de-France Bek Advisory Temps plein

    ContexteNotre client recherche un Data engineer Spark / Scala.Vous serez intégré(e) dans l'équipe Data Science et Engineering.A chaque projet, l'équipe Data Science et Engineering intervient dans les décisions d'architecture et le cadrage fonctionnel, la conception technique, puis implémente les traitements : transformations (volumes massifs,...

  • Big Data Engineer

    il y a 2 semaines


    Paris, Île-de-France Octopus IT Temps plein

    Senior Data Engineer | Python - Scala - Spark - AWS | Solution SaaS dans le Big Data Type de poste : CDI Salaire : En fonction de l'xp Expérience : 4/6 ans Lieu : Paris Tags : CDI | Python - Scala - Spark - AWS Vous êtes unSenior Data Engineer et souhaitez un nouveau challenge? Créée en 2016 cette startups'est spécialisée dans l'analyse de données...

  • Senior Data Engineer

    il y a 2 semaines


    Paris, Île-de-France Octopus IT Temps plein

    Senior Data Engineer | Python - Scala - Spark - AWS | Solution SaaS dans le Big Data Type de poste : CDI Salaire : En fonction de l'xp Expérience : 4/6 ans Lieu : Paris Tags : CDI | Python - Scala - Spark - AWS Vous êtes unSenior Data Engineer et souhaitez un nouveau challenge? Et si vous rejoigniez une entreprise qui révolutionne la prise de décisions...

  • Cdi - data engineer - python

    il y a 2 semaines


    Paris, Île-de-France Octopus IT Temps plein

    Type de poste : CDI Salaire : En fonction de l'xp Expérience : 2/5 ans Lieu : Paris/Remote partiel Tags : CDI | Python, Spark, AWS/GCP | IA | Machine Learning | Big Data Plus besoin de chercher l'information Après le recrutement de leur Lead Data (réaliser ensemble)et suiteà l'annonce de leur levée de 2,5M€ pour tripler la taille de ses équipes, le...

  • Senior Data Engineer

    il y a 24 heures


    Paris, Ile-de-France Pulsover Temps plein

    À propos de Pulsover : Pulsover est un cabinet de conseil spécialisé dans la data, le cloud et le delivery. La mission de nos consultants Pulsover est d'accompagner des entreprises de toutes tailles dans leur transformation digitale grâce à la combinaison de leur expertise technique et de leur capacité à gérer des projets internationaux et...

  • Big Data Engineer

    il y a 2 semaines


    Paris, Île-de-France Octopus IT Temps plein

    Data Engineer | Python - Spark - Hadoop | Spécialisé en Big Data | Paris ou Remote Partiel Type de poste : CDI Salaire : En fonction de l'xp Expérience : 2/5 ans Lieu : Paris/Remote partiel Tags : CDI | Python, Spark, Hadoop | IA | Machine Learning | Big Data Créée il y a 7ans, cette entreprise de conseilen hyper croissance, se compose d'environ 90...

  • Senior Data engineer

    il y a 2 semaines


    Paris, Île-de-France Mindquest Temps plein

    Mon client, faisant partie des leaders dans le domaine de la distribution numérique de musique, recrute un Data Engineer.Au sein de l'équipe organisée selon la pratique Scrum, en charge du Build et du Run de son périmètre, vous aurez pour responsabilité d'implémenter les flux de données depuis l'ingestion des nouvelles sources jusqu'à leur...

  • Lead Data Engineer

    il y a 2 semaines


    Paris, Île-de-France FREELANCEREPUBLIK Temps plein

    Notre partenaire, agence digitale spécialisée dans les projets Data., recherche plusieurs profils de Lead Data Engineer pour intégrer différents projets. Chaque projet est composé d'un Lead, de plusieurs Data Engineer Juniors à confirmé et d'un PO. Projet dans la banque, construction de flux de données pour un produit type dashboard. Le lead a un...

  • Data Engineer

    il y a 4 semaines


    Paris, Île-de-France GROUPE LA CENTRALE Temps plein

    Quelles sont les missions ?Notre équipe "Data Platform & BI" aide à gérer la donnée et à accélérer la prise de décision en proposant une plateforme Datamesh et une BI as a service à l'ensemble du groupe.Rejoignez-nous pour devenir Data Platform EngineerA ce titre, vous porterez des sujets techniques et participerez aux développements au sein de...

  • Data Engineer

    il y a 1 mois


    Paris, Île-de-France GROUPE LA CENTRALE Temps plein

    Quelles sont les missions ?Notre équipe "Data Platform & BI" aide à gérer la donnée et à accélérer la prise de décision en proposant une plateforme Datamesh et une BI as a service à l'ensemble du groupe.Rejoignez-nous pour devenir Data Platform EngineerA ce titre, vous porterez des sujets techniques et participerez aux développements au sein de...

  • Senior Data Engineer

    il y a 2 semaines


    Paris, Île-de-France Octopus IT Temps plein

    Senior Data Engineer | Python - Spark | Spécialiste en Big Data | Paris ou Remote Partiel Type de poste : CDI Salaire : En fonction de l'xp Expérience : 5 ans Lieu : Paris/Remote partiel Tags : CDI | Python, Spark | IA | Machine Learning | Big Data La sociétéCréée il y a 5 ans, cette entreprise compte aujourd'hui 30 personnes.Ils proposent deux...

  • Data Engineer

    il y a 2 semaines


    Paris 09 Opéra, Île-de-France My PepIT Temps plein

    Position: Data Engineer M/FIndustry: Eco-MobilityTechnologies: Python, SQL, Airflow, GCP (or AWS / Azure), knowledge with DevOps technologiesLocation: AmsterdamRemote Work: 2 days per weekSalary and Benefits: Competitive based on experience + Stock options + Health insurance (100%) + Meal vouchers + Paid time offTHE PROJECT:Join an international scale-up in...

  • Remote Senior Data Engineer

    il y a 2 semaines


    Paris, Île-de-France Believe Temps plein

    Believe est avant tout une passion pour la musique, la technologie et le marketing numérique, partagée par plus de 1720 talents dans plus de 50pays. C'est un esprit visionnaire et entrepreneurial qui nous anime et fait de nous un leader mondial de la distribution numérique de musique.Believe est une tribu d'experts qui relève avec succès les défis de...


  • Paris, Île-de-France Devoteam Temps plein

    Le data engineering est essentiel pour l'analyse de données. En construisant et en optimisant les pipelines de données, les data engineers permettent aux entreprises d'exploiter pleinement leur potentiel analytique. Leur rôle crucial dans la collecte, le stockage et le traitement des données garantit une base solide pour les décisions stratégiques et...

  • Data Engineer

    il y a 2 semaines


    Paris, Île-de-France Believe Temps plein

    Believe est l'un des leaders mondiaux du marché de la musique numérique. Believe a pour mission d'accompagner les artistes et les labels locaux dans l'écosystème digital en leur offrant des solutions à chaque étape de leur carrière et de leur développement.Ce sont plus de 1919 salariés dans plus de 50 pays qui accompagnent les artistes avec...

  • Data Engineer Spark/ Scala

    il y a 2 semaines


    Paris, Île-de-France Datapy Group Temps plein

    Vous travaillerez en tant que data engineer sur l?environnement technique suivant:- Spark- ScalaLes plus : Kafka, avoir travaillé dans un environnement cloudVous vous différencierez également par vos qualités humaines, votre savoir-êtreLe processus de sélection comprend un entretien avec un responsable Datapy, un entretien avec notre client permettant...

  • Senior Data Engineer H/F

    il y a 2 semaines


    Paris, Île-de-France Believe Temps plein

    Believe est l'un des leaders mondiaux du marché de la musique numérique. Believe a pour mission d'accompagner les artistes et les labels locaux dans l'écosystème digital en leur offrant des solutions à chaque étape de leur carrière et développementCe sont plus de 1900 salariés dans 50 pays qui accompagnent artistes avec expertise, respect, équité...


  • Paris, Ile-de-France VISIAN Temps plein

    La Direction des Systèmes d’Information de notre client grand compte dans l’énergie recherche un profil Data Engineer Databricks Senior pour concevoir, développer et maintenir les architectures Data nécessaires à l’exploitation de ses données par les analystes métiers et data scientists.Le Data Engineer Senior intègre une équipe en charge du...


  • Paris, Île-de-France Mirakl - Labs Temps plein

    La solution SaaS Mirakl est le moteur des marketplaces des plus importants e-commerçants à travers le monde. Cette solution gère et produit de gros volumes de données qui présentent des challenges extrêmement intéressants pour les spécialistes de la donnée (produits, commandes, clients, niveaux de stock, prix, messages, appels API, données de...

  • Data Engineer

    il y a 24 heures


    Paris, Ile-de-France Branch Tech Temps plein

    The Role My client are seeking a talented Data Engineer to join their growing team. You will play a key role in designing, building, and maintaining our data pipelines and infrastructure. This role requires a strong understanding of PostgreSQL databases and experience working with cloud platforms.ResponsibilitiesDesign, develop, and implement data pipelines...