Data Engineer Python

il y a 7 jours

Paris, Île-de-France KLEEVER Temps plein

As a Senior Data Engineer, you will design, build, and maintain scalable data pipelines and workflows to support our growing data ecosystem. You will focus on creating production-ready ETL processes using Apache Airflow, integrating with diverse data stores, and ensuring all code meets rigorous development standards, including peer review, scalability, and comprehensive test coverage.

The ideal candidate is a proficient developer who treats data engineering as software engineering, with hands-on experience in RAG (Retrieval-Augmented Generation) pipelines and a track record of delivering reliable, maintainable systems.

Key Responsibilities:

Develop and optimize ETL pipelines using Apache Airflow to ingest, transform, and load data from various sources into target systems.

Implement production-ready code for data workflows, ensuring scalability, fault tolerance, and adherence to best practices such as modular design, error handling, and automated testing (unit, integration, and end-to-end).

Collaborate with data scientists, analysts, and engineering teams to build and maintain RAG pipelines that enhance AI/ML applications with accurate, context-aware data retrieval.

Participate in code reviews to enforce high coding standards, promote clean, readable code, and integrate CI/CD practices for automated testing and deployment.

Monitor and troubleshoot data pipelines for performance, reliability, and data quality, implementing observability tools to detect and resolve issues proactively.

Design and optimize data storage solutions, integrating with relational and NoSQL databases to support real-time and batch processing needs.

Required Qualifications:

Bachelor's degree in Computer Science, Engineering, or a related field (or equivalent experience).

5+ years of hands-on experience as a Data Engineer or in a similar role, with a proven background as a strong developer (e.g., proficiency in Python, SQL, and related languages).

Excellent proficiency with Apache Airflow for orchestrating complex ETL workflows, including DAG creation, scheduling, and dependency management.

Demonstrated experience building scalable ETL pipelines that handle large datasets, with a focus on production-ready implementation including comprehensive test coverage (e.g., using pytest or similar frameworks).

Strong emphasis on software engineering practices: Experience with peer code reviews, version control (e.g., Git), and ensuring code is modular, documented, and scalable to prevent common pitfalls like brittle or unmaintainable pipelines.

Familiarity with data modeling, transformation, and integration in distributed environments.

Excellent problem-solving skills and the ability to work in a fast-paced, collaborative environment.

Preferred Qualifications:

Experience with RAG pipelines, including vector databases and embedding techniques for AI-driven applications.

Hands-on experience with databases such as PostgreSQL (for relational data), StarRocks (for analytical workloads), Cassandra or ScyllaDB (for high-throughput NoSQL), and Qdrant (for vector search).

Knowledge of cloud data services (e.g., AWS Glue, Azure Data Factory) and orchestration tools beyond Airflow.

Familiarity with monitoring and observability tools like Prometheus or OpenSearch for data pipeline health.

Certifications in relevant technologies (e.g., Apache Airflow)

Type d'emploi : CDI

Statut : Cadre

Rémunération : 60,00€ à 75,00€ par an

Lieu du poste : En présentiel

  • Data Engineer Python

    il y a 2 semaines

    Paris, Île-de-France COMET Temps plein

    URGENT - ? Mission Freelance : Data Engineer ? Python / PySpark / Databricks? Pas de sous-traitance? Paris ? 3 jours sur site / 2 jours remote? Démarrage : 5 janvier 2026 (Mission longue durée)? TJM : Selon profil?? Process : Codingame + soutenance technique? Contexte & projet :L?équipe Data d'un groupe dans l'énergie recherche un·e Data Engineer...

  • Lead Python Backend Engineer

    il y a 2 jours

    Paris, Île-de-France Data Theorem Temps plein

    Data Theorem is an exciting company focused on creating a more secure world for data. Rooted in a strong engineer first culture, every employee has an impact on product and direction. We are searching for exceptional talent pursuing an opportunity to grow and take ownership of the projects that resonate most with them.As a Lead Python Backend Engineer, you...

  • Data Engineer Python Azure

    il y a 4 jours

    Paris, Île-de-France ec-0b91-4fd1-a05e-dc94127b83a9 Temps plein

    DATA ENGINEER Avec des compétences sur Python/Pyspark/Databricks sous un environnement Azure Cloud.Objectifs et livrables :Nous recherchons une prestation de Data Engineering avec des compétences sur Python/Pyspark/Databricks sous un environnement Azure Cloud.Le consultant Data Engineer évoluera dans un contexte agile, en mode itératif et co-...

  • Data Engineer Python

    il y a 2 semaines

    Paris, Île-de-France UCASE CONSULTING Temps plein

    Contexte & Objectif de la missionNous recherchons pour notre client du secteur bancaire un Data Engineer confirmé sur Python.Vous interviendrez en binôme avec le développeur en place sur la conception, le développement et la mise en qualité des flux de migration, tout en garantissant la robustesse et la fiabilité du code déployé.Rôles &...

  • Data Engineer Python

    il y a 6 jours

    Paris, Île-de-France VISIAN Temps plein

    Descriptif du posteLe prestataire interviendra comme développeur senior / Data Engineer sur les différentes applications IT du périmètre :Application de data management : ingestion, stockage, supervision et restitution de time series.Application de visualisation de données de marché et des analyses produitesApplication de calcul de prévision de prixLe...

  • Data Engineer Python/PySpark/Databricks

    il y a 4 jours

    Paris, Île-de-France Free-Work Temps plein

    Mission Freelance – Data Engineer Pas de sous-traitanceJe recherche un·e Data Engineer (Python / PySpark / Databricks / AWS) pour une mission stratégique au sein d'un grand groupe international dans l'énergie Paris – 3 jours sur site / 2 jours remote Démarrage : 08/12/2025 TJM selon profilProcess : Codingame puis live coding Ce qui t'attend :...

  • Data Engineer Expérimenté

    il y a 4 jours

    Paris, Île-de-France MP DATA Temps plein

    Nous recherchons un(e)Data Engineer expérimenté(e)pour intervenir sur lamise en production, la fiabilisation et l'évolutiond'une plateforme data moderne basée surAWS, Spark et Dataiku.Vous participerez activement à laconstruction et l'optimisationdes environnements de traitement de données à grande échelle, en lien étroit avec les équipes Data...

  • Data Engineer Python

    il y a 6 jours

    Paris, Île-de-France Collective Temps plein

    MissionsLe département Data Factory recrute un Data Engineer pour concevoir, développer et maintenir les architectures Data nécessaires à l'exploitation des données par les analystes métiers et data scientists.A ce titre, vos principales missions consisteront à :Mener les projets d'intégration (temps réel) et data (big data & insights)Comprendre,...

  • Data engineer ETL(IDQ)/python

    il y a 4 jours

    Paris, Île-de-France Mindquest Temps plein

    Notre client recherche un Data Engineer ETL (Informatica / Python) pour renforcer son équipe IT au sein du domaine Finance. L?environnement technique comprend : Un ESB (Software AG) pour les traitements temps réel Un ETL (Informatica) pour les traitements batch Une Data Platform pour l?analytics (Microsoft Fabric / Power BI) Un plan de migration est...

  • Data engineer MSBI Python Azure

    il y a 2 semaines

    Paris, Île-de-France Digistrat consulting Temps plein

    ? Secteurs stratégiques : Asset management? Démarrage : ASAPPAS DE FULL REMOTE NI SOUS TRAITANCE MERCI? Contexte /Objectifs :Dans le cadre d'un projet au sein d'un client grand compte, nous sommes à la recherche d'un Data engineer avec une expertise sur la suite MSBI.Le profil recherché, Bac + 4/5 idéalement issu d?une école d?ingénieur, aura une...