Data Engineer Pyspark/Dev Python

il y a 5 jours

LevalloisPerret, Île-de-France Collective Temps plein

Budget: -

Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer Pyspark avec une double casquette en développement back-end sur Python

Missions et Responsabilités

  • Développement Backend

○ Concevoir, développer et maintenir des services backend (Python, PySpark), exposant des APIs et des intégrations orientées observabilité.

○ Implémenter des solutions robustes et performantes pour répondre aux besoins d'observabilité.

  • Ingénierie des Données

○ Construire et orchestrer des pipelines ELT/ETL robustes (Airflow, Spark, Python), incluant ingestion, transformation, qualité et lineage.

○ Garantir la fiabilité, la sécurité et la gouvernance des flux (tests de données, observabilité des pipelines).

  • Stockage et Visualisation des Données

○ Gérer les données via PostgreSQL, Azure Blob Storage et ADLS (un plus pour ElasticSearch)

○ Créer des tableaux de bord et des visualisations avancées avec Grafana pour surveiller les performances et les métriques clés.

  • Collaboration Inter-équipes

○ Travailler en étroite collaboration avec l'équipes de développement, le product owner et les parties prenantes (Scrum Agile)

○ Intégrer les pratiques d'observabilité dans les cycles de développement pour améliorer la visibilité et la résilience des systèmes.

Expertises Techniques requises

  • Langages de programmation :

○ Maîtrise avancée de Python, PySpark, SQL, et NoSQL (ElasticSearch).

  • Outils et technologies :

○ Expertise dans l'utilisation de Spark & Airflow, PostgreSQL, Azure Blob Storage, et ELK Stack

○ Familiarité avec les environnements AKS (Azure Kubernetes Service), Azure Functions, Event Hub, et Grafana.

  • DevOps et CI/CD :

○ Expérience avec les pipelines CI/CD via GitHub.

○ Connaissance des pratiques d'intégration et de déploiement continus.

Compétences Linguistiques

  • Français: courant (écrit et oral).
  • Anglais: courant (écrit et oral).

Technologies principales utilisées

  • Infrastructure Cloud et Calcul

○ AKS (Azure Kubernetes Service)

○ Azure Functions

  • Gestion du Stockage de Données

○ Azure Blob Storage

○ ADLS Gen2

○ Delta

○ PostgreSQL

  • Streaming et Messagerie

○ Event Hub

○ Spark structured streaming

  • Traitement des Données, orchestration des Pipelines et Logging

○ Airflow

○ Spark

○ Azure Log Analytics & Metrics (KQL)

  • Visualisation

○ Grafana

  • Collaboration et CI/CD

○ GitHub Action

  • Architecture

○ Medaillon Delta Lake

  • Data Engineer PySpark

    il y a 5 jours

    Levallois-Perret, Île-de-France Collective Temps plein

    Budget: -La présente consultation a pour objet la sélection d'un prestataire qualifié pour participer à la migration technique d'applications développées en PySpark reposant sur une plateforme Haddop vers le Cloud privé du Groupe (IBM Cloud).Ainsi que d'assurer le RUN transverse d'applications existantes (au nombre de 7) basées sur ces mêmes...

  • Développeur / Data Engineer Observabilité h/f (IT) / Freelance

    il y a 1 semaine

    Levallois-Perret, Île-de-France Free-Work Temps plein

    Notre client recherche un Développeur Senior disposant d'une double expertise en développement backend et en ingénierie des données, pour rejoindre son équipe dédiée à l'observabilité.Concevoir, développer et maintenir des services backend (Python, PySpark) et des APIs orientées observabilitéConstruire et orchestrer des pipelines de données...

  • Data Engineer

    il y a 1 jour

    Levallois-Perret, Île-de-France Devoteam Temps plein

    Description de l'entreprise Devoteam Data Driven est l'équipe spécialiste de la Data du Groupe Devoteam. Nous sommes 300 en France et notre ambition est d'accompagner les organisations qui ont décidé de placer les données au cœur de leur stratégie, les aidant à transformer la valeur de leurs données en succès durable. Description du poste Expert...

  • Lead Data Engineer/Senior Data Engineer

    il y a 2 semaines

    Levallois-Perret, Île-de-France Esmoz Temps plein

    Offre CDI / Freelance –Lead Data Engineer/Senior Data EngineerLocalisation :Levallois-Perret (92) — Télétravail :3 jours en présentiel / 2 jours remoteDisponibilité :ImmédiateDurée :longue missionType de contrat :CDI / FreelanceExpérience :minimum 5 ansContexteNous recherchons unLead Data Engineerpour rejoindre l'équipe en charge de l'ingestion...

  • Data Engineer H/F

    il y a 7 jours

    Levallois-Perret, Île-de-France JEMS Temps plein

    Nous recherchons un(e) data engineer capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data.Vous aurez la charge de :? Participer à la conception et réalisation d'une solution Data depuis l'acquisition jusqu'à l'exploitation de la donnée en accompagnant la réflexion des directions métiers? Identifier, collecter...

  • data engineer h/f

    il y a 1 semaine

    Levallois-Perret, Île-de-France RS2i Temps plein

    Le poste :Nous recrutons un Consultant Data / Data Engineer qui évoluera au sein d un environnement Data & Analytics, d une culture DevOps et des contextes fonctionnant en mode Agile.En tant que Consultant Data, vous intervenez sur des problématiques métiers autour de la gestion des données.En collaboration avec les architectes data, les data analysts,...

  • Tech Lead Data Engineer H/F

    il y a 3 jours

    Levallois-Perret, Île-de-France JEMS Temps plein

    Nous recherchons un(e) Tech Lead Data Engineer capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data.Vous aurez la charge de :? Assurer la mise en ?uvre de l'accès, du référencement et de la qualité de la donnée? Assurer l'industrialisation, la supervision et l'intégration des solutions? Rédiger les normes de...

  • Senior Data Engineer

    il y a 7 jours

    Levallois-Perret, Île-de-France Doctolib Temps plein

    What you'll doAt Doctolib, we're on a mission to transform healthcare through the power of AI. As a Senior Data Engineer, you'll play a key role in building and optimizing the data foundations within the AI Team to deliver safe, scalable, and impactful models.You will join a dedicated team working on data infrastructure for LLM, VLM and RAG-based systems,...

  • data engineer aws

    il y a 3 jours

    Levallois-Perret, Île-de-France Micropole Temps plein

    Rejoignez Micropole et devenez un #InnovativePeople MissionVous êtes convaincus que l'optimisation dupatrimoine data des entreprisesest la clé de leur performance ? Vous voulezaider les entreprisesà devenir plusagiles, et à améliorer leur niveau de performancegrâce à lapuissance du Cloud ?Vous voulez rendre les entreprisesdata intelligenteset...

  • Administrateur Big Data

    il y a 3 jours

    Levallois-Perret, Île-de-France Devoteam Data Driven Temps plein

    Devoteam Data Drivenest l'équipe spécialiste de la Data du Groupe Devoteam. Présents dans 8 pays, nous comptons plus de 1000 collaborateurs EMEA dont 300 en France. Notre ambition est d'accompagner les organisations qui ont décidé de placer les données au cœur de leur stratégie, les aidant à transformer la valeur de leurs données en succès...