Data Engineer Pyspark/Dev Python

il y a 6 jours

LevalloisPerret, Île-de-France Collective Temps plein

Budget: -

Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer Pyspark avec une double casquette en développement back-end sur Python

Missions et Responsabilités

  • Développement Backend

○ Concevoir, développer et maintenir des services backend (Python, PySpark), exposant des APIs et des intégrations orientées observabilité.

○ Implémenter des solutions robustes et performantes pour répondre aux besoins d'observabilité.

  • Ingénierie des Données

○ Construire et orchestrer des pipelines ELT/ETL robustes (Airflow, Spark, Python), incluant ingestion, transformation, qualité et lineage.

○ Garantir la fiabilité, la sécurité et la gouvernance des flux (tests de données, observabilité des pipelines).

  • Stockage et Visualisation des Données

○ Gérer les données via PostgreSQL, Azure Blob Storage et ADLS (un plus pour ElasticSearch)

○ Créer des tableaux de bord et des visualisations avancées avec Grafana pour surveiller les performances et les métriques clés.

  • Collaboration Inter-équipes

○ Travailler en étroite collaboration avec l'équipes de développement, le product owner et les parties prenantes (Scrum Agile)

○ Intégrer les pratiques d'observabilité dans les cycles de développement pour améliorer la visibilité et la résilience des systèmes.

Expertises Techniques requises

  • Langages de programmation :

○ Maîtrise avancée de Python, PySpark, SQL, et NoSQL (ElasticSearch).

  • Outils et technologies :

○ Expertise dans l'utilisation de Spark & Airflow, PostgreSQL, Azure Blob Storage, et ELK Stack

○ Familiarité avec les environnements AKS (Azure Kubernetes Service), Azure Functions, Event Hub, et Grafana.

  • DevOps et CI/CD :

○ Expérience avec les pipelines CI/CD via GitHub.

○ Connaissance des pratiques d'intégration et de déploiement continus.

Compétences Linguistiques

  • Français: courant (écrit et oral).
  • Anglais: courant (écrit et oral).

Technologies principales utilisées

  • Infrastructure Cloud et Calcul

○ AKS (Azure Kubernetes Service)

○ Azure Functions

  • Gestion du Stockage de Données

○ Azure Blob Storage

○ ADLS Gen2

○ Delta

○ PostgreSQL

  • Streaming et Messagerie

○ Event Hub

○ Spark structured streaming

  • Traitement des Données, orchestration des Pipelines et Logging

○ Airflow

○ Spark

○ Azure Log Analytics & Metrics (KQL)

  • Visualisation

○ Grafana

  • Collaboration et CI/CD

○ GitHub Action

  • Architecture

○ Medaillon Delta Lake

  • Data Engineer PySpark

    il y a 6 jours

    Levallois-Perret, Île-de-France Collective Temps plein

    Budget: -La présente consultation a pour objet la sélection d'un prestataire qualifié pour participer à la migration technique d'applications développées en PySpark reposant sur une plateforme Haddop vers le Cloud privé du Groupe (IBM Cloud).Ainsi que d'assurer le RUN transverse d'applications existantes (au nombre de 7) basées sur ces mêmes...

  • Data engineer Python/Django

    il y a 2 semaines

    Levallois-Perret, Île-de-France Noodra Temps plein

    Noodra est une Marketplace de l'artisanat, du fait-main inspiré par les pays du monde. C'est une marketplace multi devises et multi langues rassemblant vendeurs et acheteurs.Nos vendeurs sont des artisans indépendants, des entrepreneurs, des designers audacieux qui œuvrent à préserver et à exporter leur savoir-faire artisanal et ancestral. Nos vendeurs...

  • Développeur / Data Engineer Observabilité h/f (IT) / Freelance

    il y a 2 semaines

    Levallois-Perret, Île-de-France Free-Work Temps plein

    Notre client recherche un Développeur Senior disposant d'une double expertise en développement backend et en ingénierie des données, pour rejoindre son équipe dédiée à l'observabilité.Concevoir, développer et maintenir des services backend (Python, PySpark) et des APIs orientées observabilitéConstruire et orchestrer des pipelines de données...

  • Lead Data Engineer/Senior Data Engineer

    il y a 2 semaines

    Levallois-Perret, Île-de-France Esmoz Temps plein

    Offre CDI / Freelance –Lead Data Engineer/Senior Data EngineerLocalisation :Levallois-Perret (92) — Télétravail :3 jours en présentiel / 2 jours remoteDisponibilité :ImmédiateDurée :longue missionType de contrat :CDI / FreelanceExpérience :minimum 5 ansContexteNous recherchons unLead Data Engineerpour rejoindre l'équipe en charge de l'ingestion...

  • data engineer h/f

    il y a 2 semaines

    Levallois-Perret, Île-de-France RS2i Temps plein

    Le poste :Nous recrutons un Consultant Data / Data Engineer qui évoluera au sein d un environnement Data & Analytics, d une culture DevOps et des contextes fonctionnant en mode Agile.En tant que Consultant Data, vous intervenez sur des problématiques métiers autour de la gestion des données.En collaboration avec les architectes data, les data analysts,...

  • Développeur Python/Django

    il y a 4 jours

    Levallois-Perret, Île-de-France Noodra Temps plein

    Noodra est une Marketplace de l'artisanat, du fait-main inspiré par les pays du monde. C'est une marketplace multi devises et multi langues rassemblant vendeurs et acheteurs.Nos vendeurs sont des artisans indépendants, des entrepreneurs, des designers audacieux qui œuvrent à préserver et à exporter leur savoir-faire artisanal et ancestral. Nos vendeurs...

  • Tech Lead Data Engineer H/F

    il y a 4 jours

    Levallois-Perret, Île-de-France JEMS Temps plein

    Nous recherchons un(e) Tech Lead Data Engineer capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data.Vous aurez la charge de :? Assurer la mise en ?uvre de l'accès, du référencement et de la qualité de la donnée? Assurer l'industrialisation, la supervision et l'intégration des solutions? Rédiger les normes de...

  • data engineer aws

    il y a 4 jours

    Levallois-Perret, Île-de-France Micropole Temps plein

    Rejoignez Micropole et devenez un #InnovativePeople MissionVous êtes convaincus que l'optimisation dupatrimoine data des entreprisesest la clé de leur performance ? Vous voulezaider les entreprisesà devenir plusagiles, et à améliorer leur niveau de performancegrâce à lapuissance du Cloud ?Vous voulez rendre les entreprisesdata intelligenteset...

  • Administrateur Big Data

    il y a 4 jours

    Levallois-Perret, Île-de-France Devoteam Data Driven Temps plein

    Devoteam Data Drivenest l'équipe spécialiste de la Data du Groupe Devoteam. Présents dans 8 pays, nous comptons plus de 1000 collaborateurs EMEA dont 300 en France. Notre ambition est d'accompagner les organisations qui ont décidé de placer les données au cœur de leur stratégie, les aidant à transformer la valeur de leurs données en succès...

  • Modern Data Stack

    il y a 2 jours

    Levallois-Perret, Île-de-France Devoteam Temps plein

    Vous êtes un Lead Data Engineer passionné par Snowflake et DBT ? Vous rêvez de travailler sur des projets innovants, de construire des assets technologiques et de transformer la façon dont les entreprises gèrent leurs données ? Ne cherchez plus Devoteam lance sa toute nouvelle entité dédiée à l'intégration de Snowflake, et nous recherchons les...