Tech Lead Data Engineer Pyspark

il y a 2 semaines

Paris, France UCASE CONSULTING Temps plein

Bonjour,
Pour le compte de notre client, nous recherchons un Tech lead data engineer Pyspark / Azure / Databricks.
**Missions ci-après**:
1?? Analyse et Conception
Étudier les besoins métiers et concevoir l?architecture des pipelines de données en intégrant des modèles adaptés aux cas d?usage.
(Tech Lead) Définir la stratégie technique, valider les choix d?architecture et assurer leur cohérence avec les exigences métier et techniques.
2?? Développement des Pipelines
Développer et optimiser des pipelines ETL/ELT avec PySpark, intégrer diverses sources de données (SQL, NoSQL, APIs, fichiers) et garantir leur performance.
(Tech Lead) Assurer les bonnes pratiques de développement, réaliser des revues de code et encadrer les développeurs juniors.
3?? Gestion des Environnements Cloud
Configurer et gérer les clusters Databricks, orchestrer les flux de données avec Azure Data Factory / Databricks Workflows et stocker les données dans Azure Data Lake.
(Tech Lead) Optimiser la gestion des ressources cloud, mettre en place des standards pour le provisioning des environnements et superviser les décisions liées aux coûts et performances.
4?? Optimisation et Performance
Améliorer l?exécution des jobs avec Delta Lake, optimiser le code PySpark (partitioning, caching, joins...) et mettre en place du monitoring.
(Tech Lead) Définir et promouvoir les meilleures pratiques d?optimisation et de monitoring, analyser les bottlenecks et proposer des solutions adaptées à grande échelle.
5?? Sécurisation et Gouvernance
Assurer la sécurité des données avec RBAC, ACLs, Unity Catalog, mettre en place des contrôles d?accès et garantir la qualité des données (tests, validation, gestion des erreurs).
(Tech Lead) Définir les standards de sécurité et de gouvernance, assurer la conformité aux réglementations (GDPR, RGPD, ISO) et encadrer l?implémentation des bonnes pratiques.
6?? Automatisation et CI/CD
Automatiser le déploiement des pipelines via Azure DevOps, Terraform, intégrer des tests unitaires et des workflows CI/CD pour Databricks.
7?? Supervision et Maintenance
Suivre les performances et les coûts via Azure Monitor, assurer la maintenance des pipelines et documenter les processus pour le partage de connaissances.
(Tech Lead) Coordonner les opérations de maintenance, établir une vision long terme des évolutions techniques et encadrer la montée en compétences des équipes. ?
Bac + 5 informatique
**Prérequis**: Au moins 6 ans d'XP en python et pyspark
**XP**: Au moins 1 an sur Databricks et Azure
**XP**: 1 an en tant que tech lead
RIgoureux, bon relationnel et bonne communication

  • Data Engineer

    il y a 3 jours

    Paris, France Zenika Temps plein

    Une entreprise innovante dans le secteur tech recherche un Data Engineer expert en Python et pyspark pour intégrer des solutions data. Le candidat idéal doit avoir au moins 6 ans d'expérience et un Bac +5. Vous travaillerez sur des projets complexes dans un environnement agile, avec un fort accent sur la qualité et l'innovation. Rejoignez une équipe...

  • Junior Data Engineer: PySpark

    il y a 2 semaines

    Paris, France FORVIA Temps plein

    Une entreprise leader en mobilité durable recherche un Data Engineer Apprenti pour rejoindre l'équipe à Paris. Votre mission inclut l'analyse de données massives avec PySpark, le développement d'outils pour améliorer la qualité des données, et le travail en étroite collaboration avec des ingénieurs experts. Vous devez avoir un diplôme en...

  • Data Engineer

    il y a 6 jours

    Paris, France Cherry Pick Temps plein

    Nous recherchons une prestation de Data Engineering avec des compétences sur Python/ Pandas/ Pyspark/ Databricks sous un environnement Azure Cloud. Le data engineer évoluera dans un contexte agile, en mode itératif et co-constructif, en s?appuyant sur l?intelligence collective. Le data engineer sera responsable de la conception, du développement et de la...

  • Data Engineer Python/PySpark/Databricks

    il y a 4 jours

    Paris, Île-de-France Free-Work Temps plein

    Mission Freelance – Data Engineer Pas de sous-traitanceJe recherche un·e Data Engineer (Python / PySpark / Databricks / AWS) pour une mission stratégique au sein d'un grand groupe international dans l'énergie Paris – 3 jours sur site / 2 jours remote Démarrage : 08/12/2025 TJM selon profilProcess : Codingame puis live coding Ce qui t'attend :...

  • tech lead data engineer

    il y a 2 semaines

    Paris, Île-de-France UCASE CONSULTING Temps plein

    du posteDans le cadre d?un projet stratégique à forte visibilité pour l?un de nos clients grands comptes, nous recherchons un Tech Lead Data Engineer Senior.Vous interviendrez au sein d?une équipe Data dynamique afin d?accompagner, challenger et faire monter en compétences les Data Engineers, tout en garantissant la qualité et la performance des...

  • Senior Data Engineer PySpark

    il y a 4 jours

    Paris, Île-de-France AMD BLUE Temps plein

    Qui sommes-nous ?Chez AMD Blue, l'innovation est notre passion, et nous sommes fiers de présenter Blue Data. Avec une présence établie sur l'ensemble du territoire français et une récente expansion aux États-Unis, nous sommes résolument tournés vers l'avenir.Dans le cadre d?un besoin client, nous avons l'opportunité d'accueillir un nouveau membre au...

  • Tech Lead Data | Logistique 2.0 | Paris |

    il y a 1 semaine

    Paris, France Data Recrutement Temps plein

    L'ENTREPRISE : SCALE UP LOGISTIQUE Pourquoi ai-je sélectionné cette société ? Un rôle clef et proximité avec le Comex Construction d'un projet d'envergure et from scratch Proximité direct avec le Head of Data Contexte international riche VOTRE MISSION : LEADER UN PROJET D'ENVERGURE ET LA TEAM DATA Leader la conception et la mise en œuvre d'une Modern...

  • Tech Lead Data Engineer

    il y a 7 jours

    Paris, Île-de-France Free-Work Temps plein

    En quelques motsCherry Pick est à la recherche d'un "Tech Lead Data IoT – Java & Cloud" pour un client dans le secteur du retail.Description Le ContexteAu sein d'une plateforme IoT gérant des millions d'objets connectés (Smart Devices, vélos, équipements sportifs), nous recherchons leRéférent Technique Data.Il ne s'agit pas d'un poste de Data...

  • Data Engineer

    il y a 1 semaine

    Paris, France Hanson Regan Limited Temps plein

    Hanson Regan recherche un Data Engineer (Python / Pyspark / Kubernetes / Azure) pour une mission de 6 mois renouvelable basée à Paris. Python / Pyspark / Kubernetes / Azure ? Industrialiser et mettre en production les use cases développés avec les data scientists ? Définir et mettre en place des outils de monitoring ? Participer à la gestion du run des...

  • Data Engineer

    il y a 4 jours

    Paris, France Zenika Temps plein

    Join to apply for the Data Engineer - pyspark/python F/H role at Zenika Get AI-powered advice on this job and more exclusive features. Et si ton prochain projet tech te permettait aussi de grandir humainement? Inspiré par le principe Kaizen = "le changement pour le meilleur", Zenika est une ESN qui a vu le jour en 2006. Aujourd’hui, nous sommes 550...