tech lead data engineer pyspark
il y a 2 semaines
Bonjour, Pour le compte de notre client, nous recherchons un Tech lead data engineer Pyspark / Azure / Databricks.Missions ci-après : 1?? Analyse et ConceptionÉtudier les besoins métiers et concevoir l?architecture des pipelines de données en intégrant des modèles adaptés aux cas d?usage.(Tech Lead) Définir la stratégie technique, valider les choix d?architecture et assurer leur cohérence avec les exigences métier et techniques.2?? Développement des PipelinesDévelopper et optimiser des pipelines ETL/ELT avec PySpark, intégrer diverses sources de données (SQL, NoSQL, APIs, fichiers) et garantir leur performance.(Tech Lead) Assurer les bonnes pratiques de développement, réaliser des revues de code et encadrer les développeurs juniors.3?? Gestion des Environnements CloudConfigurer et gérer les clusters Databricks, orchestrer les flux de données avec Azure Data Factory / Databricks Workflows et stocker les données dans Azure Data Lake.(Tech Lead) Optimiser la gestion des ressources cloud, mettre en place des standards pour le provisioning des environnements et superviser les décisions liées aux coûts et performances.4?? Optimisation et PerformanceAméliorer l?exécution des jobs avec Delta Lake, optimiser le code PySpark (partitioning, caching, joins...) et mettre en place du monitoring.(Tech Lead) Définir et promouvoir les meilleures pratiques d?optimisation et de monitoring, analyser les bottlenecks et proposer des solutions adaptées à grande échelle.5?? Sécurisation et GouvernanceAssurer la sécurité des données avec RBAC, ACLs, Unity Catalog, mettre en place des contrôles d?accès et garantir la qualité des données (tests, validation, gestion des erreurs).(Tech Lead) Définir les standards de sécurité et de gouvernance, assurer la conformité aux réglementations (GDPR, RGPD, ISO) et encadrer l?implémentation des bonnes pratiques.6?? Automatisation et CI/CDAutomatiser le déploiement des pipelines via Azure DevOps, Terraform, intégrer des tests unitaires et des workflows CI/CD pour Databricks.7?? Supervision et MaintenanceSuivre les performances et les coûts via Azure Monitor, assurer la maintenance des pipelines et documenter les processus pour le partage de connaissances.(Tech Lead) Coordonner les opérations de maintenance, établir une vision long terme des évolutions techniques et encadrer la montée en compétences des équipes. ?Profil candidat:Bac + 5 informatique Prérequis : Au moins 6 ans d'XP en python et pyspark XP : Au moins 1 an sur Databricks et Azure XP : 1 an en tant que tech lead RIgoureux, bon relationnel et bonne communication
-
DEV LEAD DATA ENGINEER PYSPARK
il y a 5 jours
Paris, Île-de-France UCASE CONSULTING Temps pleinBonjour,Pour le compte de notre client, nous recherchons un Tech lead data engineer Pyspark / Azure / Databricks.La mission est constituée à 50% de Scrum / agilité et à 50% d'expertise technique.Il faut à la fois maitriser absolument la méthodologie agile et une première expérience en tant que Dev Lead.Ci-après les tâches à maitriser et à...
-
Lead Data Engineer
il y a 3 semaines
Paris, Île-de-France Data Engineer - Lead - Data Platforms Temps pleinTitre du poste: Data ArchitectDans le contexte de l'enseigne E.Leclerc, SIPLEC est chargé du développement, de l'achat et de la commercialisation de services et de produits porteurs des valeurs et engagements du Mouvement E.Leclerc dans les domaines de l'énergie et de l'industrie manufacturière.Le PosteRattaché(e) au Responsable Data Engineering, vous...
-
Big Data Engineer Lead
il y a 3 semaines
Paris, Île-de-France Data Engineer - Lead - Data Platforms Temps pleinTitre du poste: Data ArchitectDans le contexte de l'enseigne E.Leclerc, SIPLEC est chargé du développement, de l'achat et de la commercialisation de services et de produits porteurs des valeurs et engagements du Mouvement E.Leclerc dans les domaines de l'énergie et de l'industrie manufacturière.Le PosteRattaché(e) au Responsable Data Engineering, vous...
-
Lead tech data
il y a 3 semaines
Paris, Île-de-France COMPAGNIE DES ALPES Temps pleinEn tant que Lead Tech Data marketing automation, vous serez responsable de la conception, du développement et de la maintenance des solutions de data marketing et de marketing automation pour les parcs de loisirs de la compagnie des alpes.Vous travaillerez en étroite collaboration avec les équipes marketing, CRM, digital et data pour définir les besoins,...
-
Lead tech data
il y a 3 semaines
Paris, Île-de-France COMPAGNIE DES ALPES Temps pleinEn tant que Lead Tech Data marketing automation, vous serez responsable de la conception, du développement et de la maintenance des solutions de data marketing et de marketing automation pour les parcs de loisirs de la compagnie des alpes.Vous travaillerez en étroite collaboration avec les équipes marketing, CRM, digital et data pour définir les besoins,...
-
Data Engineer PySpark
il y a 3 semaines
Paris, Île-de-France Sopra Steria Temps pleinData Engineer PySpark - Data Factory - Services Financiers - Ile de FranceSopra Steria, acteur majeur de la Tech en Europe avec 56000 collaborateurs dans près de 30 pays, est reconnu pour ses activités de conseil, de services numériques et d'édition de logiciels. Il aide ses clients à mener leur transformation digitale et à obtenir des bénéfices...
-
Data Engineer PySpark
il y a 3 semaines
Paris, Île-de-France Sopra Steria Temps pleinData Engineer PySpark - Data Factory - Services Financiers - Ile de FranceSopra Steria, acteur majeur de la Tech en Europe avec 56000 collaborateurs dans près de 30 pays, est reconnu pour ses activités de conseil, de services numériques et d'édition de logiciels. Il aide ses clients à mener leur transformation digitale et à obtenir des bénéfices...
-
Data Engineer Pyspark
il y a 2 semaines
Paris, Île-de-France VISIAN Temps pleinExpertises spécifiques :Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en ?uvre techniquement les évolutions du datalake. Passionné par les données, capable de s?adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve...
-
Tech Lead Data Engineer
il y a 3 semaines
Paris, Île-de-France The Lacoste Group Temps pleinEn tant que Tech Lead Data Engineering sur le périmètre CRM et Sales, vos responsabilités seront les suivantes :Garantir le bon fonctionnement du lakehouse sur Snowflake et des pipelines d'ingestion et de transformation.Définir et faire progresser les outils et méthodes de développement sur la plateforme Snowflake.Définir le chemin vers la mise en...
-
Data Lead
il y a 3 semaines
Paris, Île-de-France COMPAGNIE DES ALPES Temps pleinEn tant que Lead Tech Data marketing automation, vous serez responsable de la conception, du développement et de la maintenance des solutions de data marketing et de marketing automation pour les parcs de loisirs de la compagnie des alpes.Vous travaillerez en étroite collaboration avec les équipes marketing, CRM, digital et data pour définir les besoins,...
-
Data Lead
il y a 3 semaines
Paris, Île-de-France COMPAGNIE DES ALPES Temps pleinEn tant que Lead Tech Data marketing automation, vous serez responsable de la conception, du développement et de la maintenance des solutions de data marketing et de marketing automation pour les parcs de loisirs de la compagnie des alpes.Vous travaillerez en étroite collaboration avec les équipes marketing, CRM, digital et data pour définir les besoins,...
-
Tech Lead Data Engineer
il y a 4 semaines
Paris, Île-de-France Tenth Revolution Group Temps pleinÀ proposMon client, un acteur majeur du secteur de l'énergie, recherche un Tech Lead Data Engineer AWS pour renforcer ses équipes. Ce poste s'inscrit dans le cadre de l'accompagnement du Responsable Data et vise à soutenir la stratégie data de l'entreprise.Missions principalesMaintenir et optimiser la plateforme data existante.Accompagner et orienter...
-
Data Engineer PySpark
il y a 1 semaine
Paris, Île-de-France Sopra Steria Temps pleinde l'entreprise Sopra Steria , acteur majeur de la Tech en Europe avec 56 000 collaborateurs dans prà ̈s de 30 pays, est reconnu pour ses activitÃs de conseil, de services numÃriques et dâÃdition de logiciels. Il aide ses clients à mener leur transformation digitale et à obtenir des bÃnÃfices concrets et durables. Le Groupe apporte une rÃponse...
-
Data Engineer PySpark
il y a 2 semaines
Paris, Île-de-France Sopra Steria Temps pleinde l'entreprise Sopra Steria , acteur majeur de la Tech en Europe avec 56 000 collaborateurs dans près de 30 pays, est reconnu pour ses activités de conseil, de services numériques et d'édition de logiciels. Il aide ses clients à mener leur transformation digitale et à obtenir des bénéfices concrets et durables. Le Groupe apporte une réponse globale...
-
Data Engineer PySpark
il y a 6 jours
Paris, Île-de-France Steria Temps pleinde l'entreprise Sopra Steria, acteur majeur de la Tech en Europe avec 56 000 collaborateurs dans près de 30 pays, est reconnu pour ses activités de conseil, de services numériques et d'édition de logiciels. Il aide ses clients à mener leur transformation digitale et à obtenir des bénéfices concrets et durables. Le Groupe apporte une réponse globale...
-
Data Engineer PySpark
il y a 3 semaines
Paris, Île-de-France Sopra Steria Temps pleinde l'entrepriseSopra Steria, acteur majeur de la Tech en Europe avec 56 000 collaborateurs dans près de 30 pays, est reconnu pour ses activités de conseil, de services numériques et d'édition de logiciels. Il aide ses clients à mener leur transformation digitale et à obtenir des bénéfices concrets et durables. Le Groupe apporte une réponse globale...
-
Data Engineer
il y a 1 semaine
Paris, Île-de-France LINCOLN Temps pleinCDI : Tech Lead / Senior Data Engineer Azrue Retail - H/F&##128640; At Lincoln , we are a Pure Player Data company, reinventing data analysis for over 30 years. As experts in Modern BI, Big Data, and Data Science &##128161;, we transform your data into powerful solutions for major accounts in sectors such as banking, retail, telecommunications,...
-
Tech Lead Data Engineer H/F
il y a 3 semaines
Paris, Île-de-France Jems Group Temps pleinNous sommes le seul industriel de la donnée en Europe. Notre métier est de créer, manager et exploiter le patrimoine data de nos clients.Nous avons la conviction que chaque entreprise peut adopter une démarche innovante de gestion de la donnée et créer des cas d'usage disruptifs en réduisant l'impact écologique et en diminuant la dette technique.Nous...
-
Data Engineer
il y a 3 semaines
Paris, Île-de-France N-iX Temps pleinN-iX is an international company with Ukrainian roots that helps businesses across the globe develop successful software products. The company is now merging with a similar company in Canada and needs support on this way. As a Senior Data Engineer, you will play a pivotal role in shaping the future of online car markets and enhancing the user experience for...
-
Lead data engineer
il y a 3 semaines
Paris, Île-de-France The Lacoste Group Temps pleinEn tant que Tech Lead Data Engineering sur le périmètre CRM et Sales, vos responsabilités seront les suivantes :Garantir le bon fonctionnement du lakehouse sur Snowflake et des pipelines d'ingestion et de transformation.Accompagner l'équipe de Data Engineers dans la mise en œuvre des normes et méthodes choisies.Organiser la collecte des données des...
