Technical Lead Data Engineering

Poste basé à Roubaix, Paris, Toulouse, Lyon, Nantes ou Bordeaux.#OVHcloudVous voulez contribuer à des projets uniques pour construire ensemble le cloud libre ? Allons-yChez OVHcloud, nous sommes animés par la même volonté, celle de construire l’avenir ensemble pour défendre la liberté d’innover.Avec plus d'1,6 millions de clients dans le Monde, OVHcloud est le leader Européen du cloud computing et le 3ème hébergeur Internet au rang mondial. Notre entreprise emploie plus de 2800 collaborateurs et nos équipes croissent à toute vitesse, en France comme à l'international.Avec 43 data centres et une présence commerciale sur les 4 continents, nous fabriquons nos propres serveurs et maîtrisons ainsi l'ensemble de notre chaîne industrielle.Nous défendons un cloud innovant et différent, qui respecte les valeurs européennes de liberté de choix, de transparence, d'ouverture aux standards, de protection de la vie privée.Afin d’accompagner notre croissance, nous sommes constamment en quête de nouveaux talents qui partagent nos valeurs et nos ambitions.Au sein de votre équipe #OneTeamVous rejoindrez notre équipe de Data Engineering qui a pour mission de fournir des données fiables et accessibles à l'ensemble des métiers.Nous recherchons un(e) Tech Lead Data Engineering pour guider l'équipe, définir notre vision technique et construire les fondations d'une plateforme data robuste, scalable et conforme aux meilleurs standards de l'industrie.Vos principales responsabilitésDéfinir une architecture de donnée avec des systèmes de traitement de données en temps réel et en batch, en utilisant Kafka, Spark, Hudi et Postgresql.Gérer les flux de données entre les différents systèmes, en utilisant Kafka et Spark pour le traitement des données en temps réel et en batch.Développer des pipelines de données pour traiter les données en utilisant Spark, Hudi et Airflow pour orchestrer les taches dans un cluster Kubernetes.Assurer la qualité des données en créant des traitements de validation et de nettoyage des données avec Spark et Hudi.Développer des applications de données en utilisant Spark, Hudi et Postgresql.Gérer les performances des systèmes de traitement de données en utilisant des outils de monitoring SparkUI.Votre futur impactDans 6 mois vous :Aurez une bonne compréhension de l'architecture technique des systèmes de données d'OVHcloud, notamment en ce qui concerne les outils de gestion de données tels qu'Airflow, Spark et S3.Comprendrez les besoins et les défis des clients internes de finance, d'industrie, etc. et comment les systèmes de données peuvent répondre à ces besoins.Développerez des solutions de données pour répondre aux besoins des clients internes et améliorer les processus de données existants.Connaitrez les principales équipes en interaction avec la vôtre, notamment les équipes de finance, d'industrie, etc.Aurez noué une bonne relation avec les membres des équipes de données et des clients internes.Prendrez de l'autonomie sur les sujets de développement de données et proposerez des solutions innovantes pour améliorer les processus de données.Et dans 1 an vous :Aurez participé à des choix de conception liés aux projets de données de l'équipe, notamment en ce qui concerne l'utilisation d'Airflow, Spark et S3.Aurez réalisé un ou plusieurs Proof of Concepts ou contribué significativement aux livrables de projets de données, tels que la mise en place d'un système de gestion de données pour un client interne.Serez en capacité de proposer des pistes de réflexion à l'équipe pour améliorer les processus de données et répondre aux besoins des clients internes.Aurez une bonne compréhension du périmètre et des enjeux de la gestion des données à OVHcloud, notamment en ce qui concerne la sécurité, la qualité et la gouvernance des données.Compétences requises :Vous avez une expérience solide en développement de données et en architecture de données (Python, Scala).Vous avez des connaissances approfondies en Spark, Hudi, Kafka, Postgres et Airflow.Vous êtes capable de communiquer efficacement avec les membres de l'équipe et les parties prenantes.Vous êtes capable de collaborer avec les autres équipes et les parties prenantes pour atteindre les objectifs.Vous avez une expérience en gestion de projets et en leadership d'équipe.C'est un +Vous avez déjà une expérience avec Kafka et Kubernetes.REJOINDRE L’AVENTURE OVHCLOUDOVHcloud valorise la diversité des personnes qu’elle embauche et accompagne. La diversité, pour OVHcloud, c’est favoriser un milieu de travail où les différences individuelles sont reconnues, appréciées et respectées de façon à développer le plein potentiel et les forces de chacune et chacun. Soyez libre d’être vous-même