Data Engineer
Il y a 2 mois
Les objectifs du pôle data au sein de Navya sont de permettre la remontée des données de manière fiable et automatisée au sein de nos espaces de stockage, puis de les traiter par des process automatiques d’ETL, enfin de les analyser et de proposer des indicateurs nous permettant de mieux comprendre les roulages de nos véhicules sur sites d’essais ou clients, et de valider la qualité des algorithmes proposés par Navya.
L’équipe Data Engineering du pôle data est responsable d’alimenter l’équipe de data analyse en données prétraitées, d’une manière fiable et automatisée.
**Elle est responsable**:
- De la gestion de l’ensemble de la plateforme data de Navya (plateforme Databricks et stockage sur AWS)
- Du data mining (sources existantes, et nouvelles sources de données à créer)
- Des process d’ETL (permettant de cleaner et d’organiser les données)
Missions
Les activités du poste seront centrées autour des sujets:
- Maintien des activités sur l’ETL de la plateforme data (ETL des données NavyaLead principalement, recovering, updates, debug )
- Reprise des activités d’ETL des logs snowcone
- Travail sur refacto de l’ETL actuel de log (spark loglib) en intégrant les features développées dans rec_extractor
- Lancement du sujet d’annotation de logs
- Création de framework d’annotation
- Reprise et continuité du travail sur shifu sur la partie plot et reporting
- Reprise des sujets de récupération de données
- Amélioration de S3-log sorter
- Industrialisation du projet track events (partie création et mise à disposition des données sous forme de table)
- Reprise des activités DE tournant autour de la plateforme AWS
- Formation sur AWS
- Gestion des groupes / droits / life cycle des données à pourvoir modifier et gérer
- Reprise des sujets de framework de rejeu d’algorithme dans le cloud (parrot)
- Non priorisé en ce moment, en lien avec I&A à créer
- Maintien de la plateforme data en condition opérationnelle
La présente liste n’a aucun caractère exhaustif et pourra évoluer en fonction des besoins de l’entreprise.
**Compétences techniques requises**
- Une expérience de data engineering supérieure à deux ans
- Une connaissance approfondie de l’environnement AWS
- Une maitrise des langages python, spark
- Anglais courant
**Compétences appréciées**
- Une expérience sur la plateforme databricks
- Une appétence pour la sécurité et l’industrialisation des process (appétence devops avec des connaissances terraform/ansibleautomatisation et déploiement via CLI & Gitlab CI/CD)
- Un intérêt pour le monde du véhicule autonome et pour la chaine globale de valeur data (data engineering, science, analyse et visualisation)
Type d'emploi : Temps plein, CDI
Salaire : 41 000,00€ à 55 000,00€ par an
Avantages:
- Épargne salariale
- Participation au Transport
- RTT
- Titre-restaurant
Programmation:
- Travail en journée
Lieu du poste : Télétravail hybride (92400 Courbevoie)
-
Data Engineer
il y a 5 jours
Courbevoie, France Visian Temps pleinUn de nos client grand compte dans le domaine de l'énergie est à la recherche d'un Data Engineer pour venir renforcer ses équipes.L’équipe chargée de l'administration de la plateforme data se compose de 7 Data Engineer et leur travail s’articule autour de trois thématiques principales :• DevOps : Déploiement, administration et suivi de...
-
Data Engineer
il y a 2 jours
Courbevoie, France Visian Temps pleinUn de nos client grand compte dans le domaine de l'énergie est à la recherche d'un Data Engineer pour venir renforcer ses équipes.L’équipe chargée de l'administration de la plateforme data se compose de 7 Data Engineer et leur travail s’articule autour de trois thématiques principales :• DevOps : Déploiement, administration et suivi de...
-
Data Engineer confirmé
Il y a 2 mois
Courbevoie, France Visian Temps pleinUn de nos client grand compte dans le domaine de l'énergie est à la recherche d'un Data Engineer confirmé pour venir renforcer ses équipes.L’équipe chargée de l'administration de la plateforme data se compose de 7 Data Engineer et leur travail s’articule autour de trois thématiques principales :• DevOps : Déploiement, administration et suivi de...
-
Data Engineer confirmé
il y a 4 semaines
Courbevoie, Nanterre, France VISIAN Temps pleinUn de nos client grand compte dans le domaine de l'énergie est à la recherche d'un Data Engineer confirmé pour venir renforcer ses équipes.L’équipe chargée de l'administration de la plateforme data se compose de 7 Data Engineer et leur travail s’articule autour de trois thématiques principales :• DevOps : Déploiement, administration...
-
Data Engineer confirmé
il y a 4 semaines
Courbevoie, France VISIAN Temps pleinUn de nos client grand compte dans le domaine de l'énergie est à la recherche d'un Data Engineer confirmé pour venir renforcer ses équipes.L’équipe chargée de l'administration de la plateforme data se compose de 7 Data Engineer et leur travail s’articule autour de trois thématiques principales :• DevOps : Déploiement, administration...
-
Data Engineer
il y a 4 jours
Courbevoie, 92400, France Visian Temps pleinUn de nos client grand compte dans le domaine de l'énergie est à la recherche d'un Data Engineer pour venir renforcer ses équipes. L’équipe chargée de l'administration de la plateforme data se compose de 7 Data Engineer et leur travail s’articule autour de trois thématiques principales : • DevOps : Déploiement, administration et...
-
Data Engineer
il y a 3 jours
Courbevoie, 92400, France Visian Temps pleinUn de nos client grand compte dans le domaine de l'énergie est à la recherche d'un Data Engineer pour venir renforcer ses équipes. L’équipe chargée de l'administration de la plateforme data se compose de 7 Data Engineer et leur travail s’articule autour de trois thématiques principales : • DevOps : Déploiement, administration et...
-
Data Engineer Iii
il y a 12 heures
Courbevoie, France American Express Global Business Travel Temps pleinEgencia - Data Engineer III - Paris, France Egencia is at the center of revolutionizing business travel with our cutting edge technology and the most desirable products in the industry. We have grown from a small start-up to become the 5th largest corporate travel management company in the world! How often do you get the opportunity to work in what feels...
-
Senior Engineer, Data Engineering
il y a 4 jours
Courbevoie, 92400, France Visian Temps pleinUn de nos client grand compte dans le domaine de l'énergie est à la recherche d'un Data Engineer pour venir renforcer ses équipes. L’équipe chargée de l'administration de la plateforme data se compose de 7 Data Engineer et leur travail s’articule autour de trois thématiques principales : • Environnement technique : Python v3 SQL
-
Senior Engineer, Data Engineering
il y a 3 jours
Courbevoie, 92400, France Visian Temps pleinUn de nos client grand compte dans le domaine de l'énergie est à la recherche d'un Data Engineer pour venir renforcer ses équipes. L’équipe chargée de l'administration de la plateforme data se compose de 7 Data Engineer et leur travail s’articule autour de trois thématiques principales : • Environnement technique : Python v3 SQL
-
Senior Data Center Project Engineer
il y a 1 mois
Courbevoie, France Amazon EU SARL (FR) Temps pleinBachelor’s degree in Mechanical/ Electrical engineering or relevant discipline. - 5+ years of experience directly related to a critical infrastructure environment - In depth understanding of critical infrastructure mechanical and electrical equipment. - Ability to research new designs, technologies, and construction methods of data center equipment and...
-
Data Engineer confirmé
Il y a 2 mois
Courbevoie, 92400, France Visian Temps pleinUn de nos client grand compte dans le domaine de l'énergie est à la recherche d'un Data Engineer confirmé pour venir renforcer ses équipes. L’équipe chargée de l'administration de la plateforme data se compose de 7 Data Engineer et leur travail s’articule autour de trois thématiques principales : • DevOps : Déploiement,...
-
Informatica Lead
il y a 1 mois
Courbevoie, France Zsoft Consulting Temps pleinPour un de nos clients, basé à l?international, nous recherchons un Informatica Lead / Data Engineer, qui a pour mission de collaborer avec les équipes métiers afin de comprendre les exigences, et avec les équipes informatiques pour appréhender la structure des systèmes hôtes, la qualité des données, et définir une stratégie pour développer des...
-
Junior Data Engineer
Il y a 2 mois
Courbevoie, 92400, France Visian Temps pleinUn de nos client grand compte dans le domaine de l'énergie est à la recherche d'un Data Engineer confirmé pour venir renforcer ses équipes. L’équipe chargée de l'administration de la plateforme data se compose de 7 Data Engineer et leur travail s’articule autour de trois thématiques principales : • Environnement technique : Python v3 SQL
-
Data Engineer
il y a 1 mois
Courbevoie, France IT&M Consulting Temps pleinNous recherchons pour l’un de nos client grand compte dans le secteur Bancaire un profil DATA ENGINEER Vos missions sont les suivantes: - Développer des fonctionnalités - Améliorer les pratiques de développement et de test - Collaborer avec l’équipe produit pour concevoir au mieux les fonctionnalités - Participer à la montée en compétences des...
-
Lead Data Engineer
Il y a 2 mois
Courbevoie, France BearingPoint France Travail à distance Freelance Temps pleinBearingPoint est un cabinet de Conseil référent qui a investi depuis une décennie dans lâIA et le Machine Learning. Lâéquipe Products, notre Data Factory, réunit aujourdâhui un spectre large de compétences et dâexpertises (data engineer, data scientist, devops, dev full stack, architecte, RPA) mobilisées au quotidien...
-
Data Engineer DevOps
il y a 2 semaines
Courbevoie, France INETUM Temps pleinDescriptif du poste Missions proposées Pour accompagner notre forte croissance, nous recherchons des **Data Engineer DevOps** pour le compte d'un acteur majeur de la finance de marché en Europe et dans le monde. Dans ce contexte international et exigeant, vous travaillez sur la conception de solutions Big Data afin de répondre aux besoins des...
-
Data Engineer
il y a 4 semaines
Courbevoie, France TRSB Temps pleinIl est garant de l?accès qualitatif aux sources de données. Il s?assure de la maîtrise de la donnée et est garant de la qualité de son utilisation (référencement, normalisation, et qualification) afin d?en faciliter l?exploitation par les équipes (Data Analysts et Data Scientists). Il contribue également à la définition de la politique de la...
-
Data Engineer
il y a 1 mois
Courbevoie, Île-de-France Sopra Steria Temps pleinCompany Description Sopra Steria, l'un des leaders européens de la Tech reconnu pour ses activités de conseil, de services numériques et d'édition de logiciels, aide ses clients à mener leur transformation digitale et à obtenir des bénéfices concrets et durables. Il apporte une réponse globale aux enjeux de compétitivité des grandes entreprises et...
-
Data Engineer confirmé
Il y a 2 mois
Courbevoie, France BearingPoint France Travail à distance Freelance Temps pleinBearingPoint est un cabinet de Conseil référent qui a investi depuis une décennie dans lâIA et le Machine Learning.Lâéquipe Products, notre Data Factory, réunit aujourdâhui un spectre large de compétences et dâexpertises (data engineer, data scientist, devops, dev full stack, architecte, RPA) mobilisées au quotidien...