Data Engineer/Architect Apache Iceberg

il y a 2 semaines

Marseille, Provence-Alpes-Côte d'Azur, France Collective Temps plein

Budget:

En quelques mots
Cherry Pick est à la recherche d'un
Data Engineer/Architect(H/F)
, pour le compte de l'un de ses clients qui opère dans le domaine de la fabrication et la commercialisation des drones.

Description
Contexte de la mission
Dans un contexte de forte croissance des usages data autour de
données issues de capteurs drones
, la mission vise à concevoir et structurer une
plateforme data internalisée
, capable d'absorber des volumes importants de données hétérogènes (temps réel et batch), tout en répondant à des enjeux de
sensibilité des données clients
et de
maintenance prédictive
.

Missions principales et rôle

  • Concevoir et mettre en place un Data Lake basé sur une architecture médaillon (Bronze / Silver / Gold)
  • Gérer l'ingestion et le stockage de données capteurs drones et de données tabulaires
  • Mettre en œuvre une architecture data basée sur Apache Iceberg
  • Garantir la disponibilité rapide des données après les vols d'essai
  • Participer à la conception d'une brique data autonome, isolable pour les cas de données sensibles clients
  • Contribuer à l'internalisation de la plateforme data
  • Traiter des pics de charge importants (jusqu'à 10 Go de données arrivant simultanément)
  • Collaborer avec les équipes plateforme et data science sur les cas d'usage de maintenance prédictive

Objectifs

  • Centraliser et fiabiliser les données drones dans un Data Lake scalable et robuste
  • Permettre une exploitation rapide des données post-vol
  • Sécuriser et isoler certaines données selon les contraintes clients
  • Préparer les données pour des usages avancés (analytique, maintenance prédictive)

Compétences requises

  • Solide expérience en Data Engineering / Data Architecture
  • Maîtrise des architectures Data Lake et de la méthode Médaillon
  • Expertise sur Apache Iceberg
  • Expérience sur Google Cloud Platform (GCP)
  • Gestion de données volumineuses et ingestion massive
  • Connaissances en architectures data sécurisées
  • Rust est un plus apprécié

Profil

  • Data Engineer / Data Architect confirmé
  • Capacité à travailler sur des sujets structurants et plateformes
  • Autonomie, esprit d'analyse et force de proposition
  • Habilitable (nationalité française requise + casier judiciaire vierge)
  • Français courant

  • Data Architect GCP

    il y a 2 semaines

    Marseille, Provence-Alpes-Côte d'Azur, France Free-Work Temps plein

    L'objectif principal est laconception et la mise en œuvre d'un Data Lake moderne sur GCP, basé sur unearchitecture Médaillon(Bronze / Silver / Gold) et s'appuyant surApache Iceberg, avec la capacité dedétacher une brique autonomepour certains clients manipulant des données sensibles.Missions principalesArchitecture & Data PlatformConcevoir et mettre en...

  • DATA Engineer Databricks H/F

    il y a 2 semaines

    Marseille, Provence-Alpes-Côte d'Azur, France Devoteam Data Driven Temps plein

    Ancrée au coeur de la cité phocéenne, Devoteam rassemble plus de 60 experts qui accompagnent nos clients dans leur transformation digitale. Spécialisés dans le cloud (AWS, Microsoft Azure, Google Cloud), l'IA, la cybersécurité, la data et l'automatisation des processus métiers, nous sommes leur partenaire de choix pour relever les défis de...

  • Data engineer senior

    il y a 2 semaines

    Marseille, Provence-Alpes-Côte d'Azur, France Synchrone Fr Temps plein

    Vous souhaitez intégrer des projets ambitieux ? Nous vous proposons une opportunité deData Engineer (F/H). Parlons de votre missionDans le cadre de notre Offre Digital & Innovation et du fort développement de notre présence chez nos clients grand comptes, nous recherchons unData Engineer.Grâce à des compétences éprouvées, vous :Concevrez et...

  • Consultant Data Engineer Azure H/F

    il y a 2 semaines

    Marseille, Provence-Alpes-Côte d'Azur, France Devoteam Data Driven Temps plein

    Ancrée au coeur de la cité phocéenne, Devoteam rassemble plus de 60 experts qui accompagnent nos clients dans leur transformation digitale. Spécialisés dans le cloud (AWS, Microsoft Azure, Google Cloud), l'IA, la cybersécurité, la data et l'automatisation des processus métiers, nous sommes leur partenaire de choix pour relever les défis de...

  • Tech Lead Data

    il y a 2 semaines

    Marseille, Provence-Alpes-Côte d'Azur, France Collective Temps plein

    Budget: 650Dans le cadre d'une initiative "Cloud Data Platform", nous recherchons unTech Lead Datapour encadrer plusieurs squads de Data Engineers et Analytics Engineers. Le domaine fonctionnel est celui dutransport logistique. Le rôle du Tech Lead est clé pour garantir la qualité technique, l'alignement architectural et la réussite de la...

  • Data Engineer

    il y a 2 semaines

    Marseille, Provence-Alpes-Côte d'Azur, France Free-Work Temps plein

    Nous recherchons un(e) Data Analyst / Data Engineer pour renforcer une équipe existante et accompagner la transformation digitale et la gestion des données réglementaires du départementChartering, dans un contexte fortement exposé aux enjeux de conformitéFUEL EU.Suivre et agir pour la transformation digitale et la gestion/collecte des données...

  • Alternance - Data Engineer

    il y a 2 semaines

    Marseille, Provence-Alpes-Côte d'Azur, France Syroco Temps plein

    À propos de SyrocoSyroco est une entreprise pionnière à l'intersection du maritime et de la technologie.Notre mission : accélérer la transition énergétique du transport maritime grâce à des solutions numériques qui optimisent la performance énergétique, la consommation de carburant et l'empreinte carbone.Nous développons des outils de pointe...

  • Data Engineer Senior

    il y a 2 semaines

    Marseille, Provence-Alpes-Côte d'Azur, France Sopra Steria Temps plein

    Sopra Steria, acteur majeur de la Tech en Europe avec collaborateurs dans près de 30 pays, est reconnu pour ses activités de conseil, de services numériques et d'édition de logiciels. Il aide ses clients à mener leur transformation digitale et à obtenir des bénéfices concrets et durables. Le Groupe apporte une réponse globale aux enjeux de...

  • Data Integration and Analysis Engineer

    il y a 2 semaines

    Marseille, Provence-Alpes-Côte d'Azur, France CENTURI - Turing Centre for Living Systems Temps plein

    TheCENTURI multi-engineering platform (MEP CENTURI – UAR CNRS 2027 / US Inserm 60 / Aix-Marseille University)is recruiting aData Integration and Analysis Engineerspecialized inbiological imaging and multi-omics data.CENTURIis an interdisciplinary research institute based in Marseille, dedicated to the study of complex biological systems. It relies on...

  • Data Engineer Senior

    il y a 2 semaines

    Marseille, Provence-Alpes-Côte d'Azur, France Sopra Steria Temps plein

    Description de l'entreprise Sopra Steria, acteur majeur de la Tech en Europe avec collaborateurs dans près de 30 pays, est reconnu pour ses activités de conseil, de services numériques et d'édition de logiciels. Il aide ses clients à mener leur transformation digitale et à obtenir des bénéfices concrets et durables. Le Groupe apporte une réponse...