Data Engineer/Architect Apache Iceberg

il y a 3 heures

Marseille, Provence-Alpes-Côte d'Azur, France Collective Temps plein

Budget:

En quelques mots
Cherry Pick est à la recherche d'un
Data Engineer/Architect(H/F)
, pour le compte de l'un de ses clients qui opère dans le domaine de la fabrication et la commercialisation des drones.

Description
Contexte de la mission
Dans un contexte de forte croissance des usages data autour de
données issues de capteurs drones
, la mission vise à concevoir et structurer une
plateforme data internalisée
, capable d'absorber des volumes importants de données hétérogènes (temps réel et batch), tout en répondant à des enjeux de
sensibilité des données clients
et de
maintenance prédictive
.

Missions principales et rôle

  • Concevoir et mettre en place un Data Lake basé sur une architecture médaillon (Bronze / Silver / Gold)
  • Gérer l'ingestion et le stockage de données capteurs drones et de données tabulaires
  • Mettre en œuvre une architecture data basée sur Apache Iceberg
  • Garantir la disponibilité rapide des données après les vols d'essai
  • Participer à la conception d'une brique data autonome, isolable pour les cas de données sensibles clients
  • Contribuer à l'internalisation de la plateforme data
  • Traiter des pics de charge importants (jusqu'à 10 Go de données arrivant simultanément)
  • Collaborer avec les équipes plateforme et data science sur les cas d'usage de maintenance prédictive

Objectifs

  • Centraliser et fiabiliser les données drones dans un Data Lake scalable et robuste
  • Permettre une exploitation rapide des données post-vol
  • Sécuriser et isoler certaines données selon les contraintes clients
  • Préparer les données pour des usages avancés (analytique, maintenance prédictive)

Compétences requises

  • Solide expérience en Data Engineering / Data Architecture
  • Maîtrise des architectures Data Lake et de la méthode Médaillon
  • Expertise sur Apache Iceberg
  • Expérience sur Google Cloud Platform (GCP)
  • Gestion de données volumineuses et ingestion massive
  • Connaissances en architectures data sécurisées
  • Rust est un plus apprécié

Profil

  • Data Engineer / Data Architect confirmé
  • Capacité à travailler sur des sujets structurants et plateformes
  • Autonomie, esprit d'analyse et force de proposition
  • Habilitable (nationalité française requise + casier judiciaire vierge)
  • Français courant

  • Data engineer senior

    il y a 7 jours

    Marseille, Provence-Alpes-Côte d'Azur, France Synchrone Fr Temps plein

    Vous souhaitez intégrer des projets ambitieux ? Nous vous proposons une opportunité deData Engineer (F/H). Parlons de votre missionDans le cadre de notre Offre Digital & Innovation et du fort développement de notre présence chez nos clients grand comptes, nous recherchons unData Engineer.Grâce à des compétences éprouvées, vous :Concevrez et...

  • Data Engineer

    il y a 9 heures

    Marseille, Provence-Alpes-Côte d'Azur, France Free-Work Temps plein

    Nous recherchons un(e) Data Analyst / Data Engineer pour renforcer une équipe existante et accompagner la transformation digitale et la gestion des données réglementaires du départementChartering, dans un contexte fortement exposé aux enjeux de conformitéFUEL EU.Suivre et agir pour la transformation digitale et la gestion/collecte des données...

  • Data Engineer

    il y a 4 jours

    Marseille, Provence-Alpes-Côte d'Azur, France Ippon Technologies Temps plein

    IPPON l'énergie du collectif au service de la technologie positive Qui sommes-nous ? IPPON est une société de conseil et d'expertise spécialisée dans des solutions digitales innovantes. Nous sommes organisés en practices : Fullstack, Cloud, DevOps, Data, Agilité, Architecture, Mobile, Produit. Notre objectif est de relever les challenges de la...

  • Alternance - Data Engineer

    il y a 4 jours

    Marseille, Provence-Alpes-Côte d'Azur, France Syroco Temps plein

    À propos de SyrocoSyroco est une entreprise pionnière à l'intersection du maritime et de la technologie.Notre mission : accélérer la transition énergétique du transport maritime grâce à des solutions numériques qui optimisent la performance énergétique, la consommation de carburant et l'empreinte carbone.Nous développons des outils de pointe...

  • Data Engineer F/H

    il y a 4 jours

    Marseille, Provence-Alpes-Côte d'Azur, France Letsignit Temps plein

    Letsignit recherche un(e) Data Engineer F/H pour compléter son équipe data (2 personnes).Nos plateformes, présentes dans 5 pays, enrichissent plus de 6 millions d'emails chaque jour pour plus de 4000 entreprises dans le monde.Pour soutenir la croissance de l'entreprise et les besoins analytics croissants, nous recrutons un(e) Data Engineer dont la...

  • Data Engineer Senior

    il y a 4 heures

    Marseille, Provence-Alpes-Côte d'Azur, France Sopra Steria Temps plein

    Sopra Steria, acteur majeur de la Tech en Europe avec collaborateurs dans près de 30 pays, est reconnu pour ses activités de conseil, de services numériques et d'édition de logiciels. Il aide ses clients à mener leur transformation digitale et à obtenir des bénéfices concrets et durables. Le Groupe apporte une réponse globale aux enjeux de...

  • FREELANCE – Data Engineer Airflow

    il y a 2 semaines

    Marseille, Provence-Alpes-Côte d'Azur, France Jane Hope Temps plein

    Notre client basé à Marseille (13) est à la recherche d?un Data Engineer Airflow (H/F) freelance dans le cadre du renforcement de leur expertise sur les data pipelines de leur plateforme. MISSIONS Développement de data pipelines Airflow extract-loeadDéveloppemlent de dag Airflow d?administrationMaintien et évolution du framework on-top d?AirflowOn...

  • Solution Architect F/H

    il y a 4 jours

    Marseille, Provence-Alpes-Côte d'Azur, France AOSIS Temps plein

    À propos de AOSISQui sommes-nous ?Créée en 2010 à Toulouse par d'anciens consultants SAP, AOSIS s'est d'abord distinguée par son expertise sur SAP BW et son catalogue de données innovant. Portée par la confiance de ses clients, l'entreprise a rapidement élargi son champ d'action pour devenir un acteur reconnu du conseil et de l'intégration BI, sur...

  • Data Engineer Senior

    il y a 4 jours

    Marseille, Provence-Alpes-Côte d'Azur, France Sopra Steria Temps plein

    Description de l'entreprise Sopra Steria, acteur majeur de la Tech en Europe avec collaborateurs dans près de 30 pays, est reconnu pour ses activités de conseil, de services numériques et d'édition de logiciels. Il aide ses clients à mener leur transformation digitale et à obtenir des bénéfices concrets et durables. Le Groupe apporte une réponse...

  • Data Engineer Senior

    Il y a 57 minutes

    Marseille, Provence-Alpes-Côte d'Azur, France Sopra Steria Temps plein

    Sopra Steria, acteur majeur de la Tech en Europe avec collaborateurs dans près de 30 pays, est reconnu pour ses activités de conseil, de services numériques et d'édition de logiciels. Il aide ses clients à mener leur transformation digitale et à obtenir des bénéfices concrets et durables. Le Groupe apporte une réponse globale aux enjeux de...