Data Engineer/Architect Apache Iceberg

il y a 19 heures

Marseille, Provence-Alpes-Côte d'Azur, France Free-Work Temps plein

En quelques mots
Cherry Pick est à la recherche d'un
Data Engineer/Architect(H/F)
, pour le compte de l'un de ses clients qui opère dans le domaine de la fabrication et la commercialisation des drones.

Description
Contexte de la mission
Dans un contexte de forte croissance des usages data autour de
données issues de capteurs drones
, la mission vise à concevoir et structurer une
plateforme data internalisée
, capable d'absorber des volumes importants de données hétérogènes (temps réel et batch), tout en répondant à des enjeux de
sensibilité des données clients
et de
maintenance prédictive
.

Missions principales et rôle

  • Concevoir et mettre en place un Data Lake basé sur une architecture médaillon (Bronze / Silver / Gold)
  • Gérer l'ingestion et le stockage de données capteurs drones et de données tabulaires
  • Mettre en œuvre une architecture data basée sur Apache Iceberg
  • Garantir la disponibilité rapide des données après les vols d'essai
  • Participer à la conception d'une brique data autonome, isolable pour les cas de données sensibles clients
  • Contribuer à l'internalisation de la plateforme data
  • Traiter des pics de charge importants (jusqu'à 10 Go de données arrivant simultanément)
  • Collaborer avec les équipes plateforme et data science sur les cas d'usage de maintenance prédictive

Objectifs

  • Centraliser et fiabiliser les données drones dans un Data Lake scalable et robuste
  • Permettre une exploitation rapide des données post-vol
  • Sécuriser et isoler certaines données selon les contraintes clients
  • Préparer les données pour des usages avancés (analytique, maintenance prédictive)

Profil candidat:

Compétences requises

  • Solide expérience en Data Engineering / Data Architecture
  • Maîtrise des architectures Data Lake et de la méthode Médaillon
  • Expertise sur Apache Iceberg
  • Expérience sur Google Cloud Platform (GCP)
  • Gestion de données volumineuses et ingestion massive
  • Connaissances en architectures data sécurisées
  • Rust est un plus apprécié

Profil

  • Data Engineer / Data Architect confirmé
  • Capacité à travailler sur des sujets structurants et plateformes
  • Autonomie, esprit d'analyse et force de proposition
  • Habilitable
  • Français courant

  • Data Engineer/Architect Apache Iceberg

    il y a 1 semaine

    Marseille, Provence-Alpes-Côte d'Azur, France Cherry Pick Temps plein

    En quelques motsCherry Pick est à la recherche d'un Data Engineer/Architect(H/F), pour le compte de l'un de ses clients qui opère dans le domaine de la fabrication et la commercialisation des drones.Description? Contexte de la missionDans un contexte de forte croissance des usages data autour de données issues de capteurs drones, la mission vise à...

  • Data Engineer/Architect Apache Iceberg

    il y a 1 semaine

    Marseille, Provence-Alpes-Côte d'Azur, France Collective Temps plein

    Budget: En quelques motsCherry Pick est à la recherche d'unData Engineer/Architect(H/F), pour le compte de l'un de ses clients qui opère dans le domaine de la fabrication et la commercialisation des drones.Description Contexte de la missionDans un contexte de forte croissance des usages data autour dedonnées issues de capteurs drones, la mission vise à...

  • Data Architect GCP

    il y a 24 heures

    Marseille, Provence-Alpes-Côte d'Azur, France Free-Work Temps plein

    L'objectif principal est laconception et la mise en œuvre d'un Data Lake moderne sur GCP, basé sur unearchitecture Médaillon(Bronze / Silver / Gold) et s'appuyant surApache Iceberg, avec la capacité dedétacher une brique autonomepour certains clients manipulant des données sensibles.Missions principalesArchitecture & Data PlatformConcevoir et mettre en...

  • DATA Engineer Databricks H/F

    il y a 3 jours

    Marseille, Provence-Alpes-Côte d'Azur, France Devoteam Data Driven Temps plein

    Ancrée au coeur de la cité phocéenne, Devoteam rassemble plus de 60 experts qui accompagnent nos clients dans leur transformation digitale. Spécialisés dans le cloud (AWS, Microsoft Azure, Google Cloud), l'IA, la cybersécurité, la data et l'automatisation des processus métiers, nous sommes leur partenaire de choix pour relever les défis de...

  • Data Architect

    il y a 4 jours

    Marseille, Provence-Alpes-Côte d'Azur, France Digway Temps plein

    Offre demploi : Data Architect (F/H)Lieu : Full Remote / Avec un déplacement par mois à MarseilleSociété : DIGWAY ESN spécialisée en Data & Cloud EngineeringVotre rôleRejoignez nos équipes Data pour concevoir et valider les architectures data de demain. En tant que Data Architect, vous définirez les standards techniques, garantirez la cohérence et...

  • Data Engineer

    il y a 4 jours

    Marseille, Provence-Alpes-Côte d'Azur, France Devoteam Data Driven Temps plein

    Ancrée au coeur de la cité phocéenne, Devoteam rassemble plus de 60 experts qui accompagnent nos clients dans leur transformation digitale. Spécialisés dans le cloud (AWS, Microsoft Azure, Google Cloud), l'IA, la cybersécurité, la data et l'automatisation des processus métiers, nous sommes leur partenaire de choix pour relever les défis de...

  • Data Engineer

    il y a 4 jours

    Marseille, Provence-Alpes-Côte d'Azur, France Free Pro Temps plein

    Au sein du service DATA, vous jouerez un rôle clé dans la conception, l'industrialisation et l'amélioration continue de l'architecture Data, en veillant à la robustesse, à la performance et à la qualité des données mises à disposition.MissionsDévelopper et maintenir la plateforme Data : compréhension de l'architecture existante, migration vers une...

  • Data Architect SSOT

    il y a 4 jours

    Marseille, Provence-Alpes-Côte d'Azur, France Digway Temps plein

    Offre demploi : Data Architect SSOT / Real-Time (F/H)Lieu : Full Remote / Avec un déplacement par mois à MarseilleSociété : DIGWAY ESN partenaire du groupe CMA CGM dans sa transformation DataContexte & rôleDans le cadre de la stratégie de transformation Data de notre client, DIGWAY recrute un Data Architect SSOT / Real-Time pour concevoir et piloter...

  • Data Engineer

    il y a 4 jours

    Marseille, Provence-Alpes-Côte d'Azur, France Digway Temps plein

    Offre d'Emploi : Data Engineer / Data Analyst Polyvalent (H/F)Société : DIGWAY ESN Agile spécialisée dans les Nouvelles TechnologiesPoste : Data Engineer / Data Analyst (Focus Snowflake)Localisation : Paris (Île-de-France) ou Marseille, avec possibilité de télétravail partiel flexible.Secteur : Data Cloud, Big Data, ESNLe Rôle : Construisez l'Avenir...

  • Consultant Data Engineer Azure H/F

    il y a 19 heures

    Marseille, Provence-Alpes-Côte d'Azur, France Devoteam Data Driven Temps plein

    Ancrée au coeur de la cité phocéenne, Devoteam rassemble plus de 60 experts qui accompagnent nos clients dans leur transformation digitale. Spécialisés dans le cloud (AWS, Microsoft Azure, Google Cloud), l'IA, la cybersécurité, la data et l'automatisation des processus métiers, nous sommes leur partenaire de choix pour relever les défis de...