Data Engineer/Architect Apache Iceberg Freelance

il y a 1 jour

Greater Marseille Metropolitan Area, France Cherry Pick Temps plein

En quelques mots

Cherry Pick est à la recherche d'un
Data Engineer/Architect(H/F)
, pour le compte de l'un de ses clients qui opère dans le domaine de la fabrication et la commercialisation des drones.

Description

Contexte de la mission

Dans un contexte de forte croissance des usages data autour de
données issues de capteurs drones
, la mission vise à concevoir et structurer une
plateforme data internalisée
, capable d'absorber des volumes importants de données hétérogènes (temps réel et batch), tout en répondant à des enjeux de
sensibilité des données clients
et de
maintenance prédictive
.

Missions principales et rôle

  • Concevoir et mettre en place un
    Data Lake
    basé sur une
    architecture médaillon (Bronze / Silver / Gold)
  • Gérer l'ingestion et le stockage de
    données capteurs drones
    et de
    données tabulaires
  • Mettre en œuvre une architecture data basée sur
    Apache Iceberg
  • Garantir la
    disponibilité rapide des données après les vols d'essai
  • Participer à la conception d'une
    brique data autonome
    , isolable pour les cas de
    données sensibles clients
  • Contribuer à l'
    internalisation de la plateforme data
  • Traiter des
    pics de charge importants
    (jusqu'à 10 Go de données arrivant simultanément)
  • Collaborer avec les équipes plateforme et data science sur les cas d'usage de
    maintenance prédictive

Objectifs

  • Centraliser et fiabiliser les données drones dans un
    Data Lake scalable et robuste
  • Permettre une exploitation rapide des données post-vol
  • Sécuriser et isoler certaines données selon les contraintes clients
  • Préparer les données pour des usages avancés (analytique, maintenance prédictive)

Compétences requises

  • Solide expérience en
    Data Engineering / Data Architecture
  • Maîtrise des architectures
    Data Lake
    et de la
    méthode Médaillon
  • Expertise sur
    Apache Iceberg
  • Expérience sur
    Google Cloud Platform (GCP)
  • Gestion de données volumineuses et ingestion massive
  • Connaissances en architectures data sécurisées
  • Rust
    est un
    plus apprécié

Profil

  • Data Engineer / Data Architect confirmé
  • Capacité à travailler sur des sujets
    structurants et plateformes
  • Autonomie, esprit d'analyse et force de proposition
  • Habilitable
    (nationalité française requise + casier judiciaire vierge)
  • Français courant

  • Data Engineer/Architect Apache Iceberg Freelance

    il y a 6 heures

    Greater Marseille Metropolitan Area, France Cherry Pick Temps plein

    En quelques motsCherry Pick est à la recherche d'un Data Engineer/Architect(H/F), pour le compte de l'un de ses clients qui opère dans le domaine de la fabrication et la commercialisation des drones.Description Contexte de la missionDans un contexte de forte croissance des usages data autour de données issues de capteurs drones, la mission vise à...

  • Data Engineer/Architect Apache Iceberg

    il y a 1 jour

    Marseille, Provence-Alpes-Côte d'Azur, France Cherry Pick Temps plein

    En quelques motsCherry Pick est à la recherche d'un Data Engineer/Architect(H/F), pour le compte de l'un de ses clients qui opère dans le domaine de la fabrication et la commercialisation des drones.Description? Contexte de la missionDans un contexte de forte croissance des usages data autour de données issues de capteurs drones, la mission vise à...

  • Data Engineer/Architect Apache Iceberg

    il y a 1 jour

    Marseille, Provence-Alpes-Côte d'Azur, France Collective Temps plein

    Budget: En quelques motsCherry Pick est à la recherche d'unData Engineer/Architect(H/F), pour le compte de l'un de ses clients qui opère dans le domaine de la fabrication et la commercialisation des drones.Description Contexte de la missionDans un contexte de forte croissance des usages data autour dedonnées issues de capteurs drones, la mission vise à...

  • Data Platform Engineer Aws Freelance

    il y a 3 semaines

    Greater Paris Metropolitan Region, France Cherry Pick Temps plein

    En quelques motsCherry Pick est à la recherche d'un "Data Platform Enablement Engineer" pour un client dans le secteur BancaireDescription Le Contexte : La Tech au service de la RechercheVotre mission est au cœur de notre réacteur technologique. Vous ne construisez pas seulement des outils ; vous donnez le pouvoir à notre communauté de plus de 50 Data...

  • Data Platform Engineer Aws Freelance

    il y a 5 jours

    Greater Paris Metropolitan Region, France Cherry Pick Temps plein

    En quelques motsCherry Pick est à la recherche d'un "Data Platform Enablement Engineer" pour un client dans le secteur BancaireDescription Le Contexte : La Tech au service de la RechercheVotre mission est au cœur de notre réacteur technologique. Vous ne construisez pas seulement des outils ; vousdonnez le pouvoirà notre communauté de plus de 50 Data...

  • ESG Sales Intern H/F

    il y a 4 semaines

    Greater Paris Metropolitan Region, France ICEBERG DATA LAB Temps plein

    At Iceberg Data Lab, we’re all about helping financial institutions understand and reduce their environmental impact. We calculate environmental impacts from numerous data sources (financial reports, environmental reports, third-party databases) to produce clear corporate environmental impact indicators, helping our clients make smarter decisions around...

  • Data Engineer

    il y a 1 jour

    Greater Paris Metropolitan Region, France Kolab Temps plein

    Votre rôle dans l'équipe :Concevoir, développer et maintenir des pipelines de données robustes et scalables sur AWS.Implémenter des traitements batch et streaming à forte volumétrie à l'aide de Apache Spark .Participer à la conception des architectures data (ingestion, transformation, exposition) en lien avec les équipes métiers et...

  • Data Engineer GCP

    il y a 3 semaines

    Greater Lille Metropolitan Area, France Capgemini Temps plein

    Choisir Capgemini, c'est choisir une entreprise où vous serez en mesure de façonner votre carrière selon vos aspirations. Avec le soutien et l'inspiration d'une communauté d’experts dans le monde entier, vous pourrez réécrire votre futur. Rejoignez-nous pour redéfinir les limites de ce qui est possible, contribuer à libérer la valeur de la...

  • Data Engineer GCP

    il y a 1 jour

    Greater Lille Metropolitan Area, France Capgemini Temps plein

    ChoisirCapgemini, c'est choisir une entreprise où vous serez en mesure de façonner votre carrière selon vos aspirations. Avec le soutien et l'inspiration d'une communauté d'experts dans le monde entier, vous pourrez réécrire votre futur. Rejoignez-nous pour redéfinir les limites de ce qui est possible, contribuer à libérer la valeur de la...

  • Data Engineer AWS

    il y a 7 jours

    Greater Paris Metropolitan Region, France néosoft Temps plein

    Groupe indépendant de conseil en transformation digitale de près de 1800 collaborateurs, Néosoft s’est construit, depuis 2005, sur un modèle qui place l’excellence, le dépassement de soi et la RSE au cœur de sa stratégie.En nous rejoignant, vous intégrez des communautés d’experts et de talents qui vous permettent de développer vos...