Data engineer big data/ gcp f/h

Il y a 3 heures

Paris, Île-de-France PRODUCT DEVELOPMENT EMPLOYENEURSHIP Temps plein

| QUI SOMMES-NOUS ?

TMC est une société internationale de conseil en haute technologie qui apporte son expertise à ses clients afin de les aider à relever leurs défis. Depuis 24 ans, avec une présence mondiale dans 14 pays, nous avons bâti une réputation d'excellence et de fiabilité grâce à l'Employeneurship dans divers domaines : Technology & Engineering/ Energy & Renewables/ Life sciences & Pharm/ Digital & IT.

| QU'EST CE-QUE L'EMPLOYENEURSHIP ?

Il s'articule autour de 5 piliers principaux :

  • Bénéficiez un contrat de travail permanent, offrant stabilité et sécurité ;
  • Une transparence totale, c'est connaître sa valeur financière et bénéficier individuellement d'une part des profits générés ;
  • Être soutenu par un coaching individuel conçue pour développer ses compétences entrepreneuriales ;
  • La structure des cellules de compétence permettant de disposer d'un réseau solide, significatif et pertinent ;
  • Le laboratoire entrepreneurial : un terrain de jeu pour les nouvelles idées et un lieu de lancement potentiel pour les start-ups.

| VOTRE CHALLENGE ?

Dans le cadre d'un projet de traitement de données de supervision à grande échelle, nous accompagnons la migration d'une architecture Big Data vers GCP, afin de développer les premières briques de cette nouvelle architecture cible :

  • Fiabiliser la chaîne d'ingestion des données collectées
  • Mettre en œuvre le pattern claim-check et assurer la gestion de la résilience
  • Développer le nouveau Data Sink vers Cassandra
  • Garantir l'absence de perte et de doublons de données, avec mise en place d'une DLQ opérationnelle
  • Valider les performances d'écriture Spark/Cassandra à l'échelle cible
  • Produire les premières données consolidées nécessaires aux futurs usages Data Science
  • Livrer une couche Silver disponible et exploitable

| QU'ATTENDONS-NOUS DE VOUS ?

  • Diplôme d’ingénieur ou Master Bac+5 informatique
  • Minimum 5 ans d'expérience en tant que Data Engineer
  • Expérience solide avec Kafka (patterns d'ingestion, résilience, claim-check)
  • Maîtrise de Spark et de Cassandra (écriture à l'échelle, performance)
  • Connaissance des architectures Big Data en environnement cloud (GCP idéalement)