Senior Data Engineer

La plateforme de WeeFin a pour vocation de faciliter la validation, l’exploitation et l’enrichissement des données fournisseurs dans le contexte particulier de chacun de nos clients. Cela conduit notre équipe de développeurs à mettre en place des pipelines data, une librairie de calculs configurables par les utilisateurs et des features permettant d’encadrer les processus ESG.

Avez-vous les compétences pour ce poste ? Lisez les détails complets ci-dessous, et envoyez votre candidature dès aujourd'hui.

Nous sommes en pleine croissance et construisons une équipe engagée pour relever ces défis. C’est dans ce contexte que nous recherchons un Senior Data Engineer pour renforcer notre pôle technique et accompagner l’évolution de notre architecture data.

Les enjeux du poste

Au sein du pôle Data de l’équipe Tech, et rattaché(e) directement au Data Lead, tu seras au cœur des enjeux de structuration et d’optimisation de nos pipelines de données.

Les missions de l’équipe Data

• 
  

• Concevoir les modèles de données des futures fonctionnalités pour assurer un stockage et une interrogation efficaces

  
  

• Garantir le bon fonctionnement des pipelines data et leur optimisation continue

  
  

• Créer des outils internes permettant aux autres équipes de naviguer facilement dans les données

  
  

Les challenges de l’équipe

• 
  

• Travailler avec des volumes de données importants tout en optimisant les temps de traitement

  
  

• Organiser et rendre configurables des processus de calculs complexes

  
  

• Comprendre et implémenter les méthodologies ESG au sein de notre architecture data

  
  

Les missions

Au sein du pôle Data de l’équipe Tech, et rattaché.e directement au Data Lead, futur.e Senior Data Software Engineer aura les missions suivantes :

1. Concevoir et développer une architecture data performante

• 
  

• Concevoir, développer et maintenir les pipelines data, en exploitant AWS Athena et dbt

  
  

• Mettre en place et optimiser l’architecture des pipelines et du stockage des données

  
  

• Assurer le déploiement et la gestion d’infrastructure via Terraform

  
  

• Diffuser les bonnes pratiques et partager les connaissances au sein de l’équipe Tech

  
  

2. Créer et améliorer des outils internes

• 
  

• Développer des outils de monitoring et de navigation dans les données pour les autres équipes

  
  

• Être à l’écoute des besoins des équipes métier et adapter les outils en conséquence

  
  

3. Garantir la qualité et la performance de la plateforme

• 
  

• Améliorer la stack technique et optimiser les performances des pipelines de données

  
  

• Implémenter des tests unitaires, d’intégration et de performance

  
  

• Participer aux revues de code et à la définition des best practices de développement

  
  

• Travailler sur la sécurité et la conformité des flux de données

  
  

Overview de la stack technique :

• 
  

• Pipeline Data: AWS Athena, dbt, AWS Step Function, Lambda, ECS

  
  

• Frameworks python: AWS SDK for pandas (awswrangler), pandas, numpy

  
  

• Data Base: S3 (Iceberg, parquet), PostgreSQL, DynamoDB

  
  

• Backend: Lambda Python/NodeJS, AWS API Gateway

  
  

• Authentification: Cognito

  
  

• Infra as Code: Terraform

  
  

Pourquoi nous rejoindre ?

• 
  

• Une équipe décentralisée en full remote (France)

  
  

• Une forte expertise technique

  
  

• Un rôle stratégique avec un fort impact sur l’évolution de notre architecture data

  
  

• Un environnement technique stimulant, avec des défis complexes et variés

  
  

• Une entreprise en pleine croissance, avec des perspectives d’évolution

  
  

Tu es passionné par la data et l’optimisation des architectures cloud. Tu as une solide expérience en développement et architecture data, et tu cherches à évoluer dans un environnement technique exigeant et stimulant.Tu as une expérience confirmée d’au moins 8 ans en Data Engineering dans un environnement cloud et tu sais concevoir des pipelines de données performants et scalables.Tu maîtrises Python ainsi que ses principaux frameworks, comme pandas, numpy et AWS SDK for pandas, pour manipuler efficacement les données.Tu sais orchestrer des pipelines de données en utilisant des outils comme dbt, AWS StepFunction, ou Airflow afin d’assurer des traitements fluid