Senior Data Engineer

il y a 3 semaines

France Continuity Temps plein

La colonne vertébrale de notre solution est un pipeline de data et de ML qui permet d'enrichir chaque dossier analysé avec des données externes, de qualifier le risque (activité, adresse, bâtiment, situation financière, historique de sinistre) pour répondre à deux questions simples : le dossier peut-il être accepté ou refusé ? le contrat doit-il être modifié ?

Les data sont donc au cœur de notre produit

  • Pour assister nos utilisateurs dans l'analyse du risque d'une entreprise
  • Pour entraîner nos modèles de machine learning avec des données de qualités
  • Pour aider nos équipes Produit & Opérations dans leur suivi des besoins clients

Environnement technique

  • Data : Python, Spark, Dagster, pandas, multiprocess / asyncio
  • DB : AWS RDS Postgres / Aurora / OpenSearch / DynamoDB
  • GIS : geopandas, geospark, Postgis
  • ML : Python, Pytorch, Scikit-learn, Transformers
  • App : PHP/Symfony, API Platform, Angular, StencilJS
  • Storage : PostgreSQL, PostGIS, Elasticsearch, Redis, AWS/S3
  • Infra : AWS, Terraform, Kubernetes, Træfik, Docker, EC2, EMR
  • Monitoring : AWS/Cloudwatch, Datadog
  • Dashboarding : QuickSight, Metabase
  • Dev : Git, Gitlab, Gitlab CI/CD

Principales responsabilités

  • Identifier les sources de données pertinentes
  • Concevoir & Implémenter les pipelines permettant la collecte et le traitement de volumes importants de données
  • Superviser les outils de monitoring et d'alerting pour s'assurer du bon fonctionnement des composants (pipelines, workers, API de données)
  • Accompagner les ML Engineers pour la mise en production de leurs services
  • Challenger l'architecture existante pour optimiser son fonctionnement
  • Être garant de la qualité des données (exactitude, exhaustivité, cohérence, l’actualité, l’intégrité, sécurité)
  • Infuser les bonnes pratiques de développement et aider à la mise en production d'approches data centric
  • Recruter et faire monter en compétence une équipe de Data Engineers

Exemples de traitements de données

  • données administratives open source
  • données géographiques et satellitaires
  • identification et récupération des données web liées à chaque entreprises
  • processing des données internes des assureurs
  • pipelines d'annotations
  • pipelines d'entrainement des modèles de ML

En tant que Contributeur Individuel :

  • Spécification des nouvelles fonctionnalités en collaboration avec le Produit
  • Développement des composants applicatifs
  • Prise en compte des enjeux de qualité et de sécurité dans le cycle de développement
  • Stratégie de tests
  • Bonnes pratiques
  • Revues de code
  • CI/CD
  • Maintien en conditions opérationnelles
  • Surveillance et supervision
  • Gestion des incidents
  • Application de correctifs et de mises à jour
  • Optimisation des performances
  • Sauvegarde, restauration, continuité de l’activité
  • Formation et support technique
  • Veille technologique

En tant que Senior Engineer :

  • Participation à la stratégie technique et à l’architecture de la plateforme
  • Résolution de problèmes complexes et défis techniques
  • Gestion de projets techniques complexes et inter-équipes
  • Mentorat et développement des compétences techniques de l’équipe
  • Évaluation des technologies émergentes

Profil recherché

Expérience : Confirmé (3 à 5 ans)

État d'esprit

  • Esprit d’équipe et esprit d’initiative
  • Rigueur et sens du détail
  • Solides capacités à communiquer avec des personnes techniques et non techniques

Pipelines

  • Expérience dans la mise en place de process ETL (batch ou streaming)
  • Connaissance des principes d’orchestration de pipelines (retry, backfill, idempotence, ...)

Data

  • Expérience dans le traitement des données géographiques (GIS)
  • Expérience en administration et maintenance de bases de données (PostgreSQL, Mysql, Elasticsearch, Redis)
  • Expérience Cloud, idéalement avec AWS
  • Connaissances en modélisation et traitement de données volumineuses
  • Connaissances des moteurs de bases de données (relationnelles, noSQL, GIS, etc.)
  • Connaissance en qualité, sécurité et protection des données

Développement

  • Expérience significative en développement Python / SQL et très forte sensibilité à la qualité du code (bonnes pratiques, tests, maintenabilité, performance)
  • Familier avec les technologies de virtualisation et cloud computing (Docker, Kubernetes)
  • Familier avec le monitoring temps réel (Prometheus, Grafana, ELK, datadog)
  • Familier avec les outils de gestion de configuration / IaaC (Terraform est un plus)

Autres

Pourquoi nous rejoindre ?

  • Rejoindre une équipe solide et expérimentée
  • Travailler sur un marché en pleine disruption
  • Embarquer très tôt dans l'aventure
  • Construire une solution qui a un impact réel sur les entreprises

Bon à savoir

  • Mutuelle Alan, Carte Swile, frais de transports pris en charge à 50%
  • Télétravail partiel ou total, avec un budget pour aménager ton espace de travail
  • Bureaux centraux (quartier gare St Lazare), bien desservis

  • Data Engineer Python Senior F/H

    il y a 2 jours

    France Pulsover Temps plein

    Pulsover est un cabinet de conseil spécialisé dans la data, le cloud et le delivery . La mission de nos consultants Pulsover est d'accompagner nos Clients dans leur transformation digitale grâce à la combinaison de leur expertise technique et de leur capacité à gérer des projets internationaux à forts enjeux. Notre culture favorise l'innovation,...

  • Senior Engineer, Data Engineering

    il y a 3 semaines

    France Continuity Temps plein

    La colonne vertébrale de notre solution est un pipeline de data et de ML qui permet d'enrichir chaque dossier analysé avec des données externes, de qualifier le risque (activité, adresse, bâtiment, situation financière, historique de sinistre) pour répondre à deux questions simples : le dossier peut-il être accepté ou refusé ? le contrat doit-il...

  • Senior Data Engineer

    il y a 1 semaine

    Île-de-France, France Opus Recruitment Solutions Temps plein

    Rôle : Data Engineer Senior Industrie : Distribution Localisation : Île de France / Remote possible à 90%Salaire : 60k€ - 70k€ À propos : Avec maintenant plus de 10 ans d'existence et une levée de fonds significative il y a deux ans, l'entreprise vise désormais une expansion européenne. Sous la direction du Head of Data, et en...

  • Senior Data Engineer

    il y a 1 semaine

    Île-de-France Opus Recruitment Solutions Temps plein

    Rôle : Data Engineer Senior Industrie : Distribution Localisation : Île de France / Remote possible à 90%Salaire : 60k€ - 70k€ À propos : Avec maintenant plus de 10 ans d'existence et une levée de fonds significative il y a deux ans, l'entreprise vise désormais une expansion européenne. Sous la direction du Head of Data, et en...

  • Senior Engineer

    il y a 7 jours

    France Opus Recruitment Solutions Temps plein

    Rôle : Senior Analytics Engineer Industrie : Greentech/Foodtech Localisation : Île de France / Remote (1 passage sur site par mois) Avec maintenant plus de 10 ans d'existence et une levée de fonds significative il y a deux ans, l'entreprise vise désormais une expansion européenne. Sous la direction du Head of Data, et en collaboration avec une...

  • Data Engineer GCP

    il y a 1 semaine

    France, FR skiils Temps plein

    Un grand groupe est à la recherche d'un Data Engineer senior pour participer à un projet de computer vision. Le data engineer senior rejoindra une équipe agile constituée d?un.e PO, de data scientists (pour certains spécialisés en recherche opérationnelle) et un.e data analyst. Il pourra également participer aux échanges réguliers avec la...

  • Data Engineer GCP

    il y a 1 semaine

    France skiils Temps plein

    Un grand groupe est à la recherche d'un Data Engineer senior pour participer à un projet de computer vision. Le data engineer senior rejoindra une équipe agile constituée d?un.e PO, de data scientists (pour certains spécialisés en recherche opérationnelle) et un.e data analyst. Il pourra également participer aux échanges réguliers avec la...

  • Data Engineer Senior

    il y a 2 jours

    France Pulsover Temps plein

    A propos de Pulsover : Pulsover est un cabinet de conseil spécialisé dans la data, le cloud et le delivery . La mission de nos consultants Pulsover est d'accompagner nos Clients dans leur transformation digitale grâce à la combinaison de leur expertise technique et de leur capacité à gérer des projets internationaux à forts enjeux. Notre...

  • Data Engineer Senior

    il y a 2 jours

    France Pulsover Temps plein

    A propos de Pulsover : Pulsover est un cabinet de conseil spécialisé dans la data, le cloud et le delivery. La mission de nos consultants Pulsover est d'accompagner nos Clients dans leur transformation digitale grâce à la combinaison de leur expertise technique et de leur capacité à gérer des projets internationaux à forts enjeux. Notre culture...

  • Data Engineer Senior

    il y a 2 jours

    France, FR Pulsover Temps plein

    A propos de Pulsover : Pulsover est un cabinet de conseil spécialisé dans la data, le cloud et le delivery. La mission de nos consultants Pulsover est d'accompagner nos Clients dans leur transformation digitale grâce à la combinaison de leur expertise technique et de leur capacité à gérer des projets internationaux à forts enjeux. Notre culture...

  • Data Engineer Senior H/F

    il y a 1 semaine

    Île-de-France, France HARDIS GROUP Temps plein

    GCP, Python, Data Pipeline, MicroServices, CI/CD, Machine learning, ces mots vous parlent, alors lisez la suite ! MISSIONAu sein de notre entité Business Applications parisienne et intégré(e) au sein d’une équipe projet, vous contribuez à l’élaboration et l’évolution des couches métiers des applications que nous réalisons pour nos clients.En...

  • Data Engineer Senior H/F

    il y a 1 semaine

    Île-de-France HARDIS GROUP Temps plein

    GCP, Python, Data Pipeline, MicroServices, CI/CD, Machine learning, ces mots vous parlent, alors lisez la suite ! MISSIONAu sein de notre entité Business Applications parisienne et intégré(e) au sein d’une équipe projet, vous contribuez à l’élaboration et l’évolution des couches métiers des applications que nous réalisons pour nos clients.En...

  • Senior Engineer, Data Engineering

    il y a 1 jour

    France NW Temps plein

    Type de contrat : CDI Localisation : Paris, 7ème (présentiel) Date de début : dès que possible NW vise à rendre la transition énergétique accessible à tous. Première licorne française de la transition énergétique, NW est le leader en France du stockage d'électricité avec sa solution JBox® et le précurseur de la recharge haute puissance...

  • Senior Analytics Engineer

    il y a 7 jours

    France Opus Recruitment Solutions Temps plein

    Rôle : Senior Analytics Engineer Industrie : Greentech/Foodtech Localisation : Île de France / Remote (1 passage sur site par mois) Salaire : 55k€ - 65k€ À propos : Avec maintenant plus de 10 ans d'existence et une levée de fonds significative il y a deux ans, l'entreprise vise désormais une expansion européenne. Sous la direction du...

  • Data Analytics

    il y a 4 semaines

    Île-de-France Frank Recruitment Group Services Ltd Temps plein

    Data Engineer/Data analytique- Concevoir, implémenter et entretenir des pipelines de données efficaces et fiables en utilisant une gamme variée de technologies et de frameworks modernes (AWS, Azure, GCP | Airflow | Redshift, Big Query, Snowflake, etc.).- Développer des modèles de données avancés afin de soutenir des analyses complexes.- Garantir la...

  • Senior Analytics Engineer

    il y a 7 jours

    France, FR Opus Recruitment Solutions Temps plein

    Rôle : Senior Analytics Engineer Industrie : Greentech/FoodtechLocalisation : Île de France / Remote (1 passage sur site par mois)Salaire : 55k€ - 65k€ À propos : Avec maintenant plus de 10 ans d'existence et une levée de fonds significative il y a deux ans, l'entreprise vise désormais une expansion européenne. Sous la direction du Head of...

  • Senior Analytics Engineer

    il y a 1 semaine

    France Opus Recruitment Solutions Temps plein

    Rôle : Senior Analytics Engineer Industrie : Greentech/FoodtechLocalisation : Île de France / Remote (1 passage sur site par mois)Salaire : 55k€ - 65k€ À propos : Avec maintenant plus de 10 ans d'existence et une levée de fonds significative il y a deux ans, l'entreprise vise désormais une expansion européenne. Sous la direction du Head of...

  • Data Engineer Python

    il y a 3 jours

    Paris, 75001, Ile-de-France, Paris GRADIANT Temps plein

    Nous recherchons pour l'un de nos clients, une entreprise du CAC 40, un(e) Data Engineer senior pour intégrer une mission longue de 3 ans. Le rôle du Data Engineer senior dans ce projet impliquera la conception et la mise en ?uvre des composants de plateforme suivants : ? Ingestion de données ? Traitement et normalisation des données. ? Distribuer...

  • Data Scientist GCP

    il y a 1 semaine

    France skiils Temps plein

    Un grand groupe est à la recherche d'un Data Scientsit senior pour participer à un projet de computer vision. Pour ce projet, il recherche un.e data scientist senior qui rejoindra une équipe agile constituée d?un.e PO, de data scientists et 2 data engineers. Il pourra également participer aux échanges réguliers avec la communauté d?une...

  • Data Scientist GCP

    il y a 1 semaine

    France, FR skiils Temps plein

    Un grand groupe est à la recherche d'un Data Scientsit senior pour participer à un projet de computer vision. Pour ce projet, il recherche un.e data scientist senior qui rejoindra une équipe agile constituée d?un.e PO, de data scientists et 2 data engineers. Il pourra également participer aux échanges réguliers avec la communauté d?une...