Senior Data Engineer

il y a 3 semaines

Toulouse, France Continuity Temps plein

La colonne vertébrale de notre solution est un pipeline de data et de ML qui permet d'enrichir chaque dossier analysé avec des données externes, de qualifier le risque (activité, adresse, bâtiment, situation financière, historique de sinistre) pour répondre à deux questions simples : le dossier peut-il être accepté ou refusé ? le contrat doit-il être modifié ?


Les data sont donc au cœur de notre produit

  • Pour assister nos utilisateurs dans l'analyse du risque d'une entreprise
  • Pour entraîner nos modèles de machine learning avec des données de qualités
  • Pour aider nos équipes Produit & Opérations dans leur suivi des besoins clients


Environnement technique

  • Data : Python, Spark, Dagster, pandas, multiprocess / asyncio
  • DB : AWS RDS Postgres / Aurora / OpenSearch / DynamoDB
  • GIS : geopandas, geospark, Postgis
  • ML : Python, Pytorch, Scikit-learn, Transformers
  • App : PHP/Symfony, API Platform, Angular, StencilJS
  • Storage : PostgreSQL, PostGIS, Elasticsearch, Redis, AWS/S3
  • Infra : AWS, Terraform, Kubernetes, Træfik, Docker, EC2, EMR
  • Monitoring : AWS/Cloudwatch, Datadog
  • Dashboarding : QuickSight, Metabase
  • Dev : Git, Gitlab, Gitlab CI/CD


Principales responsabilités

  • Identifier les sources de données pertinentes
  • Concevoir & Implémenter les pipelines permettant la collecte et le traitement de volumes importants de données
  • Superviser les outils de monitoring et d'alerting pour s'assurer du bon fonctionnement des composants (pipelines, workers, API de données)
  • Accompagner les ML Engineers pour la mise en production de leurs services
  • Challenger l'architecture existante pour optimiser son fonctionnement
  • Être garant de la qualité des données (exactitude, exhaustivité, cohérence, l’actualité, l’intégrité, sécurité)
  • Infuser les bonnes pratiques de développement et aider à la mise en production d'approches data centric
  • Recruter et faire monter en compétence une équipe de Data Engineers


Exemples de traitements de données

  • données administratives open source
  • données géographiques et satellitaires
  • identification et récupération des données web liées à chaque entreprises
  • processing des données internes des assureurs
  • pipelines d'annotations
  • pipelines d'entrainement des modèles de ML


En tant que Contributeur Individuel :

  • Spécification des nouvelles fonctionnalités en collaboration avec le Produit
  • Développement des composants applicatifs
  • Prise en compte des enjeux de qualité et de sécurité dans le cycle de développement
  • Stratégie de tests
  • Bonnes pratiques
  • Revues de code
  • CI/CD
  • Maintien en conditions opérationnelles
  • Surveillance et supervision
  • Gestion des incidents
  • Application de correctifs et de mises à jour
  • Optimisation des performances
  • Sauvegarde, restauration, continuité de l’activité
  • Formation et support technique
  • Veille technologique

En tant que Senior Engineer :

  • Participation à la stratégie technique et à l’architecture de la plateforme
  • Résolution de problèmes complexes et défis techniques
  • Gestion de projets techniques complexes et inter-équipes
  • Mentorat et développement des compétences techniques de l’équipe
  • Évaluation des technologies émergentes


Profil recherché


Expérience : Confirmé (3 à 5 ans)


État d'esprit

  • Esprit d’équipe et esprit d’initiative
  • Rigueur et sens du détail
  • Solides capacités à communiquer avec des personnes techniques et non techniques


Pipelines

  • Expérience dans la mise en place de process ETL (batch ou streaming)
  • Connaissance des principes d’orchestration de pipelines (retry, backfill, idempotence, ...)


Data

  • Expérience dans le traitement des données géographiques (GIS)
  • Expérience en administration et maintenance de bases de données (PostgreSQL, Mysql, Elasticsearch, Redis)
  • Expérience Cloud, idéalement avec AWS
  • Connaissances en modélisation et traitement de données volumineuses
  • Connaissances des moteurs de bases de données (relationnelles, noSQL, GIS, etc.)
  • Connaissance en qualité, sécurité et protection des données


Développement

  • Expérience significative en développement Python / SQL et très forte sensibilité à la qualité du code (bonnes pratiques, tests, maintenabilité, performance)
  • Familier avec les technologies de virtualisation et cloud computing (Docker, Kubernetes)
  • Familier avec le monitoring temps réel (Prometheus, Grafana, ELK, datadog)
  • Familier avec les outils de gestion de configuration / IaaC (Terraform est un plus)



Autres


Pourquoi nous rejoindre ?

  • Rejoindre une équipe solide et expérimentée
  • Travailler sur un marché en pleine disruption
  • Embarquer très tôt dans l'aventure
  • Construire une solution qui a un impact réel sur les entreprises


Bon à savoir

  • Mutuelle Alan, Carte Swile, frais de transports pris en charge à 50%
  • Télétravail partiel ou total, avec un budget pour aménager ton espace de travail
  • Bureaux centraux (quartier gare St Lazare), bien desservis

  • Senior Analytics Engineer

    il y a 7 jours

    Toulouse, France Opus Recruitment Solutions Temps plein

    Rôle : Senior Analytics Engineer Industrie : Greentech/FoodtechLocalisation : Île de France / Remote (1 passage sur site par mois)Salaire : 55k€ - 65k€ À propos : Avec maintenant plus de 10 ans d'existence et une levée de fonds significative il y a deux ans, l'entreprise vise désormais une expansion européenne. Sous la direction du Head of Data, et...

  • Lead Engineer/Data Engineer

    il y a 3 semaines

    Toulouse, France Ippon Technologies Temps plein

    Ippon, c'est l’énergie du collectif au service de la technologie ! Nous sommes un cabinet de conseil et d’expertise technique. Nos équipes ont pour leitmotive de transformer des idées innovantes en solutions logicielles de haute qualité avec un focus particulier sur la valeur apportée aux utilisateurs. Située en centre ville, notre agence...

  • Lead Engineer/Data Engineer

    il y a 2 jours

    Toulouse, France Ippon Technologies Temps plein

    Ippon, c'est l’énergie du collectif au service de la technologie ! Nous sommes un cabinet de conseil et d’expertise technique. Nos équipes ont pour leitmotive de transformer des idées innovantes en solutions logicielles de haute qualité avec un focus particulier sur la valeur apportée aux utilisateurs. Située en centre ville, notre agence...

  • Data Engineer

    il y a 4 semaines

    Toulouse, Occitanie, France LeHibou Temps plein

    Notre client dans le secteur Transport et logistique recherche un Data Engineer Confirmé H/FDescriptif de la mission:Dans le cadre de l'un de ses projets, notre client souhaite faire appel à un Freelance expérimenté sur la Data.Vous serez intégré au sein d'une équipe 13 personnes dédiées aux données BI des opérations de notre client.Travail en...

  • Senior Mechanical Engineer

    il y a 1 semaine

    Toulouse, Haute-Garonne, France ARCA Resourcing Temps plein

    Mechanical Engineer / Senior Product Design Engineer ️Toulouse Competitive salary and a robust benefits packageEmbark on a ground-breaking journey with a NewSpace leader based in Toulouse, dedicated to revolutionising in-orbit services. As a Mechanical Engineer, you’ll play a pivotal role in deploying advanced satellite technologies that challenge the...

  • Senior Mechanical Engineer

    il y a 1 semaine

    Toulouse, France ARCA Resourcing Temps plein

    Mechanical Engineer / Senior Product Design Engineer ️Toulouse Competitive salary and a robust benefits packageEmbark on a ground-breaking journey with a NewSpace leader based in Toulouse, dedicated to revolutionising in-orbit services. As a Mechanical Engineer, you’ll play a pivotal role in deploying advanced satellite technologies that challenge the...

  • Senior Mechanical Engineer

    il y a 2 semaines

    Toulouse, France ARCA Resourcing Temps plein

    Mechanical Engineer / Senior Product Design Engineer ️ Toulouse Competitive salary and a robust benefits packageEmbark on a ground-breaking journey with a NewSpace leader based in Toulouse, dedicated to revolutionising in-orbit services. As a Mechanical Engineer, you’ll play a pivotal role in deploying advanced satellite technologies that challenge the...

  • Lead Data Engineer

    il y a 3 semaines

    Toulouse, France Ippon Technologies Temps plein

    Qui sommes-nous ?Ippon, c'est l’énergie du collectif au service de la technologie !Nous sommes un cabinet de conseil et d’expertise technique.Nos équipes ont pour leitmotive de transformer des idées innovantes en solutions logicielles de haute qualité avec un focus particulier sur la valeur apportée aux utilisateurs.Située en centre ville, notre...

  • Lead Data Engineer

    il y a 1 semaine

    Toulouse, Haute-Garonne, France Ippon Technologies Temps plein

    Qui sommes-nous ?Ippon, c'est l’énergie du collectif au service de la technologie !Nous sommes un cabinet de conseil et d’expertise technique.Nos équipes ont pour leitmotive de transformer des idées innovantes en solutions logicielles de haute qualité avec un focus particulier sur la valeur apportée aux utilisateurs.Située en centre ville,...

  • Lead Data Engineer

    il y a 3 semaines

    Toulouse, France Ippon Technologies Temps plein

    Qui sommes-nous ? Ippon, c'est l’énergie du collectif au service de la technologie ! Nous sommes un cabinet de conseil et d’expertise technique. Nos équipes ont pour leitmotive de transformer des idées innovantes en solutions logicielles de haute qualité avec un focus particulier sur la valeur apportée aux utilisateurs. Située en centre...

  • Lead Data Engineer

    il y a 1 semaine

    Toulouse, France Ippon Technologies Temps plein

    Qui sommes-nous ?Ippon, c'est l’énergie du collectif au service de la technologie !Nous sommes un cabinet de conseil et d’expertise technique.Nos équipes ont pour leitmotive de transformer des idées innovantes en solutions logicielles de haute qualité avec un focus particulier sur la valeur apportée aux utilisateurs.Située en centre ville,...

  • Lead Data Engineer

    il y a 2 jours

    Toulouse, France Ippon Technologies Temps plein

    Qui sommes-nous ?Ippon, c'est l’énergie du collectif au service de la technologie !Nous sommes un cabinet de conseil et d’expertise technique.Nos équipes ont pour leitmotive de transformer des idées innovantes en solutions logicielles de haute qualité avec un focus particulier sur la valeur apportée aux utilisateurs.Située en centre ville,...

  • Senior Systems Engineer M365 Purview

    il y a 4 semaines

    Toulouse, France Evotec Temps plein

    As an Senior Systems Engineer M365 Purview , your role involves a range of responsibilities and tasks related to data governance, compliance, and risk management within the Microsoft 365 ecosystem. You will be responsible for the conception, development, maintenance and further development of Purview features. In close coordination with the business, you...

  • Data Engineer PySpark confirmé

    il y a 3 semaines

    Toulouse, Occitanie, France THALES Temps plein

    Quelles sont les missions ?QUI SOMMES-NOUS ? Face à la montée en puissance de la cybercriminalité, favorisée par la complexité croissante des systèmes et des réseaux, la Direction de la Sécurité des Technologies de l'Information développe et soutient des solutions de sécurité de haut niveau pour les systèmes d'information et de communication des...

  • Senior Staff Engineer, User Interface Engineering

    il y a 3 jours

    Toulouse, France Semtech Temps plein

    Location: Toulouse, France   Job Summary:   The user interface engineer is responsible for building world class user interfaces that support connectivity, device, and data management, ranging from device sensors to end-user applications. The user interface engineer will interact within a multi-domain team (embedded software, connectivity...

  • Senior Systems Engineer

    il y a 4 semaines

    Toulouse, France Evotec Temps plein

    As a Senior Systems Engineer specializing in Azure Landing Zone, you will play a crucial role in designing, implementing, and managing Azure environments that adhere to best practices and enable efficient application migration, modernization, and innovation at scale. Your expertise will contribute to the enhancement, stability, and scalability of our...

  • 2 Network Design

    il y a 3 semaines

    Toulouse, France AXA Group Operations Temps plein

    Position SummaryAXA Group Operations initiate with its Network Product Department a One Network Program to tackle its digital transformation, enhance user’s connectivity experience, and mitigate cyber risks. Within Network Product department, Data Center & Cloud product line is responsible of AXA Data Center and CLOUD Network infrastructure, including...

  • Tech Lead

    il y a 4 semaines

    Toulouse, France CS GROUP Temps plein

    Description de l'entreprise La mission de CS GROUP : être à la pointe des technologies pour garantir la sécurité de tous dans un monde en pleine mutation. L'expertise reconnue du groupe lui permet d'intervenir là où les enjeux de sécurité sont les plus sensibles : aéronautique, défense, énergie, spatial… Et, aussi, là où les réponses sont...

  • Data Engineer PySpark confirmé

    il y a 3 semaines

    Toulouse, France Thales Temps plein

    QUI SOMMES-NOUS ? Face à la montée en puissance de la cybercriminalité, favorisée par la complexité croissante des systèmes et des réseaux, la Direction de la Sécurité des Technologies de l’Information développe et soutient des solutions de sécurité de haut niveau pour les systèmes d’information et de communication des organisations...

  • Senior Automation Engineer Process Design

    il y a 4 semaines

    Toulouse, France Evotec Temps plein

    Senior Automation Engineer, Process Design (all genders) | Toulouse, France Just Evotec Biologics is seeking a motivated and creative Senior Scientist or Engineer who desires a significant opportunity to improve worldwide access to biotherapeutics. This position will join a collaborative and multidisciplinary scientific team within the Process Design...