Ingénieur BIG DATA SENIOR

il y a 21 heures

Toulouse, France CANDIDATE FIRST Temps plein

Au sein de notre équipe satellite ou simulation hydrologique, vous serez chargé de créer et d'exploiter des pipelines d'ingestion et de traitement de données pour des téraoctets de données météorologiques et hydrologiques. Rattaché(e) au Teamlead, vous vous concentrerez sur la garantie d'une livraison évolutive, reproductible et de qualité industrielle des entrées et sorties du modèle. -Mettre en oeuvre l'ingestion (par batch/en continu), les étapes ELT/ETL et les workflows de publication des données.-Gérer les formats scientifiques (netCDF, GRIB2) et le stockage en colonnes (Parquet) ; optimiser les E/S et les algorithmes.-Concevoir un stockage avec des modèles de cohérence finale (publications atomiques, manifestes, chemins versionnés) et un catalogue de métadonnées.-Partitionner et paralléliser les charges de travail pour le calcul distribué ; compacter les petits fichiers et optimiser le rapport coût/performance.-Créer et exécuter des services conteneurisés et des workflows orchestrés ; garantir l'observabilité, les réessais, l'idempotence et les runbooks.-Collaborer avec des scientifiques pour définir des modèles de données et des règles de validation.

  • Data Engineer

    il y a 21 heures

    Toulouse, France CELAD Temps plein

    Description du poste 2 jours de télétravail / semaine - Toulouse - Expérience de 3 ans minimum Envie d'un nouveau challenge CELAD vous attend ! Nous poursuivons notre développement et recherchons un(e) Data Engineer pour intervenir chez l'un de nos clients dans le domaine de l'environnement, disposant d'une plateforme Big Data exploitant de très grands...

  • Data Engineer Senior

    il y a 1 semaine

    Toulouse, France AFD Technologies Temps plein

    **Description du poste et Missions**: Dans le cadre de notre croissance, nous recrutons un(e) Data Engineer Senior. Le poste est basé à Toulouse (possibilité de télétravail selon la mission). **Conception et développement de pipelines de données**: - Concevoir, développer et maintenir des pipelines ETL pour collecter, transformer et intégrer les...

  • Senior Data Scientist

    il y a 6 jours

    Toulouse, France Aqsone Temps plein

    Vous êtes créatif.ve et passionné.e par l'intelligence Artificielle ? Vous aimez répondre à des problématiques métier concrètes ? Vous aspirez à enrichir vos compétences et à évoluer dans un environnement stimulant ? Vous voulez mettre en œuvre l'Intelligence Artificielle pour le bien de l’Humanité et la Nature ? **Alors préparez-vous à...

  • Data Engineer

    il y a 1 semaine

    Toulouse, France The Porters Temps plein

    **Responsabilités principales**: - Développement et maintenance des pipelines de données - Traitement, transformation et valorisation des données à grande échelle - Contribution à l’architecture et à la structuration des flux Big Data - Collaboration avec les équipes Data Science, BI et produit - Participation à l’amélioration continue des...

  • Data Ops

    il y a 21 heures

    Toulouse, France TOHTEM IT Temps plein

    Dans le cadre de l?évolution de son infrastructure Big Data, notre client, un organisme public recherche un Administrateur / Expert Hadoop pour intervenir sur un projet de migration de la plateforme Hortonworks Data Platform (HDP) vers Cloudera Data Platform (CDP). Sous la responsabilité du Product Owner et de l?Architecte Big Data, le consultant...

  • Data Engineer

    il y a 21 heures

    Toulouse, France CELAD Temps plein

    2 jours de télétravail / semaine - Toulouse - Expérience de 3 ans minimum Envie d'un nouveau challenge CELAD vous attend ! Nous poursuivons notre développement et recherchons un(e) Data Engineer pour intervenir chez l'un de nos clients dans le domaine de l'environnement, disposant d'une plateforme Big Data exploitant de très grands volumes de données....

  • Ingénieur Sécurité Réseau Senior

    il y a 6 jours

    Toulouse, France COLLEEN-IT Temps plein

    CEO & Fondateur COLLEEN-IT | ESN proposant des solutions personnalisées sur Toulouse Rejoignez COLLEEN-IT pour piloter des projets d’infrastructure réseau critiques chez un SCORE? Nous recherchons un Ingénieur Réseau & Sécurité expérimenté pour intégrer une équipe dédiée à la transformation et à la maintenance évolutive (MCO) de...

  • Data Science

    il y a 1 semaine

    Toulouse, France Trimane Temps plein

    La société : Fondée en 2005, TRIMANE est un cabinet de conseil et une société de services spécialisée en Data Intelligence (Data & IA). Notre mission : créer de la valeur à partir des données disponibles dans les entreprises, en s'appuyant sur des approches algorithmiques innovantes, des méthodologies éprouvées et de nombreuses technologies de...

  • Tech Lead Data

    il y a 6 jours

    Toulouse, France Sogeti Temps plein

    **Description de l'entreprise**: **Pourquoi rejoindre le pôle expert de SOGETI ?** Pour la force de notre groupe: - CAPGEMINI, leader mondial et multiculturel, regroupant 325 000 personnes dans près de 50 pays. - Pour nos valeurs : humanité, proximité et passion du métier. - Et enfin, pour intégrer la marque premium de Sogeti part of Capgemini ! Le...

  • Tech Lead Data

    il y a 1 semaine

    Toulouse, France Sogeti Temps plein

    **Description de l'entreprise**: **Pourquoi rejoindre le pôle expert de SOGETI ? Pour la force de notre groupe: - CAPGEMINI, leader mondial et multiculturel, regroupant 325 000 personnes dans près de 50 pays. - Pour nos valeurs : humanité, proximité et passion du métier.Et enfin, pour intégrer la marque premium de Sogeti part of Capgemini !Le pôle...