Ingénieur BIG DATA SENIOR

il y a 2 jours

Toulouse, Occitanie, France CANDIDATE FIRST Temps plein

Candidate First recrute pour l'un de ses éditeurs de logiciels, 2 ingénieurs BIG DATA SENIOR femme/homme à Toulouse.

Responsabilités

Au sein de notre équipe satellite ou simulation hydrologique, vous serez chargé de créer et d'exploiter des pipelines d'ingestion et de traitement de données pour des téraoctets de données météorologiques et hydrologiques.

Rattaché(e) au Teamlead, vous vous concentrerez sur la garantie d'une livraison évolutive, reproductible et de qualité industrielle des entrées et sorties du modèle.


• Mettre en œuvre l'ingestion (par batch/en continu), les étapes ELT/ETL et les workflows de publication des données.


• Gérer les formats scientifiques (netCDF, GRIB2) et le stockage en colonnes (Parquet) ; optimiser les E/S et les algorithmes.


• Concevoir un stockage avec des modèles de cohérence finale (publications atomiques, manifestes, chemins versionnés) et un catalogue de métadonnées.


• Partitionner et paralléliser les charges de travail pour le calcul distribué ; compacter les petits fichiers et optimiser le rapport coût/performance.


• Créer et exécuter des services conteneurisés et des workflows orchestrés ; garantir l'observabilité, les réessais, l'idempotence et les runbooks.


• Collaborer avec des scientifiques pour définir des modèles de données et des règles de validation.

Qualifications

Formations :

Bac + 5 en Informatique, Mathématique ou Data Scientist

Expérience :

Des postes de débutants et d'expérimentés sont à pourvoir.

Les compétences techniques attendues sont :


• ETL


• Data lake + Meta Données


• Python (xarray, netCDF4, pyarrow), PySpark or Dask


• S3-compatible object storage; Parquet format


• PostgreSQL / PostGIS


• Kubernetes + Docker for deployment


• AWS (S3, EKS, EC2) or equivalent cloud; Terraform for IaC

Compétences comportementales :


• Curiosité


• Faculté de communication


• Esprit d'équipe


• Capacité d'analyse et de résolution de problème


• Aptitude managériale pour les profils expérimentés

Candidate First est particulièrement engagée en faveur de la Diversité, de l'Égalité des chances, et de l'Inclusion.

Partenaire exclusif de Women First, 1er vivier de talents féminins en France, nous nous engageons à présenter des shortlists équilibrées de femmes et d'hommes.

  • Ingénieur Big Data

    il y a 2 semaines

    Toulouse, Occitanie, France Experis France Temps plein

    Présentation de l'entreprise :L'Humain, l'Expertise et l'Innovation, voilà ce qui caractérise l'ADN d'Experis France, ESN de ManpowerGroup reconnue Top Employer 2025. Présente dans 28 pays avec 3800 Talents en France, Experis se positionne comme un acteur incontournable et innovant sur le marché des ESN. Nous proposons une offre intégrée alliant...

  • ingé. Big Data

    il y a 1 semaine

    Toulouse, Occitanie, France W EXECUTIVE FRANCE SAS Temps plein

    Bonjour, je recherche pour l'un de mes clients un(e) ingé. BIG DATA. Skills : Big Data - Red Hat Linux - anglaisMission : gérer et maintenir les plateformes de données massivesoptimiser les performances des systèmes de donnéesassurer la qualité et la sécurité des donnéescollaborer avec les équipes de développement pour intégrer les solutions...

  • Ingénieur Big Data Système XaaS –

    il y a 1 semaine

    Toulouse, Occitanie, France CONCRETIO SERVICES Temps plein

    VOS RESPONSABLES PRINCIPALES :RUN & Administration avancéeMaintenir les plateformes Hadoop, Kafka, Elastic, NiFi?Assurer le support N2/N3 et participer aux astreintes.Gérer les incidents majeurs, le troubleshooting, les actions correctives.Intervenir en HNO en cas de besoin (24/7 en rotation).Performance & optimisationDiagnostiquer les lenteurs (HDFS,...

  • Ingénieure / Ingénieur Big Data (Xaas)

    Il y a 60 minutes

    Toulouse, Occitanie, France Capgemini Temps plein

    Choisir Capgemini, c'est choisir une entreprise où vous serez en mesure de façonner votre carrière selon vos aspirations. Avec le soutien et l'inspiration d'une communauté d'experts dans le monde entier, vous pourrez réécrire votre futur. Rejoignez-nous pour redéfinir les limites de ce qui est possible, contribuer à libérer la valeur de la...

  • Data Science

    Il y a 25 minutes

    Toulouse, Occitanie, France TRIMANE | Expert BI et Big Data Temps plein

    Fondée en 2005, TRIMANE est un cabinet de conseil et une société de services spécialisée en Data Intelligence (Data & IA). Notre mission : créer de la valeur à partir des données disponibles dans les entreprises, en s'appuyant sur des approches algorithmiques innovantes, des méthodologies éprouvées et de nombreuses technologies de pointe.En tant...

  • Big Data Developer

    il y a 1 semaine

    Toulouse, Occitanie, France BWI Temps plein

    Big Data EngineerCompany DescriptionBWI (Blue Water Intelligence), founded in June 2022 in Toulouse, France, specializes in monitoring global inland surface water reserves. By combining in-situ data, spaceborne observations, and machine learning, BWI enhances hydrological and hydrodynamical models to deliver data and insights to its clients. As a provider of...

  • Business Manager Data

    il y a 1 semaine

    Toulouse, Occitanie, France TRIMANE | Expert BI et Big Data Temps plein

    Fondée en 2005, TRIMANE est un cabinet de conseil et une société de service spécialisée en Data Intelligence (Data & IA), notre mission est de créer de la valeur à partir des données disponibles dans les entreprises, en s'appuyant sur des approches algorithmiques innovantes, des méthodologies spécifiques et de nombreuses technologies.En tant que...

  • Ingénieur Data Talend

    il y a 7 jours

    Toulouse, Occitanie, France Davidson consulting Temps plein

    Rejoindre Davidson, ce n'est pas seulement intégrer un groupe de 3000 consultants dans 6 pays et 2 continents, c'est intégrer LA société qui a été élue par ses salariés Great Place To Work France et Europe pendant 4 ans mais aussi une des plus grandes B Corp de France, nommée Best of the World dans la catégorie "collaborateurs" en Les "B Corp"...

  • Ingénieur DATA Senior

    il y a 1 semaine

    Toulouse, Occitanie, France GROUPE NAP Temps plein

    Vous êtes passionné(e) par le commerce et souhaitez accompagner nos clients dans la consécration de leurs projets et le développement de leur activité ?Rejoignez nos équipes et devenez :Ingénieur Data (H/F)Qui sommes-nous ?Le groupe NAP est un groupe de distribution spécialiste du commerce de proximité.Notre objectif ? Développer et animer le...

  • Data engineer H/F

    il y a 7 jours

    Toulouse, Occitanie, France Kicklox Temps plein

    L'offreSecteursAutomobile, Aéronautique, Spatial, Défense & Sécurité, Ferroviaire, Télécommunications, Energie, Services & Systèmes d'Informations, Chimie / Pétrochimie, Digital & E-Commerce, Naval, Machines & Industrie Lourde, Pharmaceutique / Biotechnologie, Banque & Assurance, BTPDescription De L'offreNous recrutons pour l'un de nos clients un...