Big Data Developer

il y a 10 heures

Toulouse, France BWI Temps plein

BWI (Blue Water Intelligence), founded in June 2022 in Toulouse, France, specializes in monitoring global inland surface water reserves assistant by combining in‑situ data, spaceborne observations, and machine learning to enhance hydrological and hydrodynamical models and deliver data and insights to clients. As a provider of scalable, subscription‑based services, BWI focuses on improving hydrological forecasts to address climate change‑induced water stress and improve water management. BWI is at the forefront of cutting‑edge hydrological research and innovation. We combine advanced mathematics, physics, and computational expertise to address complex challenges in hydrology, environmental science, and water resource management. We are seeking a dynamic and highly skilled Big Data Engineer to join our team, bridging the gap between science and software development. Location: Paris or Toulouse (primarily onsite) – Professional English – 5+ years exp. minimum for application to be considered. Role: Big Data Engineer – building and operating data ingestion and processing pipelines for terabytes of weather and hydrological data, ensuring scalable, reproducible, production‑grade delivery of model inputs and outputs. Core responsibilities Implement ingestion (batch/streaming), ELT/ETL steps, and data publishing workflows. Handle scientific formats (netCDF, GRIB2) and columnar storage (Parquet); optimize I/O and algorithms. Design storage with eventual‑consistency patterns (atomic publishes, manifests, versioned paths) and a metadata catalog. Partition and parallelize workloads for distributed compute; compact small files and tune for cost/performance. Build and run containerized services and orchestrated workflows; ensure observability, retries, idempotency, and runbooks. Collaborate with scientists to define data models and validation rules. Top paradigms & architectural patterns required ELT-first with ETL where needed; streaming/micro‑batch for low‑latency sources. Idempot rencontre enforce, restartable workflows jednod orchestration. Versioned datasets, atomic publish patterns, and catalogue as source of truth. Observability‑driven ops and infra‑as‑code. Python (xarray, netCDF4, pyarrow), PySpark or Dask. AWS (S3, EKS, EC2) or equivalent cloud; Terraform for IaC. Must‑haves 3+ years of relevant experience building/operating large data UFC pipeline, out of 5 minimum years of computer science‑related experience in general (ideally as a full‑stack/back‑end/web software engineer). Strong software engineering in Python with testing and CI/CD. Practical experience with partitioning and parallelism. Computer science education. Understanding of architectural patterns in storing & processing large volumes of data. Humility & eag අද accept both full hands‑on coding position or technical leadership depending on circumstances. Clear communication, teamwork, and analytical problem‑solving. Nice‑to‑haves Hydrology, meteorology, remote‑sensing, or space‑ground‑segment experience. Understanding of low‑level subjects (memory management, HTTP, S3 implementation). Willingness to develop managerial skills. Seniority level Mid‑Senior level Employment type Full‑time Job function Engineering and Information Technology #J-18808-Ljbffr

  • Administrateur Big Data Cdp

    il y a 1 semaine

    Toulouse, France KLETA Temps plein

    Missions principalesAssurer l'administration quotidienne de Cloudera Data Platform (CDP). Garantir la disponibilité, la performance et la sécurité des clusters Big Data. Automatiser les tâches d'administration avec Ansible (playbooks, rôles, intégration CI/CD). Gérer les montées de version, correctifs et évolutions des services Hadoop (HDFS, Hive,...

  • Consultant Data Engineer

    il y a 1 semaine

    Toulouse, France MP Data Temps plein

    Dans un contexte de croissance continue de nos activités Data & IA, MP DATA renforce son équipe toulousaine et recherche un Data Engineer (F/H) motivé, autonome et passionné par les architectures et pipelines de données. Chez MP DATA, nous accompagnons les acteurs industriels et technologiques dans la conception de solutions data robustes, scalables et...

  • Data Science

    il y a 1 semaine

    Toulouse, Occitanie, France TRIMANE | Expert BI et Big Data Temps plein

    Fondée en 2005, TRIMANE est un cabinet de conseil et une société de services spécialisée en Data Intelligence (Data & IA). Notre mission : créer de la valeur à partir des données disponibles dans les entreprises, en s'appuyant sur des approches algorithmiques innovantes, des méthodologies éprouvées et de nombreuses technologies de pointe.En tant...

  • BI & Big Data Architecture Consultant

    il y a 12 heures

    Toulouse, France Davidson consulting Temps plein

    Une entreprise de conseil en technologie recherche un consultant pour rejoindre le pôle Big Data & Data Science. Les responsabilités incluent la conduite d'analyses fonctionnelles, la conception de modèles de données, et la mise en place de solutions de Data Integration. Les candidats doivent avoir un BAC + 5 avec une expérience en BI et maîtriser les...

  • Administrateur/intégrateur Big Data Hadoop

    il y a 2 semaines

    Toulouse, France GESER BEST Temps plein

    Notre agence **GESER-BEST Toulouse** recherche un.e **Administrateur/Intégrateur Big Data Hadoop** H/F. - ** ASAP**: - ** Astreintes et HNO possibles**: - ** 2j de télétravail par semaine** **- Missions**: Sous le pilotage du PO et de l’architecte Big Data, la mission consiste à réaliser des actions relatives à la migration du socle Big Data de la...

  • Data Science

    il y a 13 heures

    Toulouse, France TRIMANE | Expert BI et Big Data Temps plein

    OverviewFondée en 2005, TRIMANE est un cabinet de conseil et une société de services spécialisée en Data Intelligence (Data & IA). Notre mission : créer de la valeur à partir des données disponibles dans les entreprises, en s'appuyant sur des approches algorithmiques innovantes, des méthodologies éprouvées et de nombreuses technologies de...

  • Ingénieure / Ingénieur Big Data (Xaas)

    il y a 1 semaine

    Toulouse, Occitanie, France Capgemini Temps plein

    Choisir Capgemini, c'est choisir une entreprise où vous serez en mesure de façonner votre carrière selon vos aspirations. Avec le soutien et l'inspiration d'une communauté d'experts dans le monde entier, vous pourrez réécrire votre futur. Rejoignez-nous pour redéfinir les limites de ce qui est possible, contribuer à libérer la valeur de la...

  • Hydrology Big Data Engineer — Scalable Data Pipelines

    il y a 12 heures

    Toulouse, France BWI Temps plein

    A leading water intelligence firm in Toulouse is seeking a skilled Big Data Engineer to build and operate data pipelines for large volumes of hydrological and weather data. Candidates should have a minimum of 5 years of experience, strong Python programming skills, and a solid understanding of ETL processes. This full-time role requires collaboration with...

  • Architecte Technique — Cloud, Big Data

    il y a 11 heures

    Toulouse, France SOCIETE GESER BEST Temps plein

    Une entreprise d'ingénierie recherche un(e) Architecte Technique à Toulouse pour accompagner des projets en définissant leur architecture technique. Le candidat idéal aura 5 ans d'expérience, une expertise en Java, Kubernetes et Cloud. Vous travaillerez sur des solutions techniques variées où une connaissance en Big Data serait un plus. Des avantages...

  • Ingénieur BIG DATA SENIOR

    il y a 1 semaine

    Toulouse, Occitanie, France CANDIDATE FIRST Temps plein

    Candidate First recrute pour l'un de ses éditeurs de logiciels, 2 ingénieurs BIG DATA SENIOR femme/homme à Toulouse.ResponsabilitésAu sein de notre équipe satellite ou simulation hydrologique, vous serez chargé de créer et d'exploiter des pipelines d'ingestion et de traitement de données pour des téraoctets de données météorologiques et...