DATA Engineer F/H

il y a 10 heures

Palaiseau, Île-de-France SOCOTEC Temps plein

Description Du Poste
En intégrant le Data & IA Hub SOCOTEC, vous participerez activement à la maintenance et à l'optimisation de notre Datalake, ainsi qu'à la création et à la mise à jour des flux de données. Vous serez responsable de la documentation et de la validation de ces flux, ainsi que de la création et de la mise en place d'outils de reporting tels que Power BI. Vous proposerez également de nouvelles solutions, participerez aux qualifications techniques et contribuerez à l'amélioration continue de notre infrastructure data.

Vous travaillerez sur deux missions principales :

  • Au sein de l'entité Socotec Monitoring France (20%), vous participerez à la définition de la stratégie optimale de données pour Socotec Monitoring (structuration, processus, open data, achats de données externes)
  • Pour le compte du groupe Socotec (80%), vous participez à la construction du Data Lake à l'échelle monde. Votre objectif sera de développer les flux de donner pour leur analyse en lien avec les équipes BI et Data Science. Vous apprendrez à organiser et ordonnancer les flux d'extraction, de transformation et de chargement des données en garantissant leur fiabilité, leur disponibilité, etc.

Le stack technique utilisée :

  • Amazon Web Services (AWS)
  • Apache Airflow comme ordonnanceur
  • Spark pour les pipelines ETL
  • Gitlab pour versionner les sources
  • Kubernetes
  • DeltaLake
  • S3
  • Gérer les metadata avec OpenMetadata
  • Power BI, l'outil de BI, géré avec les équipes BI

Chez SOCOTEC, les carrières sont construites avec vous vers ce qui vous correspond le mieux : expertise technique, management d'une équipe (lead data), etc.

Vous aurez la possibilité d'interagir à l'international (US, UK, ITA, ESP, NL) et des opportunités de mobilité internationale sont possibles.

Vous ferez preuve d'autonomie, de sagacité et de qualités certaines dans la rédaction et la communication de son code. L'offre peut déboucher sur un
CDI à la fin du stage
.

Qualifications

  • Master en Big Data ou diplôme d'ingénieur en informatique avec une forte appétence pour la data
  • Maîtrise des bases de données SQL et NoSQL, ainsi que des concepts associés
  • Connaissance de la stack Big Data (Airflow, Spark, Hadoop)
  • Expérience avec les outils collaboratifs de développement (Git, GitLab, Jupyter Notebooks, etc.)
  • Connaissance appréciée des services AWS (Lambda, EMR, S3)
  • Intérêt marqué pour les technologies innovantes
  • Esprit d'équipe
  • Anglais courant, y compris un bon niveau technique

  • Data Engineer F/H

    il y a 2 semaines

    Palaiseau, Île-de-France SOCOTEC Temps plein

    Description Du PosteSOCOTEC Monitoring France, leader dans le domaine de l'inspection et de la certification, offre des services dans les secteurs de la construction, des infrastructures et de l'industrie.LeData & AI HubSOCOTEC, composé de spécialistes en Data Engineering et Data Science, est chargé non seulement de la gestion et de l'optimisation des...

  • DATA Engineer F/H

    il y a 7 jours

    Palaiseau, Île-de-France SOCOTEC Temps plein

    Description Du PosteAu sein duData & IA Hub SOCOTEC, vous rejoignez une équipe pluridisciplinaire chargée de concevoir, déployer et maintenir l'architecture Data du groupe à l'échelle internationale.Vous contribuerez à lamodernisation du Lakehouse SOCOTEC, cœur de la plateforme analytique mondiale, et participerez à des projets concrets de...

  • AI Engineer H/F

    il y a 1 semaine

    Palaiseau, Île-de-France SOCOTEC Temps plein

    Intégré à l'équipe du Data & IA Hub, vous rejoindrez une jeune équipe composée de Data Scientists, Data Engineers et ML Engineers.Vous travaillerez sur quatre missions principales :Développement d'agents RAG spécialisés: Agents de Knowledge Management ou de text-to-InsightsDévelopper des systèmes de génération automatique : Agents de rapports...

  • Data Scientist Senior F/H

    il y a 1 semaine

    Palaiseau, Île-de-France SOCOTEC Temps plein

    Description Du PosteIntégré à l'équipe du Data & IA Hub, vous rejoindrez une jeune équipe composée de Data Scientists, Data Engineers et ML Engineers.Vous travaillerez sur trois missions principales :En interne, vous participerez à la définition de la stratégie optimale de données pour Socotec (structuration, processus, open data, achats de...

  • Data Scientist H/F

    il y a 1 semaine

    Palaiseau, Île-de-France SOCOTEC Temps plein

    Description Du PosteAu sein du groupe, vous rejoindrez le Data & IA Hub : le centre de compétences en Data & IA pour les 26 pays du groupe SOCOTEC. Le Hub suit une croissance forte des effectifs avec des projets en interne mais aussi auprès des clients du groupe.Intégré à l'équipe du Data & IA Hub, vous rejoindrez une jeune équipe composée de Data...

  • Application Engineer

    il y a 6 jours

    Palaiseau, Île-de-France Bruker Temps plein

    OverviewBruker is enabling scientists to make breakthrough discoveries and develop new applications that improve the quality of human life. Bruker's high performance scientific instruments and high value analytical and diagnostic solutions enable scientists to explore life and materials at molecular, cellular, and microscopic levels. In close cooperation...

  • Application Engineer

    il y a 2 semaines

    Palaiseau, Île-de-France Bruker Corporation Temps plein

    PrésentationBruker is enabling scientists to make breakthrough discoveries and develop new applications that improve the quality of human life. Bruker's high performance scientific instruments and high value analytical and diagnostic solutions enable scientists to explore life and materials at molecular, cellular, and microscopic levels. In close...

  • Senior Laser Design Engineer

    il y a 4 jours

    Palaiseau, Île-de-France NcodiN Temps plein

    At NcodiN, we are redefining the future of AI computing. Our breakthrough optical interposer shatters the limits of system integration, enabling the next generation of AI processors to scale beyond the copper wall. With the world's smallest laser integrated on silicon, we unleash the full potential of AI, setting a new industry standard for performance and...

  • Quantum System Performance engineer

    il y a 4 jours

    Palaiseau, Île-de-France Pasqal Temps plein

    About PasqalPASQAL designs and develops Quantum Processing Units (QPUs) and associated software tools.Our innovative technology enables us to address use cases that are currently beyond the reach of the most powerful supercomputers; these cases can concern industrial application challenges as well as fundamental science needs.In addition to the exceptional...

  • Quantum System Performance engineer

    il y a 2 jours

    Palaiseau, Île-de-France PASQAL Temps plein

    About PasqalPASQAL designs and develops Quantum Processing Units (QPUs) and associated software tools.Our innovative technology enables us to address use cases that are currently beyond the reach of the most powerful supercomputers; these cases can concern industrial application challenges as well as fundamental science needs.In addition to the exceptional...