Data Ingénieur

il y a 2 semaines

Paris, Île-de-France SThree Temps plein

Le rôle du Data Engineer dans ce projet consistera à :

  • Concevoir et implémenter les composants/pipelines d'ingestion de données en scala spark (glue jobs, sans utilisation de solutions managées type Databricks)
  • Traiter et normaliser les données
  • Refactoriser des imports existants pour être compliant avec l'architecture medaillon (silver + gold layers) et notre modèle uniformisé/harmonisé à toutes les plateformes (aggrégateurs, market exchanges)
  • Appliquer/challenger les règles métier pour générer la couche gold tout en garantissant les performances, la scalabilité et les coûts cloud
  • Distribuer les données aux différents consommateurs/Métiers
  • Implémenter les règles de Data Quality (DataQuality framework : great expectation) et gérer le data calatog
  • Développer et améliorer les frameworks communs (monitoring, CI/CD, tests, performance, résilience, standards de développement, qualité du code)
  • Rédiger et maintenir la documentation technique des développements réalisés : schéma d'architecture, Infra, Flux, ?
  • Garantir le respect des standards du Groupe en matière de qualité, sécurité, partage, usage et architecture des données
  • Participer au développement et à la maintenance du calculateur en Scala Spark avec l'objectif :
  • d'optimiser le temps de calculs,
  • d'optimiser les performances,
  • de garantir la scalabilité au regard d'un accroissement annuel important du volume des market operations,
  • de maîtriser et d'optimiser les coûts cloud.
  • Être force de proposition pour améliorer les processus et les performances des systèmes.

Profil candidat:

Compétences requises :

  • Expertise en Scala et Spark.
  • Expérience significative dans le développement d'ETL en contexte Big Data.
  • Expérience AWS (Glue, Lambda, Step Function, S3, etc.) : niveau intermédiaire avec exéprience pratique
  • Compétences Dev/Ops
  • Capacité à travailler en équipe et à communiquer efficacement avec les parties prenantes.
  • Organisation, orientation résultats et intérêt marqué pour le fonctionnel.
  • Des compétences en Python et REACT seraient un plus pour le candidat

Profil recherché :

  • Minimum 5 ans d'expérience en développement Scala Spark.
  • Expérience avérée dans des projets Big Data et ETL.
  • Capacité à être force de proposition et à travailler de manière autonome.
  • Intérêt pour le secteur de l'énergie, du trading et de la détection d'abus de marché.

  • Data Ingénieur

    il y a 7 jours

    Paris, Île-de-France Collective Temps plein

    Budget: 550Descriptif du posteNotre stack technique est principalement constitué de Python, Spark, SQL pour les traitements de données, Airflow pour l'orchestration et Cloud Storage et Delta lake pour le stockage. La stack inclut aussi les services BigQuery, Dataproc, PubSub et Cloud Storage de la Google Cloud Platform et Terraform et Terragrunt pour la...

  • Data Ingénieur

    il y a 2 semaines

    Paris, Île-de-France Collective Temps plein

    Budget: 550Définition du besoinLa Direction Technique du Numérique d'une grande organisation médias mène des projets transverses en étroite collaboration avec les autres directions, notamment la direction Data. La Direction Data, au sein de la Direction du Numérique, a été créée avec la volonté de faire de la Data un levier de croissance des...

  • Data Scientist NLP/LLM Engineer confirmé(e)

    il y a 1 semaine

    Paris, Île-de-France MP DATA Temps plein

    ESN spécialisée Data & IA pour les environnements industriels. Pour l'un de nos clients, nous recherchons unLLM Engineerchargé d'industrialiser lesPOC GenAIdéveloppés par les équipes Data Science et de déployer des solutions robustes et scalables en production.Développement et Industrialisation des POC LLM / GenAI.Conception et optimisation de...

  • Ingénieur Data

    il y a 1 semaine

    Paris, Île-de-France REACTIS Temps plein

    Dans le cadre du renforcement d?une équipe en charge de la gestion, de l?anonymisation et de la mise à disposition des jeux de données, nous recherchons un "Ingénieur Data" maîtrisant les environnements SQL et Linux.La mission s?inscrit dans un contexte réglementaire exigeant lié à la conformité RGPD et au traitement de données sensibles.Missions...

  • cdi - data engineer - h/f

    il y a 2 semaines

    Paris, Île-de-France Havas Data Business Intelligence Temps plein

    L'entreprisePrésente au sein du village Havas Group et dans 15 pays, Havas DBi accompagne ses clients sur un éventail large de projets basés sur l'utilisation de leurs données.En tant qu'agence conseil spécialisée en intelligence data au service du business de ses clients, l'équipe regroupe les meilleurs talents du marché : consultants stratégiques,...

  • Data Engineer AWS

    il y a 2 semaines

    Paris, Île-de-France Data Reply FR Temps plein

    Data Replyest une filiale du groupe Reply offrant une large gamme de services d'analyse avancée et de données alimentées par l'IA.Nous opérons dans différents secteurs et fonctions commerciales, en travaillant directement avec des professionnels de haut niveau et des directeurs généraux pour leur permettre d'obtenir des résultats significatifs grâce...

  • Alternant ingénieur déploiement

    il y a 1 semaine

    Paris, Île-de-France NTT DATA Temps plein

    Make an impact with NTT DATAJoin a company that is pushing the boundaries of what is possible. We are renowned for our technical excellence and leading innovations, and for making a difference to our clients and society. Our workplace embraces diversity and inclusion – it's a place where you can grow, belong and thrive.Durée : 24 mois idéalementObjectif...

  • Ingénieur Big Data

    il y a 1 semaine

    Paris, Île-de-France Free-Work Temps plein

    Redlab cherche pour le compte d'un client grand compte , un ingénieur big Data /bases de donnéesExpert des architectures data : bases de données SQL & NoSQL, Big Data, pipelines, gouvernance, performance, sécurité.Missions clésAdministrer et optimiser bases SQL & NoSQL.Concevoir pipelines ETL/ELT sur données hétérogènes.Travailler sur Hadoop,...

  • Data Analyst

    il y a 6 jours

    Paris, Île-de-France Hanalytics | Modern Data & Marketing Technologies Temps plein

    Contexte et objectif du posteDans le cadre de son développement, Hanalytics recherche un(e) stagiaire de fin d'études pour un poste de Data Analyst / Analytics Engineer afin d'accompagner l'équipe Data sur ses projets clients et internes.Le stage s'adresse à un profil curieux, rigoureux et motivé par la mise en pratique concrète de la data :...

  • Ingénieur Data

    il y a 2 semaines

    Paris, Île-de-France GENERALE DU SOLAIRE Temps plein

    Vous souhaitez déposer une candidature spontanée ?Le groupe GÉNÉRALE DU SOLAIRE est un producteur indépendant français d'électricité renouvelable, présent en France et à l'International. Intégrant toute la chaîne de valeur, le groupe est un expert du développement, de l'ingénierie, de la construction, du financement et de l'exploitation de...