Data ingénieur informatique/Spark Scala

il y a 1 mois


ÎledeFrance, France SMARTPOINT Temps plein
Le bénéficiaire souhaite mettre en oeuvre plusieurs évolutions de son socle technique. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes de data Engineering Dans ce cadre la prestation consiste à contribuer à/au(x) :

? Recueil et à l'analyse des besoins métier et des processus de bout en bout

? La redaction des spécifications techniques.

? L'assistance et contribution aux instances projet.

? La sécurisation des jalons stratégiques

? Suivi et au dépannage de la production pour son maintien en conditions opérationelles Envrionnement technique : Juptyper Lab, ML Flow Environnement Agile

Livrables attendus Les livrables attendus sont :

- Dévéloppements : Python, système RAG, implémentation des Guardrails, prompt ingénierie)

- Contribution aux chantiers transverses : Architecture, Sécurité

- Documentation technique de la solution

- Contribution à la préparation des instances projets

Expertise(s) / technologie(s)

Les expertises attendues pour réaliser cette prestation sont listées ci-après :

? Compétences en développement (Shell unix, Perl, PHP, Python, git, github)

? Continuous Integration

? Hadoop (Big Data), Spark

? Python



  • Île-de-France GENIOUS Temps plein

    Genious Systèmes recherche pour un de ses clients un Ingénieur Data Spark Scala F/H Contexte Mission: Sur une architecture Big Data permettant de collecter les données de l?ensemble des Back Office dans un Datalake (cluster Hadoop), le projet consiste à exploiter ces données pour alimenter un Dataware communautaire stockée sur une base...


  • Île-de-France HN Services Temps plein

    La Direction des Systèmes d?Information a pour missions de mettre au quotidien à disposition des 25 000 utilisateurs les données et les traitements nécessaires à leur activité, dans le respect des contrats de service; de garantir la sécurité et la pérennité des actifs informatiques du Groupe; d?accompagner le développement commercial du Groupe en...

  • Ingénieur Data Spark

    il y a 2 semaines


    Île-de-France HN SERVICES Travail à distance Freelance Temps plein

    La Direction des Systèmes d’Information a pour missions de mettre au quotidien à disposition des 25 000 utilisateurs les données et les traitements nécessaires à leur activité, dans le respect des contrats de service; de garantir la sécurité et la pérennité des actifs informatiques du Groupe; d’accompagner le développement commercial du Groupe...

  • Ingénieur Data SPARK/SCALA

    il y a 2 semaines


    Île-de-France DHM IT Travail à distance Freelance Temps plein

    Au sein de l'équipe projet Business Intelligence & Big Data, l'expert SPARK/SCALA aura les activités suivantes :Conception détaillée, fonctionnelle et technique.Développements SPARK / SCALAContribution à la formalisation des plans de tests, exécution des tests unitaires et d'un premier niveau de tests d'intégration.Résolution des...


  • Île-de-France DHM IT Temps plein

    Au sein de l'équipe projet Business Intelligence & Big Data, l'expert SPARK/SCALA aura les activités suivantes : Conception détaillée, fonctionnelle et technique. Développements SPARK / SCALA Contribution à la formalisation des plans de tests, exécution des tests unitaires et d'un premier niveau de tests...


  • France, FR Genious Temps plein

    Genious Systèmes recherche pour un de ses clients un Ingénieur Data Spark Scala F/H Contexte Mission: Sur une architecture Big Data permettant de collecter les données de l?ensemble des Back Office dans un Datalake (cluster Hadoop), le projet consiste à exploiter ces données pour alimenter un Dataware communautaire stockée sur une base Exadata. Cette...


  • France, FR DHM IT Temps plein

    Au sein de l'équipe projet Business Intelligence & Big Data, l'expert SPARK/SCALA aura les activités suivantes : Conception détaillée, fonctionnelle et technique. Développements SPARK / SCALA Contribution à la formalisation des plans de tests, exécution des tests unitaires et d'un premier niveau de tests d'intégration. Résolution des...


  • Puteaux, 92800, Ile-de-France, Nanterre Cat-Amania Temps plein

    Notre client du domaine de l'Assurance recherche un profil Ingénieur Développement Spark Scala Expérimenté (+10 ans d'expérience). Sur une architecture Big Data permettant de collecter les données de l?ensemble des Back Office dans un Datalake (cluster Hadoop), le projet consiste à exploiter ces données pour alimenter un Dataware...

  • Data Engineer Spark/Scala

    il y a 2 semaines


    Puteaux, 92800, Ile-de-France, Nanterre Citech Temps plein

    CITECH recrute ! ? ? Si vous souhaitez apporter vos compétences dans la réalisation de différents projets, nous avons LA mission pour vous ! Nous recherchons en effet un(e) Data Engineer Spark/Scala (H/F) ? ? Votre mission est pour un client du secteur banque et assurance qui dispose de 3000 caisses locales sur l?ensemble du territoire ainsi que de 8000...

  • Développeur SPARK/SCALA

    il y a 5 jours


    Île-de-France MLMCONSEIL Travail à distance Freelance Temps plein

    Développeur spark /scala dans le secteur de l'assurance ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;; ;;;;;; ;;;;; ;;;;; ;;;;;; ;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;; ;;;;;; ;;;;; ;;;;; ;;;;;; ;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;;...

  • DATA ENGINEER SPARK

    il y a 2 semaines


    Paris, 75001, Ile-de-France, Paris UCASE CONSULTING Temps plein

    Bonjour, Pour le compte de notre client, nous recherchons un data engineer spark / scala. Mission : Livrables n 1 : Sprint n 1 + Lot 1 : développement des US et tests associés ; + Lot 2 : Documentation projet, mapping des données, modélisation des pipelines, documents d?exploitation ; + Lot 3 : Mise en place du CI/CD sur notre usine logicielle ; + Lot 4...

  • Data engineer scala spark

    il y a 2 semaines


    Paris, 75001, Ile-de-France, Paris Celad Temps plein

    Au sein de l'équipe projet Business Intelligence & Big Data, l'expert SPARK/SCALA aura les activités suivantes : - Conception détaillée, fonctionnelle et technique. - Développements SPARK / SCALA - Contribution à la formalisation des plans de tests, exécution des tests unitaires et d'un premier niveau de tests d'intégration. -...


  • Île-de-France DATSUP Temps plein

    Principales responsabilités : - Collecte de données provenant de sources externes - Exploitation des capacités du Datalake (GCP) - Implémentation de la chaîne de traitement - Développement en conformité avec les normes architecturales établies - Élaboration et documentation des user stories - Création de scripts de déploiement -...

  • Data Engineer TALEND

    il y a 2 semaines


    Paris, 75001, Ile-de-France, Paris Smartpoint Temps plein

    La prestation consiste à contribuer à/au(x) : - Support de l'application (notamment lors des clôtures mensuelles) - La maintenance évolutive - La conception et l'implémentation de nouvelles fonctionnalités - La refonte technique - La migration de Talend vers Spark/scala Environnement anglophone Les livrables attendus sont : - Optimisation des...

  • Développeur SPARK/SCALA

    il y a 6 jours


    Île-de-France MLMCONSEIL Temps plein

    Développeur spark /scala dans le secteur de l'assurance ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;; ;;;;;; ;;;;; ;;;;; ;;;;;; ;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;; ;;;;;; ;;;;; ;;;;; ;;;;;; ;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;;...

  • Data Engineering

    il y a 2 semaines


    Paris, 75001, Ile-de-France, Paris Digistrat consulting Temps plein

    ? Contexte /Objectifs : L'entité a pour charge la maintenance, le support et l'évolution de l'outil concernant le pilotage financier de la banque, des directions centrales et de la facturation interne du groupe. Les outils sont basés sur les technologies Big Data pour le stockage, Talend et Spark/Scala pour les traitements, la suite MSBI SQL...

  • spark scala

    il y a 2 semaines


    Puteaux, 92800, Ile-de-France, Nanterre Innov and Co Temps plein

    Sur une architecture Big Data permettant de collecter les données de l?ensemble des Back Office dans un Datalake (cluster Hadoop), le projet consiste à exploiter ces données pour alimenter un Dataware communautaire stockée sur une base Exadata. Cette exploitation est réalisée par la conception de nouveaux traitements Spark/Scala manipulant les données...


  • France, FR Smartpoint Temps plein

    Le bénéficiaire souhaite mettre en oeuvre plusieurs évolutions de son socle technique. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes de data Engineering Dans ce cadre la prestation consiste à contribuer à/au(x) : ? Recueil et à l'analyse des besoins métier et des processus de bout en bout ? La...


  • France, FR DATSUP Temps plein

    Principales responsabilités : - Collecte de données provenant de sources externes - Exploitation des capacités du Datalake (GCP) - Implémentation de la chaîne de traitement - Développement en conformité avec les normes architecturales établies - Élaboration et documentation des user stories - Création de scripts de déploiement - Priorisation de la...

  • tech lead Spark/Scala

    il y a 2 semaines


    Fontenay-sous-Bois, 94120, Ile-de-France, Nogent-sur-Marne Innov and Co Temps plein

    - Développement Spark/Scala et HIVE - Une bonne expertise des environnements hadoop- Environnement Anglophone 2 - Livrables attendus Les livrables attendus sont :- Revue de code et re-factoring - Projet agile (Scrum) - Traitement d'un gros volume de données - L'application des normes de développements 3 - Expertise(s) / technologie(s) Les...