Data Engineer

il y a 4 semaines

Paris, France OCTOGONE Temps plein

2.1 Objectifs
La mission proposée a pour objectifs principaux les 4 volets suivants, qui concerne le projet IVC en général ou bien dans
les instances de chacun de ces use cases composants, que ce soient existants ou à venir:
Conception/Préconisation
Réalisation
MCO
Coordination/Communication
2.2 Description détaillée des tâches qui constituent la mission
Conception/Préconisation
Porteur de la création des nouveaux use cases
Analyses de besoins métier concernés
Conception du nouveau use case big Big Data en adéquation avec l’architecture fonctionnelle
Interne 2
Vérification et analyse des impacts techniques des solutions retenues (vue logique et vue physique), en lien avec
l’architecte de l’infrastructure Big data.
Analyse de la qualité des données sources et conception des règles de mise en qualité
Conception de la stratégie de recette (cas de tests, cahier de recette)
Pour tout nouveau projet/use case ou toute nouvelle technologie, participation à l’étude d’impact sur l’architecture
existante ou prévisionnelle et préconisation des choix techniques en vue d’assurer la cohérence de cette évolution
Réalisation
Participe à la mise en œuvre l’architecture fonctionnelle choisie
Développe la solution retenue (flux entrant, ingestion des bases, transformation, extraction, flux sortant, etc.):
scripts de traitement, ordonnancement, tableaux de bord
Réalise les tests et recettes adéquats
MCO
Maintenance en condition opérationnelle des uses cases
Réalisation de l’évolution le cas échéant tout en assurant la non-régression des produits proposés.
Coordination/Communication
Coordination des échéances de pour le(s) use-case(s) dont le consultant est responsable.
Travail en équipe avec le Métier et l’architecture du SI
Documentation des choix techniques et des fonctionnements des use cases IVC
2.3 Résultats attendus et/ou livrables avec échéancier si besoin
Points hebdomadaires d’avancement
Rapports d’activité semestriel

Profil(s) le(s) plus à même de remplir la prestation (compétences requises et souhaitées):
Maitrise des frameworks bigdata (Hadoop, Hive, Spark, Tez, etc.) et les outils associés d’exploration/de
manipulation (Ambari, Zeppelin, HDFS, etc.)

**Maitrise des langages de programmation suivantes**: bash, sed, awk, hql/sql, python/scala
Solide expérience pour les plateformes HDInsight, databricks et éventuellement AWS
Solide expérience de cloud storage Azure Data Lake Storage Gen2.
Expériences d’usage d’un outil d’ordonnancement des jobs, de préférence Rundeck
Maitrise de différents formats de données SQL (managed/external), Parquet, XML, JSON, CSV, XLSX et
éventuellement Delta

**5.2 Environnement technique**:
**OS**: Windows et Linux

**Poste de travail**: PC et VM

  • Data Engineer

    il y a 1 mois

    Paris, France Data Recrutement Temps plein

    Offre publiée le 03-02-2023.- Paris - Toulouse - Fonction Data engineer hadoop spark - Taille entreprise de 21 à 50 - Télétravail à 100% - Technologies Aws - Technologies Gcp - Technologies Sql - Expérience 1 à 2 ans - Expérience 3 à 5 ans - Statut CDI - Min 50k€ - Max 60k€ - Why: - **Croissance à deux chiffres**: - **Entreprise rentable**: -...

  • Data Engineer

    il y a 1 mois

    Paris, France Data Recrutement Temps plein

    Offre publiée le 01-02-2023.- Paris - Toulouse - Fonction Data engineer hadoop spark - Taille entreprise de 21 à 50 - Télétravail à 100% - Technologies Aws - Technologies Elasticsearch - Technologies Gcp - Technologies Google cloud plateform - Technologies Sql - Expérience 1 à 2 ans - Expérience 3 à 5 ans - Statut CDI - Min 40k€ - Max 50k€ -...

  • Data Engineer

    il y a 1 mois

    Paris, France MP Data Temps plein

    Bonjour ! MP DATA est une société spécialisée dans l’acquisition, le traitement, et la valorisation des données. Depuis sa création en 2015, MP DATA accompagne ses clients, majoritairement industriels, dans le management de leur performance et l’exploitation de leur données. Les collaborateurs, tous issus de grandes écoles, incarnent au...

  • Software Data Engineer

    il y a 1 mois

    Paris, France Data Recrutement Temps plein

    Offre publiée le 14-11-2023.- Paris - Taille entreprise de 1 à 10 - Télétravail partiel - Technologies Gcp - Technologies Vue - Expérience 1 à 2 ans - Statut CDI - Min 60k€ - Max 75k€ **L'ENTREPRISE : LE SOFTWARE EN CYBERSECU DE DEMAIN**: - Cette Startup, développe un - **software IA révolutionnaire,** qui optimise drastiquement les...

  • Data Engineer

    il y a 1 mois

    Paris, France Data Impact Temps plein

    **Company Description** Le développement très rapide du e-commerce donne aujourd’hui accès à des milliers d’informations. Ces données sont difficilement exploitables par les entreprises, qui ont du mal alors à choisir les bons leviers d’action, et mesurer leur impact. - C’est là que Data Impact by NielsenIQ intervient! Chaque jour, nous...

  • Data Science Data Science Senior Data Scientist

    il y a 6 jours

    Paris, France Upward Data Temps plein

    À propos de l’offre d’emploi Upward Data, cabinet de recrutement spécialisé dans la Data Science et le Big Data, recherche pour l’un de ses clients un(e) Senior Data Scientist en CDI. Poste : Senior Data Scientist. Rattachement : Data Science Manager. L’entreprise : Notre client est éditeur de solutions SaaS. Notre client développe...

  • Data Science Data Science Senior Data Scientist

    il y a 1 jour

    Paris, France Upward Data Temps plein

    À propos de l’offre d’emploi Upward Data, cabinet de recrutement spécialisé dans la Data Science et le Big Data, recherche pour l’un de ses clients un(e) Senior Data Scientist en CDI. Poste : Senior Data Scientist. Rattachement : Data Science Manager. L’entreprise : Notre client est éditeur de solutions SaaS. Notre client développe...

  • MLOps Engineer

    il y a 1 semaine

    Paris, France Yotta - Expert en recrutement Data, AI & Marketing Temps plein

    MLOps Engineer 65K à 75K€ Paris, France Stack : Python, SQL, AWS, Terraform, GitLab CI… Cet acteur historique français développe des solutions d’assurances via une plateforme technique & Data et a pu construire un Data Lab pour traiter l’ensemble des sujets data du groupe. Vous travaillerez au sein de ce DataLab dans une équipe Data Science &...

  • MLOps Engineer

    il y a 1 jour

    Paris, France Yotta - Expert en recrutement Data, AI & Marketing Temps plein

    MLOps Engineer 65K à 75K€ Paris, France Stack : Python, SQL, AWS, Terraform, GitLab CI… Cet acteur historique français développe des solutions d’assurances via une plateforme technique & Data et a pu construire un Data Lab pour traiter l’ensemble des sujets data du groupe. Vous travaillerez au sein de ce DataLab dans une équipe Data Science &...

  • MLOps Engineer

    il y a 1 semaine

    Paris, France Yotta - Expert en recrutement Data, AI & Marketing Temps plein

    MLOps Engineer65K à 75K€Paris, FranceStack : Python, SQL, AWS, Terraform, GitLab CI…Cet acteur historique français développe des solutions d’assurances via une plateforme technique & Data et a pu construire un Data Lab pour traiter l’ensemble des sujets data du groupe.Vous travaillerez au sein de ce DataLab dans une équipe Data Science & Machine...

  • MLOps Engineer

    il y a 1 semaine

    Paris, Ile-de-France Yotta - Expert en recrutement Data, AI & Marketing Temps plein

    MLOps Engineer65K à 75K€Paris, FranceStack : Python, SQL, AWS, Terraform, GitLab CI…Cet acteur historique français développe des solutions d’assurances via une plateforme technique & Data et a pu construire un Data Lab pour traiter l’ensemble des sujets data du groupe.Vous travaillerez au sein de ce DataLab dans une équipe Data Science & Machine...

  • MLOps Engineer

    il y a 1 semaine

    Paris, France Yotta - Expert en recrutement Data, AI & Marketing Temps plein

    MLOps Engineer65K à 75K€Paris, FranceStack : Python, SQL, AWS, Terraform, GitLab CI…Cet acteur historique français développe des solutions d’assurances via une plateforme technique & Data et a pu construire un Data Lab pour traiter l’ensemble des sujets data du groupe.Vous travaillerez au sein de ce DataLab dans une équipe Data Science & Machine...

  • MLOps Engineer

    il y a 1 jour

    Paris, France Yotta - Expert en recrutement Data, AI & Marketing Temps plein

    MLOps Engineer65K à 75K€Paris, FranceStack : Python, SQL, AWS, Terraform, GitLab CI…Cet acteur historique français développe des solutions d’assurances via une plateforme technique & Data et a pu construire un Data Lab pour traiter l’ensemble des sujets data du groupe.Vous travaillerez au sein de ce DataLab dans une équipe Data Science & Machine...

  • Data Engineer

    il y a 4 semaines

    Paris, France Digital Waffle Temps plein

    **Data Engineer**: **Job details**: - Posted 07 May 2024 - Salary Competitive - LocationParis - Job type Permanent - Discipline Development, Data - ReferencePN-65 - Contact NamePoppy Nabbs **Job description**: Digital Waffle is proud to have partnered with an innovative tech startup in Paris, who are looking for a talented Data Engineer to join their...

  • Senior Data Scientist

    il y a 6 jours

    Paris, France Upward Data Temps plein

    À propos de l’offre d’emploiUpward Data, cabinet de recrutement spécialisé dans la Data Science et le Big Data, recherche pour l’un de ses clients un(e) Senior Data Scientist en CDI.Poste : Senior Data Scientist.Rattachement : Data Science Manager.Lieu : Paris La Défense.L’entreprise : Notre client est éditeur de solutions SaaS.Le poste : Notre...

  • Senior Data Scientist

    il y a 6 jours

    Paris, France Upward Data Temps plein

    À propos de l’offre d’emploi Upward Data, cabinet de recrutement spécialisé dans la Data Science et le Big Data, recherche pour l’un de ses clients un(e) Senior Data Scientist en CDI. Poste : Senior Data Scientist. Rattachement : Data Science Manager. Lieu : Paris La Défense. L’entreprise : Notre client est éditeur de solutions SaaS. ...

  • Senior Data Scientist

    il y a 24 heures

    Paris, France Upward Data Temps plein

    À propos de l’offre d’emploiUpward Data, cabinet de recrutement spécialisé dans la Data Science et le Big Data, recherche pour l’un de ses clients un(e) Senior Data Scientist en CDI.Poste : Senior Data Scientist.Rattachement : Data Science Manager.Lieu : Paris La Défense.L’entreprise : Notre client est éditeur de solutions SaaS.Le poste : Notre...

  • Senior Data Scientist

    il y a 1 jour

    Paris, France Upward Data Temps plein

    À propos de l’offre d’emploi Upward Data, cabinet de recrutement spécialisé dans la Data Science et le Big Data, recherche pour l’un de ses clients un(e) Senior Data Scientist en CDI. Poste : Senior Data Scientist. Rattachement : Data Science Manager. Lieu : Paris La Défense. L’entreprise : Notre client est éditeur de solutions SaaS. ...

  • Data Engineer

    il y a 1 mois

    Paris, France TEOLIA Temps plein

    Data Engineer / Big Data Spark / Java Data Engineer ( Big Data, Spark / Java pour l'essentiel 1 ans minimum d'expérience sur ces technos Data Engineer / Big Data Spark / Java Data Engineer ( Big Data, Spark / Java pour l'essentiel 1 ans minimum d'expérience sur ces technos

  • Data Engineer

    il y a 4 semaines

    Paris, Île-de-France IEF2I Temps plein

    Notre école recherche activement pour le compte de l'un de ses clients un grand groupe, plusieurs Data Engineer / Data Analyst / Data Scientist en alternance pour une durée de 15 ou 24 mois dans le but de suivre en parallèle une formation en Master DATA EngineerAttention: Partenariat exclusif avec notre écoleMissions : Effectuer l'intégration et la...