Data Engineer à Monaco

A propos d’O2MAX

O2MAX accompagne ses clients lyonnais depuis plus de 10 ans dans la mise en œuvre et le support des nouvelles technologies au sein de leur DSI.

Notre taille humaine et notre offre locale favorise la proximité avec nos consultants et autorise une approche collaborative et agile afin de proposer des parcours de carrière personnalisés et valorisants basés sur des programmes de formation et de certification.

La diversité des compétences et des expériences de nos équipes nous permet d’apporter des solutions pertinentes à nos clients et de les accompagner de bout en bout sur des sujets d’expertise, de conseil, de développement, d’intégration et de support.

Nos équipes multiculturelles portent haut les valeurs qui nous sont chers : convivialité et esprit d’équipe, exigence et bienveillance, engagement et persévérance.

**Et si nous parlions du poste à pourvoir ?**

**MISSION / RAISON D’ETRE**

L’ingénieur Big Data a la responsabilité de concevoir, construire, tester et maintenir les chaines de traitement de données. Il travaille sur l’automatisation de la livraison de ces technologies PaaS en « self-service », en minimisant l’effort de RUN associé.

L’ingénieur Big Data travaille en étroite collaboration avec : - l’équipe infrastructure qui fournit les briques de bases pour supporter l’écosystème technologique Big Data - les Data Scientists/Analystes qui consomment les données dans tous les sens, et en extraire de la valeur (facturation, détection de fraude, prévisions ).

Il assure la maintenance des pipelines/composants/services. Il automatise l’accès aux ressources tout en assurant de la cohérence, la qualité et la sécurité. Il veille au monitoring et à la supervision des data sets.

Concrètement, les mois à venir se focaliseront sur la création d’un data Lake pour 4 opérateurs télécom et la mise en œuvre de pipeline d’acquisition/normalisation et présentation de données respectives. Ce data lake deviendra rapidement une plateforme de compute IA/LLM à base de GPU.

**ACTIVITES PRINCIPALES**
- Participe à la définition des solutions.
- Déploie, intègre et administre les chaines de traitement de données sous Linux.
- Automatise la livraison, la supervision et l’accès aux datasets sur notre infrastructure privée.
- Documentation et contribue à la rédaction du modèle de responsabilité partagée pour chaque technologie (« shared responsibility model »).
- Apporte son expertise technique pour la résolution des incidents N2 et N3.
- Automatise et documente l’exploitation des chaines de traitement de données.
- Propose les évolutions techniques des pipelines.
- Garantit au quotidien la livraison, la disponibilité et l’intégrité des données.
- Capacity planning
- Astreinte sur le périmètre de l’équipe (Big data, Kubernetes et bases de données)

**Ton profil**

Bac +4/+5

**Expériences et expertises opérationnelles recherchées**:

- Run et build de pipelines de données de production
- Gestion des incidents de production (plateforme, sécurité, retard de livraison de données, corruption de données, etc.)

**Qualités essentielles**:

- Capacité à apprendre
- Appétence pour les aspects fonctionnels et métiers de Monaco Telecom
- Capacité d’écoute et d’analyse du besoin des clients et des utilisateurs
- Sens de la priorité clients et des utilisateurs
- Autonomie
- Esprit d’analyse et sens de l’initiative
- Force de proposition
- Esprit d’équipe
- Niveau d’anglais technique
- Savoir prioriser son travail dans un environnement sous pression
- Toute expérience sur un poste similaire est un gros plus

**Maitrise de**:

- CI/CD/CD (Gitlab)
- Pyspark / spark
- SQL
- Linux
- Bases de données (RDBMS & NoSQL)
- Kafka
- Hive/Impala/PrestoDB/Trino/Nessie(gestion des données)
- Spark (développement, optimisation et opérations)
- Principes architecture big data & Hadoop
- Réseaux (savoir débugger des flux)

**Connaissances en +**:

- Trino
- Infrastructure as code (Ansible, Terraform est un plus)
- Apache Icerberg ou autre framework de delta tables
- Hive Metastore
- S3
- MariaDB (Galera cluster) et PostGreSQL
- MongoDB
- OLLAMA
- MIG K0S

**Autres infos**:

- Anglais
- Mission en pré-embauche (6 mois)
- 2 jours de TT
- Lieu de mission : Monaco