Data Engineer

Au sein d’une équipe **Data & Performance**, vous interviendrez sur la **gestion et transformation des données digitales** issues d’un écosystème e-commerce international. Vous serez impliqué(e) dans **la mise en place et l’optimisation des pipelines de données**, en assurant leur **qualité, sécurité et conformité GDPR**.

**Développement et automatisation des pipelines de données**
- Développer et optimiser des **pipelines SQL / SQLX** sous **DataForm (similaire DBT)**.
- Concevoir des **pipelines Python** pour **Cloud Data Flow (Apache Beam serverless - GCP)**.
- Intégrer et transformer des **données issues d’APIs partenaires** via **Cloud Functions (GCP)**.

**Gestion et traitement des flux de données (Streaming & Batch)**
- Assurer la gestion des flux via **Kafka, SNS/SQS, Cloud PubSub**.
- Superviser l’intégration et la récupération de données entre **AWS et GCP**.
- Développer des **pipelines DataFlow en Python** pour le traitement des données en temps réel.
- Vérifier et garantir l’**anonymisation des données** conformément à la **GDPR**.

**Data Engineering & Qualité des Données**
- Assurer l’**intégrité, la sécurité et la gouvernance** des données dans un **Data Lake / Data Warehouse** (BigQuery).
- Mettre en place des **standards de qualité et documentation technique** (Data Lineage).
- Collaborer avec les équipes **Data Analysts & ML Ops** pour améliorer la performance des modèles.

**Développement et DevOps**
- Participer à l’**écriture, au déploiement et à la maintenance du code Python**.
- Travailler avec **Git, tests unitaires, intégration continue** pour garantir un code robuste.
- Contribuer à l’évolution des **standards de développement collaboratif** au sein de l’équipe.

Vous disposez d’une expérience **minimum de 4 ans** en **Data Engineering**, avec une expertise avancée sur les **environnements Cloud et le traitement de données**.

**Compétences techniques requises**:

- ** Maîtrise de Python et SQL** (BigQuery, DataForm, T-SQL).
- Expérience sur **GCP (BigQuery, Cloud DataFlow, PubSub, Cloud Functions)** ou **Cloud équivalent**.
- Connaissance des **technologies de streaming** (Kafka, SNS/SQS, Apache Beam).
- Expérience sur **ETL / transformation de données**.
- Bonne pratique du **développement collaboratif** (Git, CI/CD, tests unitaires).
- Sensibilité aux **enjeux GDPR** et protection des données.

**Bonus**:

- Expérience dans le **e-commerce** ou le **luxe**.
- Connaissance des outils de **visualisation** (LookerStudio, PowerBI).
- Connaissances en **Machine Learning**.

**Soft skills**:

- Excellente **communication écrite et orale**.
- Capacité à vulgariser des concepts techniques.
- Curiosité et force de proposition sur l’évolution des technologies et process.

Qui sommes nous ?

Opstim est une ESN indépendante, spécialisée dans l’accompagnement des projets en culture DevOps et dans le pilotage IT.

Crée en 2021 à Paris, Opstim rassemble une communauté de spécialistes passionnés par leurs métiers et qui interviennent au sein des DSI françaises à fort enjeux.

Opstim est une structure souple qui valorise le caractère unique de chacun et promet d’assurer efficacité et bien-être au travail.

Notre structure repose sur des valeurs fortes tels que l’entraide et la confiance, et propose un modèle inclusif du consulting alliant efficacité et sentiment d’appartenance.

« Efficaces qu’ensemble », nous sommes convaincus que l’accomplissement professionnel et l’épanouissement personnel de chacun ne peut se réaliser pleinement qu’à travers l’interaction forte entre pairs.

Rejoindre Opstim, c'est intégrer une communauté de passionnés et participer à une aventure humaine qui véhicule des valeurs fortes.