Data Engineer

Dans le cadre de projets innovants liés à l’Intelligence Artificielle et au traitement des données, vous interviendrez en tant que Développeur Data Science / NLP / RAG / LLM. Votre mission consistera à concevoir, développer et déployer des solutions avancées en traitement du langage naturel (NLP), Retrieval-Augmented Generation (RAG) et Large Language Models (LLM).

Vous serez impliqué dans des projets variés, tels que :

• Le développement de pipelines de données pour alimenter des modèles d’IA.
• La conception de systèmes RAG pour améliorer la précision des réponses générées par l’IA.
• L’intégration et l’optimisation de LLM pour des applications métiers (chatbots, analyse de texte, génération de contenu, etc.).
• La collaboration avec des équipes pluridisciplinaires (Data Engineers, DevOps, experts métiers).

Missions principales

Développement de pipelines de données et d’infrastructures IA

• Concevoir et maintenir des pipelines ETL/ELT pour collecter, nettoyer et transformer des données.
• Automatiser les processus de traitement de données à grande échelle.
• Optimiser les performances des pipelines (vitesse, scalabilité, fiabilité).

Modélisation et traitement du langage naturel (NLP)

• Développer des modèles de NLP pour des tâches spécifiques (classification, extraction d’entités, traduction automatique, etc.).
• Fine-tuner des modèles de langage pré-entraînés (BERT, T5, etc.).
• Évaluer et améliorer la qualité des modèles NLP.

Conception et optimisation de systèmes RAG

• Implémenter des architectures Retrieval-Augmented Generation pour enrichir les réponses des LLM avec des données externes.
• Intégrer des bases de connaissances vectorielles (Pinecone, Weaviate, FAISS).
• Optimiser la pertinence et la rapidité des systèmes RAG.

Intégration et déploiement de LLM

• Déployer et optimiser des Large Language Models (LLM) pour des applications métiers.
• Adapter les LLM à des cas d’usage spécifiques (chatbots, génération de texte, analyse de sentiments, etc.).
• Travailler sur l’efficacité énergétique et la scalabilité des modèles.
• Collaborer avec les équipes DevOps pour déployer les solutions en production (Docker, Kubernetes, CI/CD).
• Participer à la mise en place de tests automatisés pour valider les performances des modèles.
• Documenter les processus, les architectures et les résultats.

Veille technologique et innovation

• Suivre les avancées en NLP, RAG et LLM (recherches académiques, nouvelles bibliothèques, etc.).
• Proposer des solutions innovantes pour améliorer les systèmes existants.
• Participer à des ateliers ou formations pour monter en compétences.

Environnement & méthodologies

• Langages et frameworks :
  • Python (obligatoire), TensorFlow, PyTorch, Hugging Face (Transformers), LangChain, LlamaIndex.
  • Bibliothèques NLP : NLTK, spaCy, scikit-learn.
• Bases de données : SQL (PostgreSQL, MySQL), NoSQL (MongoDB), bases vectorielles (Pinecone, Weaviate, FAISS).

Profil recherché

• Formation : Bac+5 en informatiqueou école d’ingénieur.
• Expérience : 2 à 5 ans en développement Python avec une spécialisation en Data Science, NLP, RAG ou LLM (projets concrets requis).
• Compétences techniques :
  • Maîtrise de Python et des bibliothèques associées (TensorFlow, PyTorch, Hugging Face, LangChain, LlamaIndex).
  • Expérience en NLP (traitement de texte, fine-tuning de modèles).
  • Connaissance des architectures RAG et des outils associés (bases vectorielles, recherche sémantique).
  • Expérience avec les LLM (déploiement, optimisation, évaluation).
  • Connaissance des outils Data Engineering (Spark, Airflow) et des bonnes pratiques DevOps/MLOps.
  • Expérience avec les environnements cloud (AWS, Azure, GCP).