Data Engineer/Python/ IA Agentique F/H

Dans le cadre du développement de nos activités Data, nous recherchons un(e) Data Engineer confirmé(e)
- Python/IA Agentic H/F en CDI sur Paris disposant d'une solide expertise dans la conception et l'industrialisation de pipelines de données sur des environnements Cloud et Big Data. Vous interviendrez sur des projets à forts enjeux techniques et métier, au sein d'environnements complexes nécessitant des compétences avancées en traitement de données distribuées, optimisation des performances et mise en production de solutions Data. Vous serez impliqué(e) sur l'ensemble du cycle de vie des projets, de la conception des architectures techniques au déploiement des pipelines en production, en passant par le développement, les phases de tests et l'optimisation des traitements. Vous pourrez également intervenir sur des projets innovants intégrant des cas d'usage d'Intelligence Artificielle générative et des architectures basées sur les LLM. Vos principales missions Conception et développement Data
* Concevoir, développer et maintenir des pipelines de données ETL/ELT.
* Développer des traitements distribués avec Python, PySpark et Apache Spark.
* Concevoir des architectures Data robustes, évolutives et adaptées aux enjeux de volumétrie.
* Mettre en place des frameworks et composants réutilisables pour industrialiser les développements.
* Participer à la modélisation et à l'intégration de données issues de sources hétérogènes.
* Garantir la qualité, la cohérence et la fiabilité des données. Optimisation et industrialisation
* Optimiser les performances des traitements Spark et PySpark sur des volumes importants de données.
* Analyser les performances des jobs et identifier les axes d'amélioration (Spark UI, partitionnement, jointures, gestion des ressources et dimensionnement des clusters).
* Industrialiser les pipelines et automatiser les déploiements via des chaînes CI/CD.
* Assurer le monitoring, la supervision et la maintenance des traitements en production.
* Mettre en place des mécanismes de gestion des erreurs, de reprise et de traçabilité.
* Participer à l'amélioration continue des plateformes Data. Innovation Data & IA (selon les projets)
* Participer à l'intégration de solutions d'IA générative dans les écosystèmes Data.
* Contribuer à la conception de pipelines d'ingestion documentaire et de préparation des données pour des applications RAG.
* Intervenir sur des architectures basées sur les LLM et des systèmes multi-agents.
* Participer à l'industrialisation et au déploiement de ces solutions.
*

Votre profil
De formation supérieure en informatique, Data ou systèmes d'information (Bac+5 ou équivalent), vous justifiez d'au moins 5 ans d'expérience en Data Engineering. Vous avez développé une solide expertise dans la conception, le développement et l'industrialisation de solutions Data, idéalement dans des environnements Cloud et Big Data. Compétences techniques recherchées Langages et traitement de données
* Python : maîtrise avancée.
* SQL : maîtrise avancée.
* PySpark / Apache Spark : expérience confirmée à experte.
* Bash : connaissance appréciée. Plateformes Data et Cloud
* Databricks : expérience significative.
* AWS et/ou Microsoft Azure.
* Connaissance des architectures Data Lake / Data Warehouse.
* Expérience sur des solutions de stockage distribuées et des bases SQL/NoSQL. Industrialisation et DevOps
* Docker et Kubernetes.
* Git, GitLab ou GitHub.
* CI/CD et automatisation des déploiements.
* Monitoring, logging et supervision des pipelines. IA générative : un plus
* Connaissance des LLM et des API OpenAI / Azure OpenAI.
* Expérience sur des architectures RAG et la recherche vectorielle.
* Connaissance des architectures multi-agents. Nous sommes le premier industriel de la donnée en Europe. Notre métier est de créer, manager et exploiter le patrimoine data de nos clients. Nous avons la conviction que chaque entreprise peut adopter une démarche innovante de gestion de la donnée et créer des cas d’usage disruptifs en réduisant l'impact écologique et en diminuant la dette technique. Nous comptons plus de 900 collaborateurs en mission chez nos clients grands comptes dans tout secteur d’activité : banque, assurance, santé, énergie, e-commerce, automobile, luxe, retail, transport, agritech…