Ingénieur DATA
Il y a 2 jours
Rhône, Auvergne-Rhône-Alpes, France
Agence Technique de l'Information sur l'Hospitalisation (ATIH)
Temps plein
55 000 € - 75 000 € Contrat
Gratuit avec email ou Google
Enregistrez cette offre et organisez votre recherche
Créez un compte gratuit pour enregistrer des offres d'emploi, créer des alertes et revenir à cette liste depuis votre tableau de bord.
Gratuit avec email ou Google
En continuant, vous acceptez nos Conditions d’utilisation & Politique de confidentialité.
L’ATIH cherche un-e spécialiste de l’ingénierie des données pour automatiser l’intégration et les traitements des données hospitalières et médico-sociales collectées par l’agence et mises à disposition auprès d’utilisateurs externes.
Votre rôle sera de :
- Maintenir les pipelines de données (ETL et ELT) : En collaboration avec les statisticiens, maintenir et faire évoluer les flux de transformation et d’intégration des données, notamment en Parquet et MySQL vers Teradata, avec l’utilisation de DBT. Veiller à la performance, la fiabilité et la reproductibilité des traitements sur des volumes importants de données.
- Contribuer à la supervision des traitements : suivi des exécutions, analyse des erreurs, gestion des reprises et amélioration de la robustesse des pipelines.
- Assister les statisticiens dans l’intégration et le déploiement continus des traitements, avec Git et ArgoWorkflows dans un environnement Kubernetes.
- Contribuer à la mise en oeuvre des bonnes pratiques de versionnement, tests, CI/CD, traçabilité et documentation.
- Être l’interface entre les directions DATA (statisticiens) et informatique (devOps) :
- Aider les statisticiens à identifier et formaliser et prioriser leurs besoins en matière d’infrastructure, d’industrialisation et de DevOps.
- Etudier avec l’équipe DevOps les solutions techniques adaptées et accompagner leur mise en oeuvre.
- Faciliter l’appropriation par les collègues des environnements et outils mis à leur disposition.
- Contribuer à la documentation et à la diffusion des bonnes pratiques.
- Renforcer la résilience du système de gestion de bases de données (SGBD) : Participer à l’optimisation des traitements et des requêtes sur des volumétries importantes. Veiller à la sécurisation des traitements et des flux de données, notamment dans le contexte de données hospitalières et médico-sociales. Contribuer à la standardisation et à la mutualisation des composants et méthodes de traitement. Analyser les usages et performances du SGBD actuel (Teradata). Proposer des améliorations en termes de résilience, de sécurité et de souveraineté.
- Renforcer l’automatisation des applications de datavisualisation : En lien avec l’équipe chargée des restitutions de données (applications de datavisualisation en RShiny), maintenir et faire évoluer la chaîne de CI/CD pour automatiser et sécuriser les mises en production et les évolutions des applications. Assurer une veille technologique sur la thématique de l’automatisation des flux d’intégration et de transformation de la donnée.
Profil recherché :
- Vous justifiez d'au moins 5 ans d'expérience sur un poste similaire en ingénierie de données ?
- Vous êtes à l’aise en Python et SQL et avez déjà industrialisé des pipelines ETL/ELT sur de gros volumes ?
- Vous appréciez une approche fonctionnelle (transformations pures, testables et composables) ?
- Vous maitrisez les outils collaboratifs de versioning et les pipelines d’intégration en continu ?