Dataops - idf h/f (CDD)

Il y a 2 jours

Vatan, Centre, France Free-Work Temps plein
Free-Work est une plateforme qui s'adresse à tous les professionnels des métiers de l'informatique. Ses contenus et son jobboard IT sont mis à disposition 100% gratuitement pour les indépendants et les salariés du secteur. Mission principale Administrateur technique responsable du maintien des outils de cartographie, de l'alimentation et enrichissement des cartographies fonctionnelles et techniques, à travers l'interconnexion entre le dictionnaire de données (OpenMetadata), le catalogue de données métier (Istya), et les produits de la Plateforme Sécurisée des Données (Datalake, requêteur sécurisé des données Odylac, écosystème Dataviz). Garantir que les outils sont correctement paramétrés, sécurisés, et exploitables (et donc documentés) avec pour cible leur transfert dans un centre d'exploitation dédié. Livrables Exploitation (OPS) Maintenir et déployer les configurations d'infrastructure et d'outils via Terraform et Ansible. Assurer le Maintien en Conditions Opérationnelles (MCO) des instances NiFi et des connecteurs OpenMetadata. Monitorer les pipelines d'ingestion et gérer la résolution des incidents techniques. Documenter l'ensemble des actions d'exploitation dans des fiches d'exploitation. Alimentation du catalogue Développer et maintenir les flux Apache NiFi permettant l'ingestion de métadonnées techniques et fonctionnelles (dans OMD et Istya). Garantir le contrôle qualité, la transformation et la cohérence des données entrantes. Connectivité produits data et catalogue Améliorer et étendre la connectivité entre le Datalake existant et OpenMetadata (extraction de schéma, profilage de données). Étendre la couverture de cartographie automatique aux autres services Data de la Plateforme Sécurisée des Données. Compétences requises Techniques Infrastructure/DataOps : Expertise dans l'IaC avec Terraform et de la gestion de configuration avec Ansible. Ingestion de métadonnées : Maîtrise d'Apache NiFi (conception de flows, gestion des processeurs, gestion des erreurs). Manipulation de données : Excellente maîtrise du Python et des scripts (Bash, SQL) pour le parsing et la transformation des fichiers de métadonnées. Catalogue et métadonnées : Connaissance pratique des concepts de data lineage, catalogue de données et dictionnaires de données (OpenMetadata ou équivalent). Environnement Datalake : Expérience d'interaction avec des architectures Data (Hadoop, Spark, Hive, S3/MinIO, Trino...). Fonctionnelles Sensibilité à la gouvernance des données et à la sécurité des données. Capacité à vulgariser les sujets techniques. Soft skills Capacité à documenter et transmettre. Esprit collaboratif avec les différents acteurs (projets, produits, gouvernance des données).