Data Engineer Python
Enregistrez cette offre et organisez votre recherche
Créez un compte gratuit pour enregistrer des offres d'emploi, créer des alertes et revenir à cette liste depuis votre tableau de bord.
En continuant, vous acceptez nos Conditions d’utilisation & Politique de confidentialité.
Data Engineer Python - Freelance (H/F)
Collective.work, Paris, freelance. Taux journalier (TJM) : 500 €.
Dans le cadre d'un projet de mise à disposition de données à des fins d'analyse, de test ou de développement, vous contribuez à concevoir et industrialiser des traitements de préparation et d'anonymisation de données. Vous veillez à leur qualité, leur traçabilité et leur exécution à l'échelle.
Les objectifs et critères d'anonymisation sont définis avec les interlocuteurs compétents, notamment le DPO et les équipes Conformité et Sécurité. La pseudonymisation ne doit pas être assimilée à l'anonymisation.
Missions principales
- Concevoir, développer et maintenir des pipelines de données en Python.
- Traiter des volumes importants à l'aide de Dask et Polars, en évaluant leur pertinence selon les cas d'usage.
- Mettre en œuvre les transformations définies dans le cadre du projet : suppression ou transformation de champs, généralisation, agrégation ou autres techniques retenues.
- Contribuer à la détection des données directement ou indirectement identifiantes, en coordination avec les experts concernés.
- Développer des contrôles automatisés : schéma, qualité, cohérence, complétude et détection de régressions.
- Mesurer les performances des traitements et optimiser leur consommation de ressources.
- Assurer la traçabilité des traitements, des versions de code et des jeux de données produits.
- Documenter les règles de transformation, les limites connues et les résultats des contrôles.
- Participer aux revues de code, aux tests et à l'intégration continue.
- Collaborer avec les équipes métiers, Data, Sécurité, Conformité et Protection des données.
Compétences techniques requises
- Très bonne maîtrise de Python et de l'écosystème data associé.
- Expérience pratique de Polars et/ou Dask ; capacité à comparer leurs usages et leurs performances.
- Maîtrise des traitements de données tabulaires et des formats courants : Parquet, CSV, JSON.
- Pratique de la conception de pipelines fiables et reproductibles.
- Maîtrise des tests automatisés, du contrôle de qualité des données et du versionnement avec Git.
- Connaissance des environnements de déploiement et d'exécution industrialisés : conteneurs, ordonnanceurs ou plateformes distribuées selon l'environnement du projet.
- Sensibilité aux enjeux de protection des données, de minimisation des accès et de sécurisation des environnements.
Ce qui te ferait sortir du lot (côté sécurité)
Zeroday : sur un poste comme celui-ci, ce qui fait la différence côté sécurité :
- ne jamais faire transiter de données identifiantes réelles vers les environnements de développement ou de test : c'est l'anonymisation en amont qui rend ces environnements sûrs ;
- gérer les identifiants d'accès (bases, API) hors du code, dans un gestionnaire de secrets, jamais en clair dans un dépôt Git ou figés dans une image ;
- tracer les accès aux jeux de données (qui a lu quoi, quand), pas seulement les versions du code ;
- restreindre les droits au strict nécessaire sur chaque environnement, et le vérifier régulièrement plutôt qu'une fois par an.