Data Engineer
Il y a 2 jours
Paris, Ile-de-France
Collective.work
Temps plein
Gratuit avec email ou Google
Enregistrez cette offre et organisez votre recherche
Créez un compte gratuit pour enregistrer des offres d'emploi, créer des alertes et revenir à cette liste depuis votre tableau de bord.
Gratuit avec email ou Google
En continuant, vous acceptez nos Conditions d’utilisation & Politique de confidentialité.
Taux journalier (TJM): 670
Bonjour,
Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer/Data Ops
MISSIONS
Vous interviendrez notamment sur les sujets suivants :
* Concevoir et faire évoluer les chaînes de collecte, transformation, stockage et exposition des logs.
* Accompagner les cas d'usage depuis la phase d'étude jusqu'à leur implémentation.
* Concevoir et automatiser les pipelines d'ingestion de données en batch et temps réel.
* Mettre en place les mécanismes de contrôle qualité permettant de garantir l'intégrité et la fiabilité des données.
* Participer à la conception des solutions techniques et fonctionnelles liées à la gestion des données opérationnelles.
* Gérer les flux de données ainsi que leur cycle de vie.
* Développer et maintenir des traitements de données sur des environnements de streaming.
* Accompagner les utilisateurs sur leurs besoins d'analyse de données, notamment autour :
* de l'observabilité ;
* du suivi opérationnel ;
* de la détection d'événements de sécurité.
* Contribuer au développement de dashboards et de cas d'usage Data / ML / IA.
* Mettre en œuvre les solutions dans une démarche Agile / DevOps avec automatisation CI/CD.
* Rédiger la documentation technique, fonctionnelle et d'exploitation.
* Assurer le support technique et fonctionnel et participer à l'analyse et à la résolution des incidents.
* Travailler en proximité avec les équipes Data, Log Management, Infrastructure et les équipes opérationnelles. ENVIRONNEMENT TECHNIQUE
* Kafka
* Elasticsearch / Kibana
* Logstash
* Apache Flink
* OpenTelemetry
* Python
* Java
* SQL
* GitLab
* Kubernetes
* CI/CD
* Architectures microservices
* Environnements infrastructure / réseau / systèmes
PROFIL RECHERCHÉ
* Expérience confirmée en Data Engineering, traitement de logs, observabilité ou plateformes de données.
* Bonne maîtrise des problématiques de streaming de données.
* Expérience dans la conception de solutions de collecte, ingestion, transformation et stockage de données.
* Très bonne connaissance de Kafka et/ou de technologies équivalentes de streaming.
* Bonne maîtrise de Python et/ou Java ainsi que SQL.
* Expérience avec la suite Elastic : Elasticsearch, Kibana, Logstash.
* Connaissance d'Apache Flink et/ou d'OpenTelemetry appréciée.
* Bonne compréhension des environnements infrastructure, systèmes et réseaux.
* Maîtrise des pratiques DevOps / CI/CD, idéalement avec GitLab et Kubernetes.
* Capacité à intervenir sur l'ensemble du cycle de vie d'un flux de données, de la collecte jusqu'à son exploitation.
* Bon niveau d'anglais
Experience:
Débutant accepté
* Concevoir et faire évoluer les chaînes de collecte, transformation, stockage et exposition des logs.
* Accompagner les cas d'usage depuis la phase d'étude jusqu'à leur implémentation.
* Concevoir et automatiser les pipelines d'ingestion de données en batch et temps réel.
* Mettre en place les mécanismes de contrôle qualité permettant de garantir l'intégrité et la fiabilité des données.
* Participer à la conception des solutions techniques et fonctionnelles liées à la gestion des données opérationnelles.
* Gérer les flux de données ainsi que leur cycle de vie.
* Développer et maintenir des traitements de données sur des environnements de streaming.
* Accompagner les utilisateurs sur leurs besoins d'analyse de données, notamment autour :
* de l'observabilité ;
* du suivi opérationnel ;
* de la détection d'événements de sécurité.
* Contribuer au développement de dashboards et de cas d'usage Data / ML / IA.
* Mettre en œuvre les solutions dans une démarche Agile / DevOps avec automatisation CI/CD.
* Rédiger la documentation technique, fonctionnelle et d'exploitation.
* Assurer le support technique et fonctionnel et participer à l'analyse et à la résolution des incidents.
* Travailler en proximité avec les équipes Data, Log Management, Infrastructure et les équipes opérationnelles. ENVIRONNEMENT TECHNIQUE
* Kafka
* Elasticsearch / Kibana
* Logstash
* Apache Flink
* OpenTelemetry
* Python
* Java
* SQL
* GitLab
* Kubernetes
* CI/CD
* Architectures microservices
* Environnements infrastructure / réseau / systèmes
PROFIL RECHERCHÉ
* Expérience confirmée en Data Engineering, traitement de logs, observabilité ou plateformes de données.
* Bonne maîtrise des problématiques de streaming de données.
* Expérience dans la conception de solutions de collecte, ingestion, transformation et stockage de données.
* Très bonne connaissance de Kafka et/ou de technologies équivalentes de streaming.
* Bonne maîtrise de Python et/ou Java ainsi que SQL.
* Expérience avec la suite Elastic : Elasticsearch, Kibana, Logstash.
* Connaissance d'Apache Flink et/ou d'OpenTelemetry appréciée.
* Bonne compréhension des environnements infrastructure, systèmes et réseaux.
* Maîtrise des pratiques DevOps / CI/CD, idéalement avec GitLab et Kubernetes.
* Capacité à intervenir sur l'ensemble du cycle de vie d'un flux de données, de la collecte jusqu'à son exploitation.
* Bon niveau d'anglais
Experience:
Débutant accepté