Data engineer GCP Monétique - Freelance (H/F)

CONTEXTE Récupérer les données issues de sources externes - Utiliser la puissance du Datalake - Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels Mise en œuvre de la chaîne : * d'ingestion de données * de validation de données * de croisement de données * de déversement dans le datalake des données enrichies - Développer dans le respect des règles d'architecture définies - Développer et documenter les user stories avec l'assistance du Product Owner et des chefs de projets - Produire les scripts de déploiement - Prioriser les corrections des anomalies - Assister les équipes d'exploitation - Participer à la mise en œuvre de la chaîne de delivery continue - Automatiser les tests fonctionnels Aspects humains : - Grande capacité à travailler dans une équipe, en mode Scrum / Kanban - Bonnes compétences relationnelles et grand sens de la communication (capacité à entrer dans le détail) - Sensible et informé des évolutions technologiques sur les piles logicielles pratiquées MISSIONS * Récupérer et ingérer des données issues de sources externes * Valider et croiser les données * Déverser les données enrichies dans le datalake * Développer et documenter les user stories * Produire les scripts de déploiement * Prioriser et corriger les anomalies * Assister les équipes d'exploitation * Participer à la mise en œuvre de la chaîne de delivery continue * Automatiser les tests fonctionnels 1. Plus de 9 ans d'expérience 2. Maîtrise de la plateforme et environnement GCP (indispensable) 3. Connaissance de l'environnement GKE 4. Compétences en stockage : HDFS / GCS 5. Maîtrise de l'écosystème Spark / Kafka / Scala 6. Expérience en planification avec Airflow / Composer 7. Pratique des méthodologies Scrum, Kanban, Git 8. Connaissances en DWH : SQL, BigQuery, BigTable 9. Compétences en delivery : Git, Ansible, Docker, Terraform, Jenkins / Cloud Build 10. Grande capacité à travailler en équipe, en mode Scrum / Kanban 11. Bonnes compétences relationnelles et grand sens de la communication 12. Sensible et informé des évolutions technologiques sur les piles logicielles pratiquées