Data engineer
Data manager (H/F)
Employeur non communiqué Lyon 5e Arrondissement CDI publiée aujourd'hui
Le poste
Description du poste :
L'agence de Lyon est en pleine croissance actuellement. Dans ce cadre, nous recherchons actuellement un Data Engineer Senior. Vous aurez le double rôle de répondre aux besoins clients et de nous accompagner dans les phases d'avant vente et de POC. Selon les projets, vous pourrez intervenir sur différentes problématiques et technologies, dans des environnements data variés. Vos mission en tant que Data Engineer seront de Concevoir et développer des pipelines de données robustes et performants , en batch comme en temps réel***Participer à la conception et à l'évolution d'architectures data modernes : Data Lake, Data Warehouse, Lakehouse.***Intégrer et traiter des données provenant de sources variées : API, bases SQL/NoSQL, fichiers, streaming.***Participer à la conception technique et aux choix d'architecture en fonction des besoins métiers et des contraintes des projets***Optimiser les performances, la fiabilité et la scalabilité des traitements***Mettre en place des contrôles de qualité, sécurité et gouvernance des données***Industrialiser et automatiser les flux de données***Participer à la mise en place des pratiques CI/CD et DevOps appliquées aux projets Data***Accompagner les choix techniques et partager votre expertise avec les équipes***Documenter les solutions et contribuer à leur maintien en conditions opérationnelles
Description du profil :
Vous disposez de 5 ans minimum d'expérience professionnelle en Data Engineering, hors stages et alternances .
Vous êtes à l'aise dans des environnements techniques complexes et êtes capable de prendre du recul sur les problématiques d'architecture, de performance et d'industrialisation.
Nous recherchons notamment une expérience significative sur Un langage de programmation utilisé en Data Engineering, notamment Python , et idéalement également Scala***Un environnement Cloud , notamment AWS ou Azure***Une Data Platform telle que Databricks ou Snowflake***SQL , avec une bonne maîtrise de la manipulation et de la modélisation des données***Des technologies de traitement distribué telles que Apache Spark / PySpark***Des outils d'orchestration et d'industrialisation tels que Airflow, dbt, Dagster ou Prefect***Des pratiques CI/CD, Git et DevOps***Des outils de conteneurisation ou d'Infrastructure as Code ( Docker, Kubernetes, Terraform. ) sont un plus
La maîtrise de l'ensemble de cet environnement n'est pas indispensable . Nous recherchons avant tout un profil expérimenté, curieux et capable de s'adapter à de nouvelles technologies et à différents contextes clients.
Ce qui fera la différence Une expérience sur des projets Data à fort volume***Une bonne compréhension des architectures modernes et scalables***Une sensibilité aux enjeux de qualité, sécurité et gouvernance des données***Une expérience dans la conception de solutions de bout en bout***Un bon niveau d'autonomie et un esprit orienté solution***Un bon relationnel et une capacité à travailler avec différents interlocuteurs
Lieu : Lyon
Contrat : CDI
Rémunération : 45 - 57k€ selon profil
Temps plein
Démarrage : ASAP
Anglais : niveau professionnel requis