Data engineer
Architecte Data Engineering Microsoft Fabric senior - Freelance (H/F)
Collective.work Paris Indépendant publiée aujourd'hui
Le poste
CONTEXTE
La banque est organisée en cinq lignes métier : Corporate Banking, Banque des professions réglementées, Wealth Management, Corporate & Investment Banking, Correspondent Banking. Son équipe Data BI Analytique compte 9 personnes rattachées au Head of Data (product manager, analytics engineers, data engineers, data analysts) et développe avec des agents (Claude Code, Copilot).
La plateforme tourne en production depuis un an sur Microsoft Fabric. Elle alimente le reporting (PNB, cockpits métiers, qualité des données) et les projets réglementaires. L'équipe veut fiabiliser ce socle avant d'y adosser l'ontologie Fabric IQ et des agents IA.
ENVIRONNEMENT
*
Fabric : OneLake, Lakehouse, Spark / PySpark, SQL endpoint, Direct Lake, capacité dédiée
*
Architecture médaillon Bronze / Silver / Gold, chaîne _ops
*
Environ 180 pipelines, 600 notebooks, un package Python partagé
*
Formats Delta Lake et Parquet
*
Sources : core banking SAB, Salesforce, via une couche API temps réel et le DataHub Fabric
*
Sécurité : Entra ID, rôles Fabric, RLS / OLS, RBAC Azure
*
Restitution : Power BI, applications HTML interactives
MISSIONS
L'expert audite et optimise le socle sur trois volets. Chacun est mesuré avant et après, puis transmis à l'équipe (documentation, bonnes pratiques, atelier de restitution). Il se concentre sur les traitements les plus coûteux plutôt que de tout passer en revue.
Sécurité et habilitations
*
Revue des workspaces, rôles, groupes Entra ID, partages, RLS / OLS, étiquettes de confidentialité, paramètres de tenant, identités, shortcuts, private endpoints
*
Cartographie des accès, rapport d'écarts priorisé, matrice cible des habilitations, matrice Fabric / RBAC Azure
*
Plan de remédiation, standard de nommage, procédure de recertification
*
Gouvernance des accès via OneLake Catalog et OneLake Security, architecture d'anonymisation hors production
Socle de développement
*
Inventaire des formats par couche et doctrine Delta / Parquet, avec grille de décision et plan de convergence
*
Diagnostic et optimisation des alimentations quotidiennes de plus de 30 minutes
Performance, coût et durabilité
*
Audit des jobs les plus coûteux : pools Spark, exécuteurs, autoscale, partitions, shuffle, AQE, petits fichiers
*
Doctrine de partitionnement, politique de rétention, plan de maintenance OPTIMIZE / VACUUM
*
Revue de code (anti-patterns, tests, documentation), quick wins chiffrés, refactoring de jobs pilotes
*
Préparation des tables pour Direct Lake
COMPÉTENCES ATTENDUES
*
Microsoft Fabric : Lakehouse, OneLake, Spark / PySpark, Delta Lake, SQL endpoint, Direct Lake, pipelines, environnements, gestion de capacité. Certification DP-600 ou DP-700 appréciée
*
Azure : Entra ID, RBAC, Key Vault, stockage, private endpoints
*
Ingénierie logicielle : Python packagé (wheel), tests automatisés, Git, CI/CD, revue de code
*
Data : architecture médaillon, modélisation, qualité des données, modèles sémantiques Power BI
*
Pratiques IA : usage courant de Claude Code ou Copilot
*
Métier : contexte bancaire et données comptables appréciés, connaissance de SAB en plus
PROFIL
8 ans et plus en data engineering ou architecture data, avec un déploiement Fabric mené en production.
1. 8 ans et plus en data engineering ou architecture data
2. Expérience avec un déploiement Fabric mené en production
3. Compétences en Microsoft Fabric : Lakehouse, OneLake, Spark / PySpark, Delta Lake, SQL endpoint, Direct Lake, pipelines, environnements, gestion de capacité
4. Certification DP-600 ou DP-700 appréciée
5. Connaissances en Azure : Entra ID, RBAC, Key Vault, stockage, private endpoints
6. Maîtrise de l'ingénierie logicielle : Python packagé (wheel), tests automatisés, Git, CI/CD, revue de code
7. Compétences en data : architecture médaillon, modélisation, qualité des données, modèles
Offres proches
Expert Power BI - Data & IA - Freelance (H/F)Collective.work · ParisIndépendantDéveloppeur Big Data - Finance - Freelance (H/F)Collective.work · ParisIndépendantData Engineer Confirmé - Azure / Databricks - Freelance (H/F)Collective.work · ParisIndépendantSenior AI Engineer - Data Scientist (Python - LangGraph - RAG - Azure) - Freelance (H/F)Collective.work · ParisIndépendantManager de projet Data & Intelligence Artificielle (H/F)TRIANGLE INTERIM SOLUTIONS RH · Paris 9e ArrondissementCDIManager Offres Data & IA (H/F)Teamis · Paris 9e ArrondissementCDI