Stress, charge de travail, burn out, turn over, abandon, les métiers de la data sont en tension et engendrent du data chaos.
Les données sont partout mais difficiles à saisir, historiquement enfouies dans des systèmes, elles sont à extraire mais avec beaucoup d’effort, dispersées et dupliquées dans des silos non interconnectés, entassées dans des data lake devenus des marais, disséminées dans les nuages, transférées, échangées sans contrôle, déportées chez des tiers, déclinées sans que l’on sache quelle est la bonne version, jusqu’à être oubliées avec parfois la surprise de les voir resurgir même si on pensait les avoir détruites.
Des frictions naissent entre métiers, acteurs data et IT. Leur qualité n’est pas bonne et il devient difficile de trouver les responsables : les systèmes centralisés sont des goulots d’étranglement, les données circulent mal, les délais de mise à disposition ne répondent plus aux attentes, il est nécessaire de manipuler des dizaines d’outils pour exploiter les données, mais est-ce la bonne source ? Par défaut les données sont fermées, les risques l’emportent sur les usages possibles, chacun sort ses données, produit son tableau de bord mais avec des résultats différents.
La charge de traitement des données augmente : temps de préparation pour bien les exploiter (80% de la charge des data analysts), temps de mise en qualité, temps passé à récupérer des données d’un système, à les consolider pour manager une activité, à les adapter pour les transmettre à d’autres systèmes, s’assurer de la bonne synchronisation, bref combler les silos à la main.
Face à cela, chacun de son côté, IT, équipes data, métier, s’équipe de moyens … qui ne font que renforcer le data chaos.
Excel au départ, puis avec des outils de plus en plus sophistiqués (Access, BI individuelle, bases MySQL bricolées, google sheet, airtable, sans oublier le stockage sur une multitude de file system dans des fichiers, partagés, échangés par mail…), le shadow data est partout. Elle répond à des attentes pour exercer son activité, en toute autonomie, de façon flexible et rapide.
Mais le shadow data n’est pas à la hauteur des attentes sur la valeur des données : problème de qualité, problème de traçabilité, absence de gouvernance, problème de sécurité, risque de pertes de données, risque de diffusion de données sans contrôle, risque de perte de connaissance dès lors que l’Expert du fichier excel quitte l’entreprise.
De son côté, l’IT pousse les données dans le cloud, construit de nouvelles piles de données, est toujours à la recherche d’une vue centralisée (physique ou virtuelle) des données … plus facile à contrôler, avec l’espoir que les métiers vont quasi naturellement s’approprier ces constructions (au travers de POC, de métier pilote).
Quant aux équipes data, CDO, data office … data management, elles prennent des initiatives data, s’équipent de solution de catalogage, de gestion de la qualité et tentent de faire appliquer des politiques de données aux métiers et à l’IT. Malheureusement, elles subissent la contrainte d’être « à côté »(1), c’est-à-dire non au cœur des usages des données et des moyens qui leur sont dédiés.
Pendant ce temps, le volume de données continue à augmenter, les transformations numériques, la digitalisation conduit à une prolifération d’applications, à la fragmentation en de nouveau silos. L’univers des données devient chaotique (data entropie). Comment répondre à cela ? Comment répondre à l’émancipation des données ? Comment éviter la data paralysie(2) ?
Il n’y a pas de solution unique. Chacun doit faire un constat lucide de son niveau de maturité, de sa dette, de ses ambitions data, afin de se positionner par rapport à ce que propose le marché comme solutions :
- Construire un nouveau cadre de vie aux données,
- S’appuyer sur de nouvelles solutions de gestion de données, à même de supporter ce nouveau cadre de vie.
C’est toute l’ambition des data platforms de converger vers cette capacité.
Retrouvez toute l’étude sur les Data Platforms au travers de nos 2 guides :
- La dynamique des Data Platforms : qui pose un certain nombre de constats, d’éléments historiques, fondateurs et structurants.
- Le panorama des Data Platforms : qui explore la dynamique des data platforms au travers de la vision de plus d’une trentaine d’éditeurs du marché.
