Sparkle Reference Data Architecture

L'architecture de référence de Sparkle

Sparkle a développé sa propre architecture de référence pragmatique, fondée sur des années d'expérience, des standards et des bonnes pratiques du secteur. Notre architecture de référence sert de point de départ pour développer une architecture de données propre au client. Nous ne pensons pas qu'une solution standard unique convienne le mieux à tous les clients, mais notre architecture impose de réfléchir en amont à toutes les différentes possibilités. Elle permet de prendre une décision très consciente pour chacune des couches potentielles et de décider si elle est (déjà ou non) pertinente. Notre objectif est de rendre le succès prévisible et de nous appuyer sur l'expérience acquise au fil des années.

Pourquoi utiliser l'architecture de référence de Sparkle ?

L'architecture de référence de Sparkle présente plusieurs avantages et objectifs :

  • Faciliter les discussions et conceptions en visualisant l'architecture de données
  • Aligner différentes parties prenantes autour d'une terminologie commune et partagée
  • Anticiper : Dès le départ, réfléchir aux défis actuels connus et futurs anticipés que l'architecture doit gérer
  • Prioriser : Permettre de définir des priorités et d'aligner l'architecture sur les priorités de l'organisation
  • Assurer l'alignement et l'intégration au sein de l' enterprise architecture
Il s'agit d'une architecture en couches, pensée pour la flexibilité, l'évolutivité, l'efficience des coûts et la performance. En donnant un objectif clair à chaque couche et en définissant des règles claires sur les transformations qui se produisent où, nous obtenons une architecture prévisible, prête à faire passer votre organisation au niveau supérieur de maturité data.

L'architecture de référence de Sparkle plus en détail

Sources de données

Cette couche est constituée de toutes les sources de données susceptibles de contenir des informations intéressantes pour l'organisation. Alors que traditionnellement cette couche se compose principalement des bases de données OLTP de l'organisation (dont ERP, CRM, ), ce domaine connaît beaucoup d'innovation. Aujourd'hui, elle peut aussi inclure des open data, des données récupérées via des API ou livrées via un service bus, des flux de données en temps réel, des données de réseaux sociaux, des données IoT, des fichiers texte non structurés et plus encore.

Data Lake

Un data lake est un référentiel de stockage qui contient une immense quantité de données brutes dans leur format natif. Un data lake peut contenir des données structurées, semi-structurées et non structurées. Il n'y a généralement pas de schema on write, mais un schema on read. Un data lake est souvent un moyen économique de stocker les données.

Couche opérationnelle

La couche opérationnelle contient des informations détaillées sur les transactions opérationnelles et est généralement chargée en (quasi) temps réel. L'objectif est de répondre aux besoins d'information opérationnels. La rétention des données dans la couche opérationnelle est généralement limitée dans le temps. Les changements historiques ne sont pas conservés.

Couche foundation

La couche foundation intègre et historise les données provenant de différentes sources. La couche foundation est souvent modélisée selon la méthodologie Data Vault 2.0. La couche foundation stocke un historique complet des données à un niveau atomique. Les règles métier applicables à toute l'organisation sont appliquées dans cette couche, afin de garantir la cohérence dans toute l'organisation.

Couche de présentation

Dans la couche de présentation, les données sont (virtuellement) transformées en un modèle de données basé sur les besoins d'information de l'organisation et orienté reporting. Il s'agit généralement de star schemas. Combinée à une couche foundation, la couche de présentation peut toujours être reconstruite de zéro. Cela permet de s'adapter rapidement à de nouveaux besoins d'information. Les règles métier valables uniquement pour certains départements y sont aussi généralement définies.

Couche d'accès

La couche d'accès met les données à disposition pour différents types de consommation. Elle se compose principalement des outils utilisés par les personnes pour analyser et rendre compte de toutes les informations disponibles. Les usages typiques incluent les scorecards stratégiques, les dashboards opérationnels, le reporting pixel-perfect, les requêtes ad hoc, les analyses multidimensionnelles et les différentes variantes d'analytics. Un nouveau type de consommation apparu grâce à la tendance à construire des data hubs en quasi temps réel consiste à rendre les données disponibles via des API pour d'autres applications de l'organisation.

Métadonnées

Les outils de métadonnées sont souvent utilisés en soutien des programmes de data governance. Un business glossary bien gouverné aide à s'aligner sur les business terms et définitions, et permet de relier les business terms aux data assets documentés dans le data catalog. Il permet aussi de suivre la data quality. La data lineage documente et visualise d'où proviennent les données et quelles transformations y ont été appliquées. L'analyse d'impact permet d'évaluer l'impact sur les systèmes en aval et les environnements de reporting lorsque les systèmes sources changent.

Data Lab

Le data lab est un environnement dédié dans lequel un ensemble hétérogène de sources de données peut être exploré de manière sûre et économique afin d'expérimenter, de trouver de nouveaux cas d'usage ou de générer des rapports ad hoc. En général, les données ne sont stockées que pendant une durée limitée. Si l'expérimentation s'avère apporter de la valeur et le ferait de manière récurrente, elle est généralement intégrée à la plateforme de données industrialisée.

Composant d'intégration

Les composants d'intégration ancrent et intègrent l'architecture de données dans le paysage IT existant. Des exemples courants sont un portail web (comme (Azure) SharePoint) pour partager informations et rapports au sein de l'organisation, un fournisseur d'authentification et d'autorisation (comme (Azure) Active Directory) ou un Graphical Information System permettant de visualiser des informations sur une carte géographique. Un autre exemple : la dernière action d'un flux de données consiste à appeler l'API d'une autre application ou à publier un topic pour informer d'autres applications de nouvelles informations.

À PROPOS DES AUTEURS

Picture of Kristof Van de Loock

Kristof Van de Loock

Managing Partner

À propos de Sparkle

À propos de Sparkle

Sparkle est un cabinet de conseil en données stratégiques, fondé en 2017 et comptant aujourd'hui plus de 50 consultants en Belgique et en Estonie, qui aide ses clients à exploiter pleinement leurs données.

En savoir plus sur nous
Rejoignez l'équipe

Rejoignez-nous

Vous cherchez une carrière dans les données ? Découvrez nos postes ouverts.

Carrières chez Sparkle
Scroll to Top