La qualité des données est un point essentiel pour le bon fonctionnement de nos systèmes d’informations (SI). Comment envisager de prendre des décisions de qualité si les données à l’origine de cette prise de décision ne sont pas fiables ? La fiabilité à 100 % n’est peut être pas toujours réalisable et dans ce cas il est nécessaire de comprendre les limites des informations sources afin de pondérer par ce critère via des indicateurs. Pour que la qualité soit meilleure, il faut rapidement mettre en place des standards par métier que l’on peut simplifier par la mise en place de schémas de données. Opendata.gouv.fr est d’ailleurs dans cette optique : (voir lien)

Tweet du compte @opendata_fr mettant en avant le besoin de mettre en place des schémas pour améliorer la qualité des données.
Tweet du compte @opendata_fr du 05/11/2020 mettant en avant le besoin de mettre en place des schémas pour améliorer la qualité des données.

Opendata.gouv nous explique que, je cite :

Les schémas de données permettent ainsi une montée en qualité des données proposées en open data, surtout lorsque plusieurs producteurs de données sont amenés à produire un même jeu de données.

https://www.data.gouv.fr/fr/posts/nouvelles-fonctionnalites-relatives-aux-schemas-de-donnees-sur-data-gouv-fr/

GraceTHD V2 et GraceTHD V3, des Géo-standards au service de la qualité et de l’échange pour la fibre optique

Prenons l’exemple de GraceTHD V2 ou V3. Ces géo-standards mis en place par le CNIG permettent de parler le même langage et de favoriser ainsi la qualité et l’échange des données du métier FTTH (Fiber To The Home).

Schéma (MCD) modèle conceptuel de données de GraceTDH v3
Schéma (MCD) modèle conceptuel de données de GraceTDH v3

Avoir un géo-sdandard est donc essentiel et le CNIG travaille pour en créer par métier (PLU, PCRS, Star-Dt…). Après, il est nécessaire qu’un maximum d’acteurs jouent le jeu et s’approprient le standard. Dans GraceTHD, ce sont les collectivités au travers des RIP (Réseaux d’initiatives Publics) qui impulsent le projet en imposant leurs prestataires à utiliser ce standard. Actuellement GraceTHD V2 est encore en cours d’utilisation et bientôt, GraceTHD V3 sera utilisé.

Comment assurer la qualité de la livraison du standard ?

Comme nous l’avons vu, la création du standard et la fédération des acteurs autour de celui-ci est une étape essentielle mais pour le RIP qui attend ce standard bien rempli, il est nécessaire de mettre en place un système de contrôle qualité. Pour le producteur des données il est tout aussi pertinent d’avoir un outil d’auto-contrôle de sa production afin de ne pas être pris en défaut par son client.

Processus de contrôle du standard avec FME

FME est un parfait atout pour contrôler un schéma, un géo-standard car cet outil permet de lire 500 formats de fichiers et permet de contrôler les aspects attributaires, spatiales et les règles métiers. Pour GraceTHD, il y a la fois des CSV et des SHP (Shape) à contrôler. L’avantage de FME par rapport à un outil basé par exemple sur PostgreSQL/PostGIS est qu’il n’est pas nécessaire que les données puissent rentrer en base (et donc ne doivent pas être parfaites d’un point de vue conceptuel nottament sur les contraintes d’intégrités, clé primaires, étrangères…)) pour être contrôlées. En effet FME est déconnecté d’une base pour effectuer les différents contrôles.

Outil de contrôle GraceTHD V2 ou V3

SITDI-France a développé un outil sur FME 2020.2 permettant d’analyser en quelques minutes le respect d’énormément de points sur une ZASRO, ZANRO ou plus grand :

Outil de contrôle qualité sur FME permettant de vérifier les données GraceTHD v3
Outil de contrôle qualité sur FME permettant de vérifier les données GraceTHD v3

L’outil permet notamment de contrôler :

Le respect du standard d’un point de vue conceptuel

  • La présence des fichiers ou tables attendues
  • Les données attributaires
  • Nom de l’attribut
  • Sa valeur
  • Son typage (format d’une date par exemple)
  • Sa valeur est présente dans la liste obligatoire ?
  • Son unicité (clé primaire aussi appelé Primary key)
  • Sa relation avec une autre table (clé étrangère, aussi appelé Foreign key)
  • ….

Les données spatiales

  • Type de géométrie (ligne, point…)
  • Projection (Lambert 93, wgs84…)
  • Topologie
  • Erreurs de géométries (auto intersection…)

Des règles métiers FTTH

  • Superposition des zones arrières
  • Capacité des câbles
  • Adresse
  • Type d’objet (local technique, site…)

Rapport d’erreur

A la suite du contrôle effectué, FME génère un rapport des erreurs détectées. Un simple fichier Excel associé au besoin de fichiers SIG comme des SHAPES permettent de cibler les erreurs afin de les corriger sur vos outils de saisis. Le gain de temps est considérable et vous permet de comprendre et localiser les erreurs. Cela permet également de comprendre les erreurs récurrentes afin d’agir en amont sur le processus de création des données. L’objectif est donc double. Il s’agit effectivement de gagner en qualité mais également en temps de production.

Synthèse des erreurs sur le jeu de données test GraceTHDv3
Synthèse des erreurs sur le jeu de données test GraceTHDv3

Le fichier Excel génère une synthèse des erreurs et décomposent celles-ci dans différentes feuilles (onglets). Une phrase explicative du problème est décrit et l’erreur reprend le ou les identifiants et les tables en erreurs.

Erreur de références (listes) sur certains attributs des données GraceTHD v3
Erreur de références (listes) sur certains attributs des données GraceTHD v3

En conclusion on peut ainsi dire que FME est un outil incontournable pour le data management mais également sur cette problématique permettant de s’assurer du bon respect d’un standard ou de votre production. Bien évidemment, l’outil actuel permet de s’assurer de la cohérence de beaucoup de points (remplissage, topologie, règles métiers) mais vous pouvez aussi demander à SITDI-France de développer à façon des contrôles qui vous paraissent important comme la capacité des câbles depuis l’aval jusqu’à l’amont de votre zone arrière SRO (Sous répartiteur optique).

Outil de contrôle GraceTHD V2 ou V3, démonstration & devis

Dans tous les cas, n’hésitez pas à me solliciter pour visualiser et tester l’outil sur un jeu de données GraceTDHV2 ou GraceTHDV3. Je serai bien évidemment en mesure de vous proposer un devis pour l’acquisition de l’outil (nécessite FME Desktop) ou un devis en location par an via une application en ligne. Cette dernière option ne nécessitera pas l’acquisition de FME Desktop.

Au besoin, SITDI-France peut également mettre en œuvre un outil de contrôle qualité sur tout type de jeux de données SIG ou non afin de qualifier vos processus de création et de réception de données !

  • Loïc Guénin Randelli, expert FME certifié & FTTH
  • 06.27.53.42.43
  • contact@sitdi-france.fr