Méthodologie du moniteur de l'accessibilité

Le Moniteur de l'Accessibilité est un instrument de mesure développé en 2007 par AnySurfer en collaboration avec K-point, le centre de recherches et de connaissances sur les TIC et l'inclusion de la Katholieke Hogeschool Kempen (l'Institut Supérieur Catholique Campine). Le Moniteur produit une mesure de l'accessibilité des sites web belges.

La méthode suivie pour obtenir le pourcentage de sites web accessibles est la suivante :

  1. Sélection d'un échantillon de sites web
  2. Sensibilisation d'étudiants dans le domaine du web, de l'informatique et de la communication
  3. Utilisation du quickscan par les étudiants pour évaluer les sites web
  4. Consolidation des résultats par AnySurfer

Sélection d'un échantillon de sites

L'échantillon principal se veut représentatif du paysage web belge. Chaque catégorie contient, si possible, aussi bien des sites francophones que néerlandophones.

L'échantillon évolue d'une année à l'autre. Certains sites n'existent plus. Certains sont remplacés par d'autres sites dans la même catégorie (par exemple pour les villes). Des nouveautés apparaissent, comme par exemple des sites de partage de vélos dans la catégorie mobilité.

Sessions de sensibilisation dans les écoles

Pour pouvoir obtenir des résultats pour tous les sites de nos échantillons, nous faisons appel à des étudiants en webdesign.

Dans un premier temps nous les sensibilisons à l'accessibilité lors d'une conférence intégrée à leur programme de cours. Lors de cette conférence nous leur expliquons également comment évaluer l'accessibilité d'un site web au moyen de la procédure du Quickscan.

Ensuite, chaque étudiant analyse 2 sites et encode les résultats dans une base de données. Étant donné le grand nombre d'étudiants qui participent, la grande majorité des sites sont analysés par plusieurs étudiants.

Le Quickscan

La procédure habituelle d'analyse, l'audit AnySurfer, est trop longue pour être utilisée dans le cadre de ce moniteur. C'est pourquoi nous avons développé une méthode d'analyse permettant d'obtenir une évaluation rapide de l'accessibilité d'un site web: le QuickScan.

Le quickscan est une sélection de 15 critères qui permettent de détecter les sites qui ne sont pas suffisamment accessibles. Le QuickScan ne remplace pas un audit complet et ne permet pas de garantir qu'un site est accessible.

Les critères du quickscan ont légèrement évolué au cours des années pour suivre l'évolution du web. Les critères utilisés sont documentés dans chaque rapport du moniteur.

Pour obtenir une appréciation quantifiable, chacun des 15 critères est pondéré (*) de 1, de 2 ou de 3. Un site web réussit le test du QuickScan s'il obtient un score d'au moins 75%.

Dans son rapport, l'étudiant doit sélectionner une des appréciations "Ok", "Pas Ok" ou "Pas d'application" et ajouter un commentaire pour expliquer l'appréciation. Chaque site web est évalué par plusieurs étudiants.

Les étudiants contrôlent au moins 6 pagesreprésentatives de chaque site web. Parmi la sélection, les pages suivantes sont typiquement reprises:

  • Page d'accueil
  • Page contact
  • Plan du site
  • Formulaire de recherches et page de résultat
  • Deux pages de contenu type

Les résultats sont encodés dans une base de donnée par le biais d'un formulaire en ligne. Les professeurs concernés ont accès à toutes ces données afin de pouvoir évaluer le travail de leurs étudiants.

Consolidation des résultats

Pour démarrer, nous avons pour chaque site web, par critère, le nombre d'étudiants qui l'ont évalué à OK, à pas OK et à Pas d'application.

Obtention d'un résultat par critère pour chaque site

Nous faisons l'hypothèse que la majorité a raison. Quand tous les étudiants ont évalué un critère de la même manière, c'est simple:

  • 100% de 'OK' devient 'OK'
  • 100% de 'Pas OK' devient 'Pas OK'
  • 100% de 'pas d'application' devient 'OK' car cela indique une absence de problème.

Si tous les résultats ne concordent pas:

  • nous ignorons les 'pas d'application'. En effet, si au moins un étudiant a donné comme évaluation un 'OK' ou 'pas OK', c'est qu'il a rencontré sur le site le type de contenu à analyser (image, vidéo, tableau, liste, ...) et le 'pas d'application' est donc faux.
  • entre 'OK' et 'Pas OK', une majorité de 'OK' devient 'OK', une majorité de 'Pas OK' devient 'Pas OK'.
  • si c'est ex aequo, le 'Pas OK' l'emporte. Un 'OK' peut signifier que l'étudiant n'a pas trouvé le contenu posant problème mais ne prouve pas l'absence de ce problème.

De cette manière on obtient pour chaque site web 15 résultats, 1 par critère.

Calcul du résultat pondéré pour chaque site

Nous avons attribué à chaque critère un poids de 1, 2 ou 3 en fonction de son importance. Pour obtenir le score d'accessibilité d'un site nous faisons une moyenne pondérée des résultats.

Calcul du résultat global d'un échantillon

Sur base du pourcentage obtenu par chaque site, nous pouvons calculer le pourcentage de sites ayant obtenu au moins 75%. C'est le pourcentage à partir duquel un site est considéré un minimum accessible, dans le cadre de ce moniteur. Une distribution des résultats est également obtenue.

Calcul du résultat moyen pour chaque critère

Pour chaque critère nous faisons également une moyenne des résultats obtenus sur tous les sites.