Checklist ou global, telle est la question…

L’ECOS ou Examen Clinique à Objectif Structuré est considéré comme une forme essentielle de l’évaluation de la performance clinique de l’étudiant en santé et a fait l’objet au cours des ans d’une recherche assez intensive qui montre que c’est un format de test équitable et robuste (Newble, 2004).
Dans les nombreux avantages de ce format d’évaluation très standardisé et standardisable, on trouve pêle-mêle :
  • Une variété plus importante de compétences testées
  • Une plus grande objectivité comparée aux autres formes d’examen oral ou pratique (observations structurées)
  • Un plus grand nombre d’examinateurs par session, réduisant ainsi le biais lié à l’examinateur unique
  • Enfin un haut niveau de validité et de fiabilité (reproductibilité)
Il y a toutefois eu un questionnement continuel dans l’évaluation par l’ECOS entre l’utilisation de scores globaux (jugements holistiques) pour certaines compétences (communication, professionnalisme) et la nécessité plus réductrice, mais sans doute plus objective et surtout plus valide, d’obtenir des scores basés sur des checklists très détaillés, plus particulièrement pour les observation de gestes d’examen clinique et physique. Une disparité importante entre des scores obtenus par une checklist versus ceux obtenus sur un score global ou holistique indique potentiellement des problèmes de qualité au niveau de la station. Le plus souvent aussi le score global attribué est utilisé dans l’analyse statistique des scores obtenus par un candidat et du barème de passage (méthode dite du « borderline ») et peut donc avoir une influence non-négligeable sur les résultats obtenus.
En résumé ce qui est observé dans la littérature est que :
  • Le score global, utilisé en sus des checklists, est un élément important dans les mesures obtenues lors d’un ECOS ; ce score a en effet de bonnes propriétés psychométriques de validité et de fiabilité ainsi que l’a montré B. Hodges en 2003 (MedEduc), et peut encore améliorer la qualité de l’évaluation par les checklists seules. Ce score global serait plus performant pour des étudiants de niveau d’expertise plus élevés. Le seul impératif de taille pour l’auteur est de bien qualifier ce que ce score global est censé observer, voire de donner des exemples de bon et de mauvais comportements à observer.
  • Dans une autre étude de Malau-Aduli BS et al, Creative Education 2012, les auteurs montrent une fiabilité inter-examinateur plus élevée pour le score global que pour les checklists détaillées, et font donc la preuve d’une meilleure reproductibilité de ce type de score considéré par beaucoup comme plus « subjectif ».
  • Finalement, Kaitlin Turner et al, dans Education Research International 2014 nous montrent, dans des ECOS conduits pour observer le comportement professionnel des physiothérapeutes lors d’un examen physique pratique, que la corrélation entre les checklists et un score global semble d’autant plus importante que l’évaluation concerne des étudiants plus avancés.
En conclusion, pour introduire un score global dans un examen ECOS il faut que ce score soit indépendant des scores obtenus dans la checklist, qu’il soit global ou holistique dans son jugement de la personne examinée (observations liées aux compétences en communication ou professionnalisme), qu’il est obtenu par le jugement d’un expert clinique dans le domaine et dépend du niveau attendu de la performance (niveau de l’examen) et enfin qu’il doit contenir une explication claire des bons et des mauvais comportements attendus.
Refs:
  1. Newble D. Techniques for measuring clinical competence: objective structured clinical examinations. Medical Education 2004; 38: 199–203
  2. Hodges B. & McIlroy JH. Analytic global OSCE ratings are sensitive to level of training. Medical Education 2003;37:1012–1016
  3. Malau-Aduli BS et al. Inter-Rater Reliability: Comparison of Checklist and Global Scoring for OSCEs. Creative Education 2012. Vol.3, Special Issue, 937-942
  4. Turner K. et al. Correlation between Global Rating Scale and Specific Checklist Scores for Professional Behaviour of Physical Therapy Students in Practical Examinations. Education Research International 2014. http://dx.doi.org/10.1155/2014/219512

Le CiS, un centre conjoint

Copyright 2018 © CIS Genève | Mentions légales

Réalisation Interaction Healthcare : Agence Interactive spécialisée santé