Développement d’un outil d’évaluation des compétences des étudiants en médecine d’urgence : une étude nationale par la méthode Delphi

The Development of a Competencies Assessment’s Tool for Emergency Medical Students and Residents: a Nationwide Delphi Study

¹ Service d’accueil des urgences, groupe hospitalier Pitié-Salpêtrière Charles-Foix, Assistance publique–Hôpitaux de Paris (AP–HP), F-75013 Paris, France
² Laboratoire interuniversitaire des sciences de l’éducation et de la communication (LISEC), EA 2310, université de Strasbourg, France
³ Faculté de médecine, Sorbonne Université, F-75013 Paris, France

^* e-mail : annelaurephi@gmail.com

Reçu : 11 Juillet 2019
Accepté : 21 Octobre 2019

Résumé

Objectif : Ce travail s’inscrit dans une démarche d’ingénierie des compétences visant à évaluer par la simulation les étudiants et les internes en médecine d’urgence (MU). L’objectif de l’étude est de développer un score d’évaluation par la simulation pour trois familles de situation (FS).

Matériels et méthodes : Le choix des trois FS a été fait après un classement selon leur importance, réalisé par les coordonnateurs régionaux du diplôme d’études spécialisé de MU. La seconde étape consistait en une méthode Delphi, pour élaborer une grille d’évaluation des étudiants sur ces FS. Parmi les 86 experts sollicités, l’objectif était d’avoir 20 experts pour chaque FS, qui devraient noter des items en fonction de leur pertinence à évaluer, sur une échelle de Likert pour le premier et le deuxième tour puis sur un score binaire au tour final. Le consensus a priori était de 75 % pour les deux premiers tours puis de 85 % pour le dernier tour.

Résultats : Les trois FS identifiées sont l’arrêt cardiorespiratoire, la détresse respiratoire aiguë et le coma non traumatique. Cinquante et un experts ont accepté de participer (59 %). Le taux de participation a varié de 80 à 95 % pour chaque tour, et les experts ont identifié 20 catégories composant un score d’évaluation pour chaque situation.

Conclusion : Grâce à une méthode de consensus de groupe, nous avons pu déterminer les items indispensables à l’évaluation en simulation de trois situations cliniques graves en MU.

Abstract

Aim: Our work is part of a competence-based assessment approach. Our aim was to determine three clinical situations that need a simulation-based-assessment for medical students and residents and then, to develop a score for each situation.

Material and methods: We have conducted two consensus groups’ methods. First, we have asked all French residency program directors in emergency medicine to determine the clinical situations that we had to score. The second step consisted in the use of a Delphi technique, in three rounds, to achieve consensus and to select items that had to be part of the assessment score. Among the 86 solicited experts, we aimed to have 20 experts for each of the three scores.Within the rounds 1 and 2, experts were asked to note items on a Likert scale, and for the last round on a binary scale. For rounds 1 and 2, consensus rate of 75% was agreed upon. It was 85% for round 3.

Results: The directors identified those clinical situations: cardiac arrest, acute respiratory failure and non-traumatic coma. Response rates for the Delphi were 59% for the overall participation, and then varied from 80 to 95% in each round, for each score. We have found 20 categories for each situation, and made scores with those categories.

Conclusion: With the help of consensus groups’ methods, we have found three clinical situations important to assess by simulation in emergency medicine, and developed a score for each situation, made of 20 categories.