Reliability and validity of a workbook for assessment of professional competencies of internal medicine residents
Résumé
BACKGROUND: Though several assessment tools for resident professional skills based on workplace direct observation have been validated, they remain scarcely used in France. The objective of this study was to evaluate the reliability and the validity of a workbook including several assessment forms for different components of the professional competency.METHODS: Three assessment forms have been tested over a period of 6 months in a multicentric study including 12 French internal medicine departments: the French version of the mini-CEX, an interpersonal skills assessment form (OD_CR) and the multisource feedback form (E_360). Reliability has been assess using the intra-class correlation coefficient (ICC) and the Cronbach alpha coefficient. Arguments for validity have been provided looking at the ability of the forms to detect an increase in the scores over time and according to the level of experience of the resident.RESULTS: Twenty-five residents have been included. The Cronbach alpha was of 0.90 (n=70) with the mini-CEX, 0.89 with the OD_CR (n=62) and 0.77 with the E_360 (n=86). ICC showed a wide variation according to the items of the mini-CEX and the OD-CR probably due to the poor number of observations performed by residents. The scores of most of the items of these two forms increased between M1 and M6. The scores of the E_360 were high: 7.3±0.8 to 8.3±2.4 (maximum 9) and did not vary according to the level of experience.CONCLUSIONS: This study suggest that it would be difficult to ensure a sufficient reliability for professional skills assessment using these tools given our available current human and material resources. However, these assessment forms could be added to the resident portfolio as supports for the debriefing in order to document their progression during their formation.
INTRODUCTION: Des outils d’évaluation des compétences professionnelles des internes par observation directe sur le lieu d’exercice sont validés mais leur appropriation reste anecdotique en France. L’objectif de cette étude était d’évaluer la reproductibilité et la validité d’un carnet d’observation comprenant plusieurs grilles évaluant différentes composantes de la compétence professionnelle.MÉTHODE: Trois grilles ont été testées, au cours d’une étude multicentrique sur 6 mois impliquant 12 services de médecine interne français : une grille d’observation de l’examen clinique (mini-EC), une grille d’observation des compétences relationnelles (OD_CR) et une grille d’évaluation des compétences génériques (E_360), remplie par tous les collaborateurs de l’interne. La reproductibilité a été évaluée par le coefficient de corrélation intraclasse (CCI) et par le coefficient alpha de Cronbach. La validité a été appréciée par la capacité à détecter une amélioration des compétences dans le temps et avec l’ancienneté de l’interne.RÉSULTATS: Vingt-cinq internes ont été inclus. Le coefficient alpha de Cronbach était à 0,90 (n = 70) pour la grille mini-EC, 0,89 pour la grille OD_CR (n = 62) et à 0,77 pour la grille E_360 (n = 86). Les CCI étaient très variables selon les items pour les deux grilles mini-EC et OD_CR, en partie en raison du faible nombre d’observations réalisées par interne. Ces grilles ont détecté une progression des internes pour la plupart des items entre M1 et M6. Les scores de la grille E_360 étaient élevés, à 7,3 ± 0,8 à 8,3 ± 2,4 (score maximum 9) et ne variaient que très peu pas avec l’ancienneté de l’interne.CONCLUSION: Garantir la reproductibilité de l’évaluation des compétences avec ces grilles ne parait pas faisable en l’état actuel de nos moyens sur nos lieux d’exercice. En revanche, ces grilles pourraient être intégrées au portfolio des internes comme supports des débriefings, afin de documenter les progrès réalisés au cours de leur formation.
Domaines
Sciences du Vivant [q-bio]| Origine | Fichiers produits par l'(les) auteur(s) |
|---|
