PERSPECTIVES ON OBJECTIVE STRUCTURED CLINICAL EXAMINATION (OSCE)

With the advent of Objective Structure Clinical Examination (OSCE) in the mid seventies^1,2 examination of clinical competencies became more defined, refined and focused. OSCE became an answer to decades of dissatisfaction with the use of the traditional long case clinical examination in which examiner, patient and pathology case-specificity played significant roles, not always amenable to measurable control parameters. Moreover, the OSCE provided a wide template for the examination of competencies not usually captured in the traditional long case examination3. Both patient and task-related modalities of assessment were handy, in addition to robust use of communication and interpersonal skills. There has been no doubt that OSCE has provided a more comprehensive platform for clinical assessment comprising entities of the cognitive, psychomotor and affective domains of learning^4,5.

Still, the OSCE claims no perfection6,7 but on a comparative scale with the traditional examination has better psychometric properties viz objectivity, validity and reliability and of course equity. For these values, it has become well accepted globally as instrument of choice at both undergraduate and postgraduate clinical examinations8 with many variations and modifications.

OSCE as a veritable and valid instrument of clinical testing could swing to extremes of test outcomes. Therefore, efforts should be made to ensure that test scores represent the true ability of the examinees so that conclusions as to pass or fail will be defensible. The test instrument needs to be strong enough to return positive discrimination index whenever used. To this end every factor that threatens the OSCE blueprint should be put in abeyance3. Threats to validity include construct under-representation (under sampling of necessary content) and construct irrelevant variance (testing issues of least value or priority). Similarly threats to blueprint reliability should be avoided such as insufficient number of stations, issues of rater accuracy, inter-rater variance, intra-rater variance and different portrayals by SPs for same scenarios.

To overcome the above threats implies that test blueprint or test of specifications for every OSCE assessment should be properly constructed to meet the original educational objectives intended. Secondly, examiners should be adequately trained and their competence to administer the system verifiable5 and thirdly, standardized patients (SPs) should be meticulously trained (they could be non-medical personnel) to consistently and accurately play their roles.⁹

One of the greatest challenges in the use of OSCE is in the design of checklists (marking guides) for the different tasks assessed. Checklists need to be designed to reflect the essence of testing for each particular task. It should never be developed in a hurry. It has to be reviewed and revised by different competent item writers to ensure acceptable simulation, sequencing and appropriate weighting of the various items. They should also be time-bound and examiner-friendly. They may then be banked for use when needed.

The present trend in the use of OSCE in the West African sub-region is encouraging. The adoption by various faculties of both the West African Postgraduate Colleges of Physicians and Surgeons is heart-warming and will no doubt increase the objectivity and quality of our examinations. It requires continuous training for all: examiners, examinees and SPs. The issue of funding for equipment (mannequins, simulation models etc) requires proper planning including liaison with overseas manufacturers for favourable educational purchase terms. Not the least daunting is handling of the tasking logistics involved in administering OSCE for large population of examinees, which invariably is tied to security of the tests administered^10,11.

A final challenge to the various faculties administering OSCE is standard setting12. Grading can be based on a criterion-referenced system, norm-referenced system, or a combination of both. The OSCE examination format demands a much more meticulous standard setting and determination of passing scores than in the traditional long and short case clinical examination format. To achieve high quality, the OSCE processes will require refinements and adjustments with time until more experience is gained and trends in the examinations properly studied. Fortunately, there are time-tested modalities for doing this¹³. A continuous improvement in our postgraduate OSCE examinations cannot become a reality if determined effort to conduct comprehensive post examination analysis is not done13 This will be computer-assisted and issues of item difficulty, discrimination index, reliability factor, examiner performance etc will be determined. This in turn will provide strong feedback for all: examiners, internal assessors, floor managers and examinees. Overall effect will be continuous all round improvement.

As transiting from the traditional format to OSCE requires a lot in human resources and costs, the focus is that OSCE provides better assurance that the examiners have objectively discharged their responsibilities on a platform of equity and fairness without sacrificing quality.

References

1. Harden RM, Stevenson M, Downie WW, Wilson GM. Assessment of clinical competence using objective structured clinical examination (OSCE), British Medical Journal. 1975; 1: 447-451.
2. Harden RM, Gleeson FA. Assessment of clinical competence using an objective structured clinical examination (OSCE). Medical Education. 1979; 13: 41-54.
3. Page G, Bordage G, Allen T. Developing Key-Feature Problems and Examinations to Assess Clinical-Decision-making Skills. Academic Medicine. 1995;70: 194-201. Onwudiegwu U. Current Trends in Medical Education in Nigeria. Nigeria Journal of Health Sciences. 2010; 10: 5-13.
4. Onwudiegwu U. Overview of Assessment Methods in Medical Education. Lead presentation at the National Postgraduate Medical College Examiners’ TOT Workshop. Lagos, Nigeria, 22nd-26th September, 2010.
5. Carpenter JL. Cost analysis of Objective Structured Clinical Examinations. Academic Medicine. 1995; 70: 828-833.
6. Hoddler S, Papp K. The role of the OSCE in the Assessment of Students’ Performance In ‘The Objective Structured Clinical Examination. Association for Surgical Education. 2001; Editors: James McCoy and Hollis Merrick, pp 18-27.
7. Sloan, AD, Donnelly MB, Schwartz RW, Strodel WE. The objective structured clinical examination. The new gold standard for evaluating postgraduate clinical performance. Annals of Surgery. 1995; 222(6): 735-742.
8. Graceanne Adamo. Simulated and standardized patients in OSCEs: achievements and challenges 1992-2003. Medical Teacher. 2003; 25: 262-270.
9. Cohen R, Rothman A, Ross J, Poldre P. Security Issues in Standardized- Patient Examinations. Academic Medicine. 1993; 68(supp): S73-S75.
10. Stillman PL, Haley HA, Sutnick AI, Philbin MM, Smith SR, O Donnell J, Pohl H. Is test security an issue in a multi-station clinical assessment? – A preliminary study. Academic Medicine. 1991; 66 (supp.): S25-S27.
11. Petrusa ER, Blackwell T, Parcel S, Saydjari C. Psychometric properties of the objective clinical exam (OCE) as an instrument for final evaluation. In Newer Developments in Assessing Clinical Competence. Heal Publications, Montreal, 1986.
12. Debra A. DaRosa, Susan Kaiser, Measurement Considerations in Planning and Evaluating An OSCE in ‘The Objective Structured Clinical Examination. Association for Surgical Education. 2001; Editors: James McCoy and Hollis Merrick, pp 95-104.

PERSPECTIVES SUR L'EXAMEN CLINIQUE STRUCTURÉ OBJECTIF (ECOS)

Avec l'avènement de l'Examen clinique objectif structuré (ECOS) au milieu des années soixante-dix1,2, l'examen des compétences cliniques est devenu plus défini, affiné et ciblé. L'ECOS est devenu une réponse à des décennies d'insatisfaction face à l'utilisation de l'examen clinique traditionnel à long terme dans lequel l'examinateur, le malade et la spécificité des cas de pathologie ont joué un rôle important, pas toujours mesurable. De plus, l'ECOS a fourni un large modèle pour l'examen des compétences qui ne sont généralement pas prises en compte dans l'examen traditionnel de longue durée3. Les modalités d'évaluation des malades et des tâches étaient pratiques, en plus d'une utilisation robuste des compétences en communication et en relations interpersonnelles. Il n’y a aucun doute que l'ECOS a fourni une plate-forme plus complète pour l'évaluation clinique comprenant des entités des domaines cognitif, psychomoteur et affectif de l'apprentissage^4,5.

Pourtant, l'ECOS ne prétend pas à la perfection6,7 mais, à une échelle comparative avec l'examen traditionnel, a de meilleures propriétés psychométriques, à savoir l'objectivité, la validité et la fiabilité, et bien sûr l'équité. Pour ces valeurs, il est devenu bien accepté globalement comme instrument de choix aux examens cliniques de premier cycle et de troisième cycle8 avec beaucoup de variations et de modifications.

L'ECOS, en tant qu'instrument véritable et valable d'essais cliniques, pourrait atteindre des résultats extrêmes. Par conséquent, des efforts devraient être faits pour s'assurer que les résultats des tests représentent la véritable capacité des candidats, de sorte que les conclusions sur le succès ou l'échec seront défendables. L'instrument de test doit être suffisamment puissant pour renvoyer un indice de discrimination positive lorsqu'il est utilisé. À cette fin, tous les facteurs qui menacent le plan d'action de l'ECOS devraient être mis en suspens3. Les menaces à la validité comprennent la sous-représentation de la construction (sous échantillonnage du contenu nécessaire) et la construction de la variance non pertinente (test des questions de moindre valeur ou de priorité). De même, les menaces à la fiabilité du plan directeur doivent être évitées, telles que le nombre insuffisant de stations, les problèmes de précision de l'évaluateur, la variance inter-évaluateur, la variance intra-évaluateur et différentes représentations par les PS pour les mêmes scénarios.

Pour surmonter les menaces susmentionnées, il faut que le plan de test ou le test des spécifications de chaque évaluation de l'ECOS soit correctement construit pour répondre aux objectifs éducatifs initiaux prévus. Deuxièmement, les examinateurs devraient être correctement formés et leur compétence pour administrer le système vérifiable5 et troisièmement, les malades standardisés (MS) devraient être méticuleusement formés (ils pourraient être un personnel non médical) pour jouer leurs rôles de manière cohérente et précise.⁹

L'un des plus grands défis de l'utilisation de l'ECOS réside dans la conception de listes de contrôle (guides de notation) pour les différentes tâches évaluées. Les listes de contrôle doivent être conçues pour refléter l'essence des tests pour chaque tâche particulière. Il ne devrait jamais être développé rapidement. Il doit être revu et révisé par différents auteurs d'articles compétents afin de garantir une simulation, un séquençage et une pondération appropriés des différents articles. Ils devraient également être limités dans le temps et faciles à examiner. Ils peuvent ensuite être mis en banque pour une utilisation en cas de besoin.

La tendance actuelle dans l'utilisation de l'ECOS dans la sous-région de l'Afrique de l'Ouest est encourageante. L'adoption par diverses facultés des collèges postuniversitaires de médecins et de chirurgiens de l'Afrique de l'Ouest est réconfortante et va sans aucun doute accroître l'objectivité et la qualité de nos examens. Il nécessite une formation continue pour tous: examinateurs, candidats et MS. La question du financement de l'équipement (mannequins, modèles de simulation, etc.) exige une bonne planification, y compris une liaison avec les fabricants étrangers pour des conditions d'achat favorables. Le moins décourageant est la gestion des tâches liées à l'administration de l'ECOS pour une large population de patients, ce qui est invariablement lié à la sécurité des tests administrés^10,11.

Un dernier défi pour les différentes facultés administrant l'ECOS est l'établissement de normes12. Le classement peut être basé sur un système référencé par un critère, un système normé ou une combinaison des deux. Le format d'examen de l'ECOS exige un établissement de normes beaucoup plus minutieux et la détermination des notes de passage que dans le format d'examen clinique traditionnel long et court. Pour atteindre une qualité élevée, les processus de l'ECOS devront être affinés et ajustés avec le temps jusqu'à ce que l'on ait acquis plus d'expérience et que les tendances des examens aient été correctement étudiées. Heureusement, il existe des modalités éprouvées pour ce faire¹³.

Une amélioration continue de nos examens de troisième cycle de l'ECOS ne peut pas devenir réalité si l'on ne parvient pas à effectuer une analyse post-examen complète13. Cette évaluation sera assistée par ordinateur et les problèmes de difficulté, indice de discrimination, facteur de fiabilité, performance des examinateurs, etc. Cela fournira à son tour une rétroaction solide pour tous: examinateurs, évaluateurs internes, gestionnaires de plancher et candidats. L'effet global sera l'amélioration continue tout au long.

Comme le passage du format traditionnel à l'ECOS exige beaucoup de ressources humaines et de coûts, l'OSCE fournit une meilleure assurance que les examinateurs se sont acquittés objectivement de leurs responsabilités sur une plate-forme d'équité et d'équité sans sacrifier la qualité.