ارزشیابی صلاحیت بالینی
Workshop for assessing clinical competence
3
Evaluation is for
Improvement
Not
Provement
Professional Competence
The habitual and judicious use of communication, knowledge, technical skills, evidence based decision making, emotions, values, and reflection to improve the health of the individual patient and the community.
“به کارگیری عادت گونه و مدبرانه دانش، مهارتهای ارتباطاتی، مهارتهای عملی، استدلال بالینی، عواطف، ارزشها و بازاندیشی در فعالیت حرفه ای روزمره، در جهت خدمت به فرد و جامعه"
5
Epstein and Hundert, Designing and assessing professional competence. JAMA 287:226, 2002
What is Clinical Competency?
The ability to handle
a complex professional task by
integrating knowledge, skills and attitudes.
Rice et al., Competency-based objectives for clinical training. Can. J. Med. Technol. 57:136, 1995
Reference
Van der Vleuten, C. The assessment of professional competence: developments,research and practical implications Advances in Health Science Education 1996, Vol 1: 41-67
تلفیق دانش، مهارت عملی و نگرش های حرفه ای در ضمن انجام یک وظیفه بالینی پیچیده
Miller GE. The assessment of clinical skills, competence, performance Acad Med, 1990; 65(Suppl.):S63-S67.
Behavior Skills
& attitudes
Knowledge
What is the best way to evaluate Clinical Competency?
Miller’s Pyramid of Competenc
Knowledge tests: MCQs
Clinical based tests: MCQ
Competency assessment: OSCE
Performance assessment: Masked SP
A simple model of competence
Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.
Knows
Shows how
Knows how
Does
Written, Oral or
Computer based assessment
Performance or hands on assessment
Model of competence
Miller GE. The assessment of clinical skills/competence/performance.
Academic Medicine (Supplement) 1990; 65: S63-S67.
climbing the pyramid
Knows
Shows how
Knows how
Does
Validity of testing formats
Professional practice assessment
Knowledge assessment: MCQs…
Problem-solving assessment: PMP، MCQs,..
Performance assessment: OSCEs, long/short cases, etc
Miller’s Pyramid for Assessing Clinical Competence
Knowledge
Performance
Competence
Action
MCQs
PMPs
OSCE
Work
Expanding our toolbox…..
Knows
Shows how
Knows how
Does
Expanding our toolbox…..
Knows
Knows how
Does
Expanding our toolbox…..
Knows
Shows how
Knows how
Does
Expanding our toolbox…..
Knows
Shows how
Knows how
Does
“Domain specific” skills
ACGME Core Competencies (The 6 Competencies)
Patient Care
Medical Knowledge
Professionalism
Interpersonal & Communication Skills
Practice-Based Learning and Improvement
Systems-Based Practice
17
انواع آزمونها
1- آزمونهای تکوینی (Formative):
ارزیابی های محل خدمت (Workplace) با پس خوراند (feedback) مناسب درطول دوره آموزشی
پیشرفت تحصیلی وتجربیات یادگیری دانشجو
تمام عملکرد و رفتار یک دانشجو مورد ارزیابی قرار می گیرد.
2- آزمونهای تجمعی : (Summative)
نشانگر قبولی یا ردی از امتحان آخر ترم یا ارتقائ سالانه دستیاری می باشد .
ارزیابی فقط در حیطه دانش می باشد.
What are assessment tools?
انجام تکالیف Assignments
Cued questions
Uncued questions
آزمونهای کتبی
آزمونهای کتبی
کاربرد:
آزمون های عملی
Practical
What are assessment tools?
PBA(Procedure – based Assessment)
آزمون های بالینی
Clinical
What are assessment tools?
شفاهی
What are assessment tools?
ارزیابی های در محل خدمت Workplace Based Assessment) )
Mini-CEX) Clinical Evaluation Exercise)
CBD یا CSR (Chart Stimulated Recall)
DOPS ) Direct Observation Of procedural Skills)
PBA (Procedure – based Assessment)
) ارزیابی °360 Mini-PAT (
OSCE (objective structured clinical examination)
GRF(Global Rating Form )
Climbing the Pyramid
Knows
Shows how
Knows how
Does
MCQ
ارزشیابی صلاحیت بالینی
به وسیله آزمون بالینی ساختارمند عینی
(OSCE)
(Objective Structured Clinical Examination)
What’s in a name?
Objective
Structured
Clinical
Examination
OSCE
Objective
Structured
Clinical
Examination
آزمون
بالینی
ساختاردار
عینی
آزمون آسکی یک آزمون ارزیابی صلاحیت بالینی است که بصورت عینی در ایستگاههای مختلف سازماندهی شده و تقریبا هر چهار ضابطه یک آزمون عادلانه را داراست.
همه داوطلبین با یک مقیاس یکسان مورد سنجش قرار می گیرند.
همه دانشجویان با یک معیار ارزشیابی می شوند.
OSCEs – Structured
تدابیر و برنامه هر ایستگاه نظام دار است.
ابزاراندازه گیری درهرایستگاه، ویژه همان ایستگاه تنظیم شده است.
درهرایستگاه یک مهارت بالینی ویژه موردارزشیابی قرارمی گیرد.
مهارت های ویژه ای که در هر ایستگاه مورد آزمون قرار می گیرند شامل موارد زیر است:
History taking
Interpersonal communication
Clinical examination
Procedures
OSCEآزمون توانایی انجام مهارتهای بالینی است.
Students have to demonstrate their skills, not just describe the theory
Clinical Examination
ارزشیابی رفتار حرفه ای و مهارتهای ارتباطی
ایستگاه هایی با حضور بیمارنما
فرایند را ارزشیابی کنید، نه محتوا را
مثلا دانشجو چگونه صحبت کرد نه اینکه چه گفت.
ارزشیابی مهارتهای بالینی
توانمندی دانشجو و فرایند انجام مهارت را ارزیابی کنید، نه نتیجه کار را.
Competencies: The SIX Domains
Objective Structured Clinical Examination
Medical authorities & faculties started to implement the OSCE exams for clinical and communication skills assessment of medical students, clerks, interns, residents, and graduates since the 1980s.
It is a standardized method of clinical evaluation that eliminates bias.
www.OSCEhome.com
Objective Structured Clinical Examination
OSCE is a form of performance-based testing used to measure candidates’ clinical competency.
During an OSCE, candidates are observed and evaluated as they go through a series of stations in which they interview, examine and treat standardized patients (SP) who present with some type of a medical problem.
www.OSCEhome.com
Objective Structured Clinical Examination
“The OSCE is an approach to the assessment of clinical competence in which the components of competence are assessed in a planned or structured way with attention being paid to the objectivity of the examination”. Harden, 1988
www.OSCEhome.com
Objective Structured Clinical Examination
The curriculum tells the staff what to teach…
The OSCEs tells the students what to learn !
And that is the point….
What OSCE candidates should learn?
What candidates can do rather than what they know.
www.OSCEhome.com
Objective Structured Clinical Examination
The application of their knowledge rather than the recall of knowledge.
The ‘WHAT’ to ask and do.
The ‘HOW’ they ask and do.
The ‘WHEN’ they ask and do.
How do they organize themselves.
How do they communicate with patients.
www.OSCEhome.com
Objective Structured Clinical Examination
The OSCE has offered a strikingly new and exiting way of making valid assessment of clinical performance of medical student ,resident, and fellows .
What is the purpose of the OSCE?
Provide feedback on performance
Evaluate basic clinical skill
Measure minimal competency
M. Mohammadi MD
It is some sort of student evaluation that examinee will go through several stations to be evaluated in clinical fields by special rating scales and checklists.
What is OSCE?
Clinical skill
Practical attitudes
Practical knowledge
OSCE is Useful to Evaluate:
OSCE =Performance-Base assessment (Skill Based Assessment) :
Actual Performance of clinical skills
is
observed in order to adjudicate the competence of Health professionals
What is the format of OSCE?
It consists of several Stations
(12-20 each lasting 5 to 15 minutes not more than 30 seconds rest between each).
What is the format of OSCE?
OSCE
نکاتی که باید هنگام طراحی این آزمون رعایت نمود:
تهیه blueprint:
تعیین اهداف آموزشی مهمی که باید مورد ارزیابی قرار گیرند.
تعداد کافی ایستگاه:
تعداد ایستگاه بیشتر از زمان هر ایستگاه اهمیت دارد.
برنامه ریزی دقیق و منظم
پیش بینی وقایع احتمالی
OSCE
نحوه برگزاری آزمون:
ایستگاههای پشت سر هم و در هر ایستگاه یک task مشخص
12تا 20 ایستگاه و هر ایستگاه 5 تا 15 دقیقه
نقشه طرحریزی شده از 9 ایستگاه OSCE
2
1
4
3
6
5
8
9
7
Start
End
تعیین پروسه امتحان
ایستگاهها:
لازم است. Observerروش: معمولا ً
لازم نیست. Observe سوالات و تفاسیر : معمولا ً
What is the stations’ contents?
What is the stations’ contents?
Case history
Physical exam
Real patient
Standardize pt.
Simulated pt.
History taking
Clinical procedure
Radiographs
Slide presentation
…
OSCE
محتوای ایستگاه ها:
اخذ شرح حال، معاینه فیزیکی، مشاوره و آموزش بیمار، تفسیر اطلاعات بیمار، پروسیجرمانندکشیدن دندانهای قدامی فک بالا و پایین وبی حسی موضعی وتنه ای روی مانکن و…
ایستگاه های unmanned
ایستگاه های manned
اختلالات مفصل گیجگاهی – فکی گرافی OPG
محتوای ایستگاه ها:
محتوای ایستگاه ها:
تزریق بی حسی موضعی فک بالا روی مانکن
تزریق بی حسی تنه ایی فک پایین روی مانکن
مشاوره و آموزش بیمار
مال اکلوژن-بیماری های لثه
مال اکلوژن
گرفتن تاریخچه بیمار
How do you evaluate the examinee?
How do you evaluate the examinee?
Checklist
Rating scale
Short answered questions
…
چگونگی ارزیابی : OSCE
معیارهای ارزیابی از قبل و بر اساس اهداف آموزشی تعیین می شوند.
از یک چک لیست استاندارد شده برای ارزیابی استفاده می شود.
Who are the Raters?
Who are the Raters?
Simulated pt.
Standardized pt.
Clinical staff
Non clinical staff
Non expert raters
OSCE
ارزیابی کنندگان:
ناظر متخصص
ناظر غیرمتخصص
بیمار(نما)
How to Develop OSCE?
Consider the relevant objectives
Write them down
Is the OSCE a suitable format to evaluate the objectives?
Consider each station for only one objective
How to Develop OSCE?
Write a scenario for each station
Develop a suitable rating tool for each station
Write an instruction for examinee
Write an instruction for standardized patient
How to Develop OSCE?
Design certain prompts to conduct the examinees
Try to simulate nearer to the real situation
Have several rehearsals
Have a pilot study or design for testing reliability and practicality
How to Develop OSCE?
Run “OSCE”
Have a suitable feedback after examination to promote both students’ performance as well as core curriculum
OSCE is suggested the first best method for evaluation of:
Interviewing
Counseling & educating pt’s & families
Performing procedures
Physical examination
Preventive health services
Creation of therapeutic relationship with patients
Listening skills
Respectful & altruistic behaviors
Sensitive to cultural, age, gender & disability issues
چند مثال برای فعالیتهایی که می توانیم برای ایستگاهها در نظر بگیریم :
معاینه یک بیمار واقعی
معاینه بیمار استاندارد شده
آموزش بیمار واقعی
انجام عمل مشاوره درباره یک موضوع با یک بیمار واقعی یا تقلیدی (تلفنی یا حضوری )
شناسایی عوامل بیماریزا زیر میکروسکوپ
EEG, EMG , ECG رادیوگرام، اسپیروگرام و …
تشخیص بیماری از روی اسلاید و تصویر یا فیلم
دیدن شرح حال و آزمایشات بیمار و تشخیص بیماری
بررسی و نقد پرونده بیماران مرخص شده
گوش کردن نوار صداهای قلبی و تشخیص انواع صداهای طبیعی و غیر طبیعی
انجام یک کار عملی بر روی مولاژ
کار با دستگاهها و تجهیزات پزشکی
انجام یک آزمایش پاراکلینیکی
افتراق داروها و مواد شیمیایی
تشخیص ماکروسکوپی نمونه اتوپسی شده
چند مثال برای فعالیتهایی که می توانیم برای ایستگاهها در نظر بگیریم :
4/29/2025
80
آزمون آسکی یک آزمون ارزیابی صلاحیت بالینی است که بصورت عینی در ایستگاههای مختلف سازماندهی شده و تقریبا هر چهار ضابطه یک آزمون عادلانه را داراست.
مزایای استفاد از OSCE :
این روش برای سنجش صلاحیتهای کلینیک و حل مسئله موثر است.
روش ارزیابی منصفانه ایست چون سوالات آن عینی است.
برای ارزیابی مهارتهای روانی – حرکتی روش مناسبی است.
این روش بین امتحان شونده و محیط کار واقعیش شرایط طبیعی برقرار می کند.
بازخورد آنی است.
شانس در آن دخالتی ندارد.
مزایای استفاد از OSCE :
7- طیف وسیعی از مهارت های تعداد زیادی از فراگیران در مدت نسبتاً کوتاهی ارزیابی می شوند.
8- هم بیمار و هم ارزیابی کننده برای تمام آزمون شوندگان یکسان هستند.
9- شرایط آزمون به شرایط واقعی نزدیک است.
10- از روایی و پایایی خوبی برخوردار است.
محدودیتهای استفاد از OSCE :
این امتحان بودجه، تدارکات غنی و هماهنگی های کامل درون بخشی را طلب می کند.
بکارگیری این روش برای تعداد زیاد دانشجو مشکل است.
استفاده از بیمار واقعی همواره میسر نیست.
طراحی و اجرا آن مشکل و وقت گیر است.
محدودیتهای استفاد از OSCE :
5- مهارت ها به صورت مجزا و در ایستگاه های متفاوت ارزیابی می شوند.
6- برای حفظ پایایی آزمون باید تعداد ایستگاه ها زیاد باشد.
در مورد برخی مهارت ها از جمله برقراری ارتباط عملاً بسیار مشکل است.
7- سازماندهی و اجرای آن نیازمند نیروی انسانی زیادی است.
8- از لحاظ منابع مادی و زمان هزینه بر است.
DOPS, Mini-CEX
OSCE
MCQ
GRF, 360-degree