پاورپوینت اعتبار و اعتماد ابزار گردآوری اطلاعات


از نفس خودم جدائیم ده یا رب
وز قید خودم رهـــائیم ده یا رب
بیگانه ز آشنای خویشم گردان
یعنی به خود آشنائیم ده یا رب
خواجه عبدالله انصاری

اعتبار و اعتماد ابزار گردآوری اطلاعات

اعتماد (Reliability)

تعریف:

اعتماد یا قابلیت تکرار: درجه ثبات بین تکرار اندازه گیری در شرایط یکنواخت را درجه اعتماد آن اندازه گیری گویند.
قابلیت اعتماد یک آزمون به این معنی است که در صورت تکرار، نتایج کاملا یکنواخت یا تقریبا یکنواخت بدست دهد.
قابلیت تکرار به معنای بالا بودن نسبت جوابهای صحیح به کل جوابهاست که با تعیین شاخصهای خام (Crude Index) و شاخص استحکام (Consistency Index) اندازه گیری می شود.
قابلیت اطمینان یا اعتماد (Precision) آن است که اندازه گیری مکرر در یک شخص و در شرایط یکسان نتیجه ای همانند به دست دهد.

علت قابل اعتماد نبودن
1- خطای آزمایش شونده (بیمار)
2- خطای آزمایش کننده (کارمند)
3- خطای روش آزمایش

مثال: وزن یک نفر را چند بار با یک دستگاه اندازه گیری می نماییم. اگر همیشه عدد 56 کیلوگرم را نشان دهد یعنی آزمایش از اعتماد خوبی برخوردار است ولی اگر یک بار 58 ویک بار 56 و یک بار 53 نشان دهد یعنی آزمایش قابل اعتماد نیست.

علل دیگر قابل اعتماد نبودن
4- کوچک بودن حجم نمونه ( خطای نمونه گیری)
5- گردآوری داده ها به روشی غیر استاندارد و با ساخته های ضعیف ( بدی واژه پردازی پرسشنامه، کم بودن آموزش پرسشگران)
6- بدی طبقه بندی داده ها (ناشی از بی دقتی در هنگام گردآوری داده ها)

ارزیابی
شاخص خام و شاخص استحکام آزمایش قند خون

شاخص خام آزمایش قند خون
a+d
a+b+c+d

a و d هر دو تعداد جوابهای صحیح این آزمایش را بیان می کنند ( افراد مثبت و منفی واقعی)

شاخص استحکام آزمایش قند خون
a
(a+b+c+d) – d

این شاخص حداکثر می تواند 1 باشد و هر چه به 1 نزدیکتر باشد استحکام جواب مثبت این آزمایش بیشتر خواهد بود.

Two Reliability Estimates
Test-Retest
more conservative
lower-bound estimate
Internal Consistency (Cronbach’s )
change over time doesn’t affect
upper-bound estimate

Test-Retest
فرآیند بازآزمایی چنین است که افراد، پرسشنامه را تکمیل نموده و این فرآیند چند هفته بعد تکرار می شود. اگر دانش، دیدگاه و یا نگرش افراد تغییر نکرده باشد پاسخها نیز به همان صورت خواهد بود.
همبستگی بین دو دسته اطلاعات را محاسبه کرده چنانچه 7/0 r= یا بالاتر باشد مناسبت اعتماد پرسشنامه تایید می شود.
این تعداد نمونه باید از تعداد کل نمونه مورد بررسی حذف شوند.

Interrater or Interobserver Reliability
observer 1
observer 2
object or
phenomenon
=
?

Internal Consistency
روش همتا یا بررسی ثبات درونی پرسشنامه یا آزمون معادل برای سنجش پایایی زمانیکه همان سوالات به شکل دیگری در پرسشنامه گنجانده شود مورد استفاده قرار می گیرد و در دو نوبت تکمیل پرسشنامه صورت گرفته و نتایج مقایسه می شوند.

تورش (Bias)
تورش یعنی تمایل به یک طرف یا تبعیض. تورش عمدی و تصادفی نیست بلکه یک خطای ذاتی و سیستماتیک است.
الف- تورش در انتخاب (Selection Bias) که در مرحله انتخاب نمونه ها رخ می دهد. مثلا نمونه گیری از گروه خاص (زن یا مرد طبق سلیقه) یا در روزهای خاص هفته S.B. ایجاد می کند.
1- Self Selection Bias مثل استفاده از داوطلب در مطالعه که نماینده جامعه نیست زیرا به دنبال خدمات رایگان بوده است.
2- Survey Bias در مرحله طراحی تحقیق بوجود می آید و نمونه های نماینده خوبی برای جامعه نیستند. مثلا در بررسی اثر کشنده یک ماده در کارخانه ذوب آهن بهترین نمونه ها یا در بیمارستان هستند یا فوت کرده اند و کارکنان مقاوم به این ماده کشنده نمونه خوبی نخواهند بود.

تورش (Bias)
ب- تورش در جمع آوری اطلاعات (Data Collection Bias) که در جریان جمع آوری اطلاعات رخ می دهد.
1- Observation Bias مثل خطا در انتخاب با چشم
2- Measurement Bias که خطا در اندازه گیری است.
3- Information Bias که خطای اطلاعات متکی به حافظه مورد نظر است.

اعتبار (Validity)

تعریف:
درجه صحت استنتاجهای حاصله از یک مطالعه بخصوص در تعمیم به غیر از نمونه تحت مطالعه را اعتبار مطالعه گویند.
اعتبار یعنی این که آزمایش غربالگری به حد خوبی تعیین کند که کدام یک از افراد عملا به بیماری مبتلا بوده، کدامیک نیستند و تا حد امکان مثبت کاذب و منفی کاذب کمتر داشته باشد.
اعتبار عبارت است از بررسی حقیقت مفهوم مورد نظر در پرسشنامه. به این معنی که آیا اندازه گیری چیزی که فکر می کنید آن را می سنجید را انجام می دهید یا خیر.
اعتبار یا درستی مطالعه مربوط به دامنه ای است که می توان از مطالعه استنتاج نمود.

تعریف:
اعتبار برآیند دو بردارReliability (همیشه تو هدف زدن) و Unbiasness (نداشتن تورش یا درست تو هدف زدن) است.
به عبارتی Validity یعنی به هدف زدن و همیشه به هدف زدن.
reliability
unbiasness

انواع اعتبار:
1- اعتبار محتوی: نشان می دهد که آیا پرسشنامه در برگیرنده و معرف موضوع مورد مطالعه هست یا خیر. یا اینکه آیا پرسشنامه شامل همه چیزهایی که مفهوم مورد نظر را شامل می شود هست یا خیر. این مورد برای پرسشنامه هایی که دانش و نگرش را می سنجد حائز اهمیت است.

انواع اعتبار:
2- اعتبار وابسته به ملاک: بیانگر این است که چگونه پیمایش در رابطه با دیگر سنجشهای معتبر موضوع مورد مطالعه عمل کرده است و داده های بدست آمده از سنجشهای دیگر مقایسه می شود. اگر بین دو سنجش توافق وجود داشت در آن صورت اعتبار وابسته به ملاک وجود دارد.
این اعتبار خود دو گونه است:
1- اعتبار همزمان 2- اعتبار پیش بین

انواع اعتبار:
3- اعتبار سازه (Construct Validity) : این اعتبار بیانگر این است که تا چه اندازه سازه مورد مطالعه ارزیابی شده است. معمولا اعتبار سازه به مفهوم هایی از قبیل تنش روانی، اضطراب، درد و حمایت اجتماعی مربوط می شود.

انواع اعتبار:
Content validity
How much a measure covers the range of meanings included in the concept

Criterion-related validity
Sometimes called predictive validity – how a measure predicts performance on an external criterion
e.g. how Matric results predict academic success at university, as a way of saying they have validity

Construct validity
Closely tied to into the theoretical underpinnings of the concept. Variables ought to be related, theoretically, to other variables. This kind of validity is based on logical relationships between variables
So: Does the instrument actually measure the concept (or construct)?

Face validity
How a measure conforms to our common agreements
Examine the wording of the items; submit items to expert judges

Construct Validity
Theory
Observation
Cause
Construct
Effect
Construct
Program
Observations
What you do
What you see
What you think
cause-effect construct
program-outcome relationship
Can we generalize to the constructs?

انواع اعتبار:
1- اعتبار درونی: عدم وجود تورش در گروههای مورد مقایسهء یک مطالعه معین را اعتبار درونی می گویند.

2- اعتبار بیرونی: قابلیت تعمیم نتایج مطالعه به گروهی فراتر از گروههای شرکت کننده در مطالعه می باشد. به عبارتی نشان می دهد که تا چه اندازه جمعیت مورد مطالعه، نماینده ای از جمعیت کل می باشد.

How Do We Generalize? Model I: Sampling
Population
Sample
draw
sample
draw
sample

How Do We Generalize? Model I: Sampling
Population
Sample
generalize
back
generalize
back

How Do We Generalize? Model II: Proximal Similarity
Our
Study
times
people
places
settings

How Do We Generalize? Model II: Proximal Similarity
Our
Study
times
people
places
settings
less
similar
less
similar
less
similar
less
similar
Gradients of
Similarity

How Can We Improve External Validity?`
random sampling
replicate, replicate, replicate
use theory

شاخصهای اعتبار

اعتبار بسته به نوع احتیاج با شاخصهای زیر تعیین می شود:
1- حساسیت یا Sensitivity
2- ویژگی یا Specificity
3-ارزش اخباری مثبت یا Positive Predictive Value
4-ارزش اخباری منفی یا Negative Predictive Value

حساسیت یا Sensitivity
حساس بودن آزمایش به بیماری را گویند و عبارت است از نسبت افرادی که حقیقتا در آزمون غربالی بیمارتشخیص داده شده اند.
فرمول حساسیت آزمایش:
مثبت واقعی a
تمام بیماران واقعی a +c
این کسر بین صفر و یک است و هرچه به 1 نزدیکتر باشد دلیل بر حساسیت بیشتر آزمایش است.

ویژگی یا Specificity
ویژگی یا اختصاصی بودن عبارت است از نسبت افراد حقیقتا سالمی که بوسیله آزمون غربالی سالم تشخیص داده شده اند و به عبارت دیگر احتمال تشخیص صحیح افراد غیر بیمار است.
فرمول ویژگی آزمایش:
منفی واقعی d
تمامی افراد سالم b+d
این کسر نیز بین صفر و یک است و هرچه به 1 نزدیکتر باشد ویژگی آزمایش بیشتر است.

ارزش اخباری مثبت یا Positive Predictive Value
احتمال صحیح بودن جوابهای مثبت آزمایش یعنی احتمال مثبت حقیقی بودن فردی که آزمونش مثبت شده است.
ارزش اخباری مثبت:
مثبت واقعی a
تمامی جوابهای مثبت a+b
این کسر نیز بین صفرویک است و هرچه به 1 نزدیکتر باشد ارزش اخباری مثبت آزمایش بیشتر است.

ارزش اخباری منفی یا Negative Predictive Value
احتمال صحیح بودن جوابهای منفی یا احتمال مبتلا نبودن فردی که آزمونش منفی باشد.
ارزش اخباری منفی:
منفی واقعی d
تمام جوابهای منفی c+d
این کسر نیز بین صفرویک است و هرچه به 1 نزدیکتر باشد ارزش اخباری منفی آزمایش بیشتر است.

Reliability and Validity
Reliable but not Valid

Reliability and Validity
Valid but not Reliable

Reliability and Validity
Neither Reliable nor Valid

Reliability and Validity
Reliable and Valid

اعتبار کم
اعتبار زیاد
اطمینان زیاد
اطمینان کم

تفسیر اعتبار و اطمینان
1- قابلیت اطمینان زیاد = تیرها با حداقل پراکندگی به هدف زده شده است
2- قابلیت اطمینان کم = تیرها بصورت پراکنده به اطراف هدف زده شده است
3- قابلیت اعتبار زیاد = تیرها با الگوی منظم تری دور هم زده شده است
4- قابلیت اعتبار کم = محل برخورد تیرها با مرکز صفحه هدف بطور منظم فاصله دارد

این قافله عمر عجب می گذرد
دریاب دمی که با طرب می گذرد
ساقی غم فردای حریفان چه خوری
پیش آر پیاله را که شب می گذرد
حکیم عمر خیام