درصد سؤالاتی با نرخ مواجهه کوچکتر از

%۴۰

%۸۹/۱۵

%۸۹/۱۱

%۲۵/۶

اندازه‌ی خزانه‌ی سؤال

۴۵۵

۱۵۲

۱۱۳

۱۱۵

نمودار ۴-۱۷ نشان می‌دهد که خزانه‌های سؤال بهینه، نرخ همپوشی تست بیشتری در سطوح توانایی زیر ۵/۱- نشان می‌دهند، البته، در عمل آزمودنی‌های اندکی در این سطوح توانایی وجود دارد. همچنین، دو خزانه‌یR (MRP_4) وMTI (ROP_6) در سطوح بالای ۵/۱ نیز نسبت به دو خزانه‌ی عملیاتی و MRP (ROP_5) دارای نرخ همپوشی بالاتری هستند. امّا خزانه‌ی سؤال بهینه‌ی MRP (ROP_5) نسبت به بقیه خزانه‌ها، نرخ همپوشی تست کمتری در سطوح توانایی بالای ۱- نشان می‌دهد. خزانه‌ی سؤال عملیاتی دارای کمترین نرخ‌های مواجهه در دو انتهای سطوح توانایی می‌باشد. ولی دارای نرخ همپوشی بالایی در وسط توزیع توانایی است. خزانه‌ی R (ROP_4) دارای پایین‌ترین نرخ همپوشی تست در وسط توزیع توانایی است، زیرا اکثریت سؤالاتی که در این روش ساخته می‌شوند، برای افرادی است که در وسط توزیع توانایی قرار می‌گیرند. این نتایج با خزانه‌های سؤالی که با پهنای ۲/۰ ایجاد شدند، مشابه است. همچنین، خزانه‌های بهینه درصد خیلی کوچکی از کم مواجهه شدن سؤالات را دارند. این درصد نسبت به خزانه‌هایی که با پهنای ۲/۰ ساخته شدند، نیز کوچکتر است، که تعجب برانگیز نیست، زیرا تعداد سؤالات خیلی کمتری دارد. البته خزانه‌یMRP (ROP_5) و MTI (ROP_6) دارای نرخ بالاتری از درصد سؤالات بیش مواجهه شده هستند، که البته به دلیل عدم کنترل مواجهه‌ سؤالات و تعداد بسیار کمتر سؤال در این دو خزانه‌ی بهینه می‌باشد. طبیعی است که با افزایش تعداد سؤالات در خزانه، نرخ همپوشی و بیش مواجهه شدن کاهش می‌یابد.

(( اینجا فقط تکه ای از متن درج شده است. برای خرید متن کامل فایل پایان نامه با فرمت ورد می توانید به سایت feko.ir مراجعه نمایید و کلمه کلیدی مورد نظرتان را جستجو نمایید. ))

نمودار ۴-۱۷: نرخ همپوشی تست مشروط به Ɵ بدون S-H، b-bin: 0.4
نمودارهای ۴-۱۸ تا ۴-۲۰ درصد‌های مواجهه‌ سؤال در هر یک از سطوح توانایی را نشان می‌دهند. در هر سه خزانه‌ی بهینه، سؤالات خیلی آسان و خیلی دشوار که به ترتیب در سطوح پایین و بالای توانایی ارائه می‌شوند، دارای نرخ‌های مواجهه‌ کوچکتری هستند. بخصوص در خزانه‌ی MRP (ROP_5) سؤالات خیلی دشوار نرخ مواجهه‌ کمتری دارند. نتایج نشان می‌دهد که در هر سه خزانه‌ی بهینه، سؤالاتی با سطوح دشواری متوسط بیشترین قابلیت استفاده را داشته اند، از این لحاظ نتایج نرخ مواجهه‌ سؤال در دو پهنای ۲/۰ و ۴/۰ ترتیب یکسانی دارد، با این تفاوت که در خزانه‌هایی که با پهنای ۴/۰ ایجاد شدند، نرخ مواجهه‌ سؤال بیشتر است.

نمودار ۴-۱۸: درصد سؤالات بیش مواجهه شده در مدل R (ROP_4) بدون S-H

نمودار ۴-۱۹: درصد سؤالات بیش مواجهه شده در مدل MRP (ROP_5) بدون

نمودار ۴-۲۰: درصد سؤالات بیش مواجهه شده در مدل MTI (ROP_6) بدون S-H
همچنان که در نمودار ۴-۲۱ ملاحظه می‌کنید، میانگین آگاهی خزانه‌های سؤال به شیوه‌ی متفاوتی در سطوح ثابت توانایی عمل می‌کند. خزانه‌ی سؤال عملیاتی در سطوح توانایی بین ۵/۱- تا ۲ دارای بیشترین مقدار آگاهی است. خزانه‌های بهینه در این سطوح آگاهی کمتری ایجاد می‌کنند. خزانه‌ی سؤال R (ROP_4) و خزانه‌ی سؤال MRP (ROP_5) در سطوح توانایی زیر ۵/۲- مشابه با هم عمل می‌کنند و دارای بیشترین آگاهی هستند. خزانه‌ی سؤال MTI (ROP_6) مانند MTI (ROP_3) در کل دامنه‌ی سطوح توانایی، به طور معناداری آگاهی کوچکتری را ایجاد می‌کند.
نمودار ۴-۲۱: متوسط آگاهی تست مشروط به توانایی واقعی در خزانه‌های سؤال بدون S-H (b-bin: 0.4)
نمودار ۴-۲۲ تا ۴-۲۴ خطای استاندارد شرطی اندازه‌گیری (CSEM)، اریب شرطی و میانگین مجذور خطا (CMSE) را در هر چهار خزانه‌ی سؤال نشان می‌دهد. خطای استاندارد اندازه گیری در هر سه خزانه‌ی سؤال بهینه در سطوح توانایی زیر ۲- و بالای ۲ دارای مقادیر بیشتری نسبت به سطوح دیگر توانایی است. امّا هنوز نسبت به خزانه‌ی عملیاتی کمتر است. در بقیه‌ی سطوح توانایی به غیر از مرکز توانایی، خطای استاندارد در هر سه خزانه‌ی بهینه به حداقل خود می‌رسد. نمودار ۴-۲۳ نشان می‌دهد که در خزانه‌ی عملیاتی میزان اریب در اغلب سطوح توانایی بیشتر از خزانه‌های بهینه می‌باشد. همچنین، در سطوح توانایی پایین توانایی خزانه‌ی سؤال MTI (ROP_6) از میزان اریب مثبت بالاتری و در سطوح بالای توانایی از میزان اریب منفی بالاتری نسبت به خزانه‌های بهینه‌ی دیگر برخوردار است. دلیل این نتیجه آن است که از حداقل مقدار آگاهی در ایجاد سؤالات استفاده می‌کند. نمودار ۴-۲۴ میانگین مجذور خطا را در سطوح متفاوت توانایی نشان می‌دهد. نتایج این نمودار نشان می‌دهد که MSE هر سه خزانه‌ی بهینه در اغلب سطوح توانایی کوچکتر از خزانه سؤال عملیاتی است. خزانه‌ی سؤال R (ROP_4) نسبت به دو خزانه‌ی بهینه‌ی دیگر، دارای MSE بیشتری است. همچنین، در اکثر سطوح اندازه‌گیری مقادیر میانگین مجذور خطا در خزانه‌های بهینه با پهناهای ۲/۰ و ۴/۰ یکسان است.
نمودار ۴-۲۲: خطای استاندارد اندازه‌گیری (CSEM) در خزانه‌های سؤال بدون S-H (b-bin: 0.4)
نمودار ۴-۲۳: اریب شرطی (conditional-Bias) در خزانه‌های سؤال بدون S-H (b-bin: 0.4)
نمودار ۴-۲۴: میانگین مجذور خطا (CMSE) در خزانه‌های سؤال بدون S-H (b-bin: 0.4)
خلاصه مرحله‌ی اول و دوم
نتایج نشان داد که بدون توجه به عامل پهنای b-binها، خزانه‌های سؤال بهینه بهتر از خزانه‌های سؤال عملیاتی از نظر اندازه خزانه و دقت اندازه‌گیری عمل می‌کنند. اگرچه خزانه‌هایی که با پهنایb-bin = 0.2 ساخته شدند، از دقت اندازه‌گیری بالاتری در برآورد توانایی نسبت به خزانه‌هایی که با پهنای b-bin =0.4 طراحی شدند، برخوردار بودند. امّا، خزانه‌هایی که با پهنای ۴/۰ طراحی شدند، دارای تعداد کمتری سؤال بودند، که از لحاظ اقتصادی این الگوها را به صرفه‌تر می‌کند. در مجموع، بدون توجه به عامل پهنای b-bin ها، خزانه‌های بهینه‌ی MRP از دقت اندازه‌گیری بالاتری برخوردار بودند، این نوع خزانه‌ها نسبت به خزانه‌های R دارای سؤالات کمتر و نسبت به خزانه‌های MTI دارای سؤالات بیشتری بودند. امّا میزان دقت و صحت اندازه‌گیری آنها بیشتر از دو خزانه‌ی دیگر بود. خزانه‌های MRP که با پهنای ۴/۰ طراحی شدند، نسبت به آنهایی که با پهنای ۲/۰ طراحی شدند، از امنیت پایین‌تری برخوردار بودند. در کل، این نوع خزانه‌ها، چون بر اساس ویژگی‌های دقیق پارامترها و جوامع مورد نظر طراحی شدند، دارای دقت بالاتری بودند. خزانه‌هایی که با روش MTI و با پهنای ۴/۰ طراحی شدند، از امنیت بالاتری نسبت به دو خزانه‌ی بهینه‌ای که پهنای ۴/۰ داشتند، برخوردار بودند.
بنابراین، توصیه می‌شود که، زمانی‌که به صرفه بودن طراحی خزانه‌های سؤال و امنیت آزمون عامل بسیار مهمی می‌باشند، برای کاهش تعداد سؤالات مورد نیاز در خزانه‌ی CAT از روش MTI با پهنای ۴/۰ استفاده شود. همچنین اگر، در آزمونی دقت و صحت اندازه‌گیری برای طبقه‌بندی و گزینش افراد و امنیت آزمون عوامل مهمی هستند، از روش MRP با پهنای ۲/۰ استفاده شود. بدون توجه به پهنای b-bin ها، خزانه‌هایی که با روش R طراحی می‌شوند، شباهت زیادی به خزانه‌های عملیاتی دارند، زیرا بر اساس ویژگی‌های پارامترهای سؤالات عملیاتی ساخته شده‌اند. نتایج مربوط به این خزانه‌ها نشان می‌دهد که، ساخت سؤالات به شیوه‌ی تصادفی و بدون برنامه‌ریزی برای ویژگی‌های مورد نظر، می تواند باعث اتلاف هزینه و همچنین دقت کمتر باشد.
ساخت خزانه‌های سؤال با کنترل مواجهه‌ سیمپسون-هتر (S-H)
ساخت خزانه‌های سؤال با b-bin=0.2
در مرحله‌ی سوم، خزانه‌های سؤال بهینه با درنظر گرفتن عامل کنترل مواجهه سیمپسون-هتر ایجاد شدند. این عامل به دلیل کنترل امنیت اجرای سؤالات آزمون در طراحی خزانه‌های سؤال و بالابردن میزان امنیت CAT، در این پژوهش وارد شد. در این روش به هر یک از سؤالات موجود در خزانه از طریق یک روش تکراری و چرخشی، یک پارامتر کنترل مواجهه اختصاص داده شد، که تعداد دفعاتی که یک سؤال در CATهای متفاوت اجرا شد را نشان می‌داد. در هنگام اجرای CAT، هر سؤالی که برای اجرا انتخاب می‌شد، با ملاک مواجهه‌ ۳۳/۰ مقایسه می‌شد، اگر احتمال انتخاب این سؤال بیشتر از این مقدار بود، سؤال اجرا نمی‌شد و به خزانه بازگردانده می‌شد و سؤال دیگر با همین ویژگی‌ها انتخاب و یا آگاهی دهنده‌ترین سؤال بعدی که در خزانه‌ی اصلی (پشتیبان) وجود داشت، انتخاب و اجرا می‌شد. در این پژوهش، این فرایند که از طریق اجراهای متوالی بر روی کل افراد اجرا شد، فرآیندی وقت گیر و طولانی بود. هدف از طراحی خزانه‌ی سؤال بهینه با کنترل مواجهه‌ سیمپسون-هتر این است که علاوه بر بهینه بودن ویژگی‌های تست، طول تست و تعادل محتوایی، این اطمینان را ایجاد کند که کنترل مواجهه‌ سؤال تنها به میزان اندکی دقت تست را کاهش می‌دهد. البته در این پژوهش، با انتخاب سؤالاتی مشابه با سؤالاتی که نرخ مواجهه‌ بالاتر از ۳۳/۰ دارند، از خزانه‌ی سؤال اصلی (پشتیبان)، از کاهش میزان دقت تست جلوگیری شد. به طوری‌که در خزانه‌های سؤالی که با دقت ۹۹/۰ ساخته شدند، نه تنها دقت کاهش نیافت بلکه افزایش نیز یافت. در پایان خزانه‌های سؤال بهینه‌ای ایجاد شدند که علاوه بر داشتن ویژگی‌های بهینه برای CAT، ملاحظات امنیتی آزمون را نیز در نظر گرفتند. چون، تعداد دفعاتی که یک سؤال در طول فرایند طراحی خزانه، استفاده می‌شد، قابلیت ثبت داشت، اگر تعداد دفعاتی که سؤال اجرا می‌شد به (  ) می‌رسید، سؤال دیگری از همان bin انتخاب می‌شد. به طوری‌که سهم مواجهه‌ کلی برای هر یک از سؤالات درون هر bin از میزان ۳۳/۰ بزرگتر نشود.
طرح خزانه‌های سؤال با کنترل مواجهه‌ سؤال S-H بر اساس طرح خزانه‌های سؤال بدون کنترل مواجهه است و تنها تفاوت خزانه‌های بهینه در این مرحله، در وارد کردن روش S-H است. در این نوع خزانه‌ها سؤالات بیشتری به binهایی اضافه می‌شوند که سؤالاتشان تمایل بیشتری دارند که برای اجرا انتخاب شوند، یعنی، نرخ مواجهه‌ آن‌ها بیشتر از ۳۳/۰ است. در این روش بیشینه‌ی انتخاب یک سؤال برای کل آزمودنی‌ها برابر با ۳۳/۰ است. این افزایش تعداد سؤال را می‌توان از نمودار ۸، ۹ و ۱۰ در ضمیمه‌ی (ب) و جداول ۸، ۹ و ۱۰ در ضمیمه‌ی (الف) دریافت. این نمودارها و جداول توزیع سؤالات در خزانه‌های بهینه‌ی شبیه‌سازی شده را با در نظر گرفتن عامل کنترل مواجهه سیمپسون-هتر، نشان می‌دهند. خزانه‌ی R (ROP_7) دارای توزیعی یکنواخت‌تر در طول ماتریس پارامتر a و b است. در صورتی که خزانه‌ی MRP (ROP_8) دارای سؤالاتی با ضریب تشخیص بیشتر می‌باشد، به طوری‌که نسبت به زمانی که کنترل مواجهه اعمال نشده بود، دارای سؤلاتی با ضرایب تشخیص بیشتر است. خزانه‌ی MTI (ROP_9) دارای سؤالات بیشتری با ضرایب تشخیص پایین‌تر است. نتایج جدول ۴-۱۱ نشان می‌دهد که، خزانه‌ی MRP دارای بیشترین مقدار متوسط ضریب تشخیص و MTI دارای کمترین مقدار است. البته میزان پراکندگی در پارامتر a در خزانه‌ی MTI کمتر از بقیه‌ی خزانه‌ها می‌باشد. خزانه‌ی R به ۳۰ سؤال بیشتر از روشی که کنترل مواجهه روی آن اعمال نشده بود، خزانه‌ی MRP به ۱۱۵ سؤال و خزانه‌ی MTI به ۶۰ سؤال بیشتر نیاز دارد. امّا، اندازه‌ی خزانه‌ی سؤال هنوز کمتر از خزانه‌ی عملیاتی است. دلیل اینکه خزانه‌ی MRP نسبت به دو خزانه‌ی دیگر، در این روش به سؤالات بیشتری نیاز دارد، این است که، در این خزانه بیشتر سؤالات دارای ضریب تشخیص بالا هستند، از این‌رو، دارای نرخ مواجهه‌ بیشتری هستند. بنابراین، برای جلوگیری از مواجهه‌ بیش از حد، باید سؤالات بیشتری به این خزانه اضافه شود. در مجموع، سؤالات اضافه شده به خزانه‌های این مرحله دارای ضرایب تشخیص بالاتری هستند، زیرا آنها به مواجهه‌ بیشتر تمایل دارند. این قضیه باعث می‌شود که متوسط پارامتر a در این نوع خزانه‌ها بالاتر شود. نتایج ارزیابی این خزانه‌ها در جدول ۴-۱۲نشان می‌دهد که هر سه خزانه‌ی بهینه دارای یک مقدار اریب منفی بسیار کوچک است، و میزان MSE در خزانه‌های بهینه بسیار کوچک‌تر از خزانه‌ی عملیاتی است، بخصوص در خزانه‌ی MRP (ROP_8) این مقدار به حداقل خود می‌رسد.
جدول ۴-۱۱: اندازه‌ی خزانه‌ی سؤال و آماره‌های پارامتر سؤال، با S-H (b-bin=0.2)

خزانه سؤال

اندازه
خزانه

میانگین

انحراف استاندارد