平成21（2009）年度　重点型研究実施報告書

課題番号	21−共研−4305		分野分類			統計数理研究所内分野分類			d
						主要研究分野分類			6
研究課題名	論述式試験の採点デザインと信頼性評価に関する統計的研究
重点テーマ	言語と統計
フリガナ 代表者氏名	シバヤマ　タダシ 柴山　直				ローマ字		SHIBAYAMA Tadashi
所属機関	東北大学
所属部局	大学院教育学研究科
職　　名	教授
配分経費	研究費	0千円		旅　費		0千円		研究参加者数		3　人

研究目的と成果（経過）の概要

本研究では論述式試験の実データを用い，採点者の配置方法、採点方式（分析的評価、包括的評価）とそれぞれの方法による採点の信頼性評価，異なる課題に対する答案の採点結果間の等化の問題について，効率的な方法を統計的な観点から検討し，推奨される採点システムに関する考え方と実例を提示することを目的とした。
　具体的には、小論文の採点に関して蓄積されてきた従来の観点に加え採点者の配置を採点システムの設計の一課題として位置づけ，使用許諾の得られている「法科大学院統一適性試験」（主催団体は財団法人日弁連法務研究財団および社団法人商事法務研究会による適性試験委員会）の論述式の試験「表現力を測る問題」の複数年度にわたるサンプル採点の実データを利用し,
(1) 採点者配置の効率性および評価方法間の比較
(2) 評定者間の基準の差に関する統計的な調整法
(3) 異なる課題を等質な受験者集団が論述した場合の評価スコアの等化法
の3点を主な検討課題として，標準的な採点システムの構成要素の同定と統計的な解析を提案した。
　その結果、実際の採点に役立つ効率的な採点者の配置計画および採点の調整のアルゴリズムが明確になった。また、人による調整よりも統計的なモデルにもとづく調整の方が信頼性に関する指標が改善されることが一般化可能性理論の観点からも実証的に示すことができた。これらの結果は同一の試験における事例から得られた結論にすぎないが、これまで積み上げてきた基礎研究における結果とあわせて考えれば汎用性を期待しうる結論である。なお、基礎資料として、本研究で扱った実験計画（採点者配置デザイン）の一覧、線形等化法を実行するためのRプログラムのリスト、得られたすべてのデータに関する基礎統計量を「統計数理研究所共同研究リポート２４４」に掲載し、今後の研究に役立つようにした。

当該研究に関する情報源（論文発表、学会発表、プレプリント、ホームページ等）

・統計数理研究所共同研究リポート２４４
「論述式試験の採点デザインと信頼性評価に関する統計的研究」
2010年3月　統計数理研究所
（研究代表者：柴山直）
（以下空欄）

研究会を開催した場合は、テーマ・日時・場所・参加者数を記入してください。

・重点テーマ「言語と統計」第1回公開研究報告会
　　平成22年3月2日
　　統計数理研究所　セミナー室５（３階D313、314室）
　　約20名
（以下空欄）

研究参加者一覧
氏名	所属機関
佐藤　喜一	宮城工業高等専門学校
前田　忠彦	統計数理研究所