平成16（2004）年度　一般研究２実施報告書

課題番号	16−共研−2055			専門分類		8
研究課題名	ＣＢＴにおける項目プール構築と管理のための統計的方法
フリガナ 代表者氏名	ムラキ　エイジ 村木　英治			ローマ字		Muraki Eiji
所属機関	東北大学
所属部局	大学院教育情報学研究部
職　　名	教授
所在地
TEL				FAX
E-mail
URL
配分経費	研究費	0千円	旅　費		0千円		研究参加者数	11　人

研究目的と成果（経過）の概要

　各種の資格試験等の実施にあたり，ＣＢＴ(Computer Based Testing)の技術が今後ますます採り入れられることが予想される。ＣＢＴの運用が成功するための最大のキーポイントは，いかに適切なかつ豊富な項目プールを作成し，維持管理できるかという点にある。日本国内では，諸外国にくらべＣＢＴの導入と運用に関する実務的な経験が相対的に乏しく，いわば日本型項目プールの構築と管理のための方法上の研究，および運用経験の蓄積が急務と考えられている。
　本研究では，共同研究に参加するメンバーがそれぞれ利用可能なテストデータを材料とし，項目プールの維持と管理に関係するいくつかの研究課題を設定し，その課題に寄与する統計的な方法に関する研究を行うことを目的とした。継続2年目の本年度は，検討課題をやや広げ，ＣＢＴと対比させて検討することが有用と想定される，例えばパフォーマンス・アセスメント方式による試験等のデータを解析する方法についての検討も行った。　　
本年度に扱ったのは，具体的には次のような課題群である。（）内は主な担当者。
1. 多数の候補項目が存在する条件下での適切な等化デザイン，およびその下での項目応答理論による安定的なパラメータ推定法。特に共用試験医学系ＣＢＴのトライアルに関する解析への応用（仁田・前川・柳本・前田）。
2. ＣＢＴにおける項目の適応的な選択法の改良，特に初期出題項目の影響の検討（韓・村木）
3. ＩＲＴにおける項目パラメータ推定誤差が能力推定値に与える影響（佐藤喜一・村木）
4. ＤＩＦ（Differential Item Functioning, 特異的項目機能）の検出と対応の方法論とその実データへの適用（村木・前田）
5. パフォーマンス・アセスメントの方法，特に一般化可能性理論の適用による解析法（佐々木・村木・前田）
　以下は成果の概要である。
1.については仁田他(2005)のペーパーで結果を公表した。この共用試験医学系ＣＢＴにおけるトライアルに対する分析方法としてＩＲＴによる出題データの解析は定着しつつあり，引き続く年度のトライアル・データに対する解析にも活用されている。
3 についてはテスト学会誌への査読付きペーパーとなっているのでその内容を参照のこと。
4について，Murakiらによる2件のペーパーと Maeda & Noguchi (2005) はそれぞれ実際の公的試験における出題データを素材として，ＤＩＦを示す項目を検出するための統計的方法を比較検討した。例えば後者の成果は方法によって検出するＤＩＦの内容が異なるものの，方法間で共通に検出されるような項目において問題がやはり深刻と見られることを示した。
　5については関連する評価の認知的枠組みに関する研究(佐々木・村木,2005a)と事例的な検討を2件公表することができた（佐々木・村木(2005b),前田(2004)）。

当該研究に関する情報源（論文発表、学会発表、プレプリント、ホームページ等）

・ Breland, H., Lee, Y-W., Najarian, M. & Muraki, E. (2004) An analysis of TOEFL-CBT writing prompt difficulty and comparability for different gender groups. TOEFL Research Reports RR76. (ETS).
・ 韓 太哲・村木英二　(2004).　コンピュータ適応型テストにおける初期段階の項目選出が受験者の最終的な能力推定値(真値)に及ぼす影響, 日本テスト学会第2回大会発表論文集, 16-17.
・ Lee, Y-W., Breland, H. & Muraki, E. (2004) Comparability of TOEFL CBT writing prompts for different native language groups, TOEFL Research Reports, RR77. (ETS)
・ 前田忠彦　(2004).　「法科大学院統一適性試験」のIRT分析.　適性試験委員会(編)　法科大学院統一適性試験テクニカル・レポート2004，　73-83，商事法務.
・ 前田忠彦　(2004). 　 法科大学院統一適性試験における「表現力を試す問題」の採点と分析. 適性試験委員会(編)　法科大学院統一適性試験テクニカル・レポート2004，100-117，商事法務.
・ Maeda, T. & Noguchi, H. (2005) DIF analyses of JLF-LSAT, Paper presented at the third JLF- LSAC Seminar, Newtown, LSAC.
・ 仁田善雄・前川眞一・柳本武美・前田忠彦 他 (2005). 項目反応理論を用いた第1回共用試験医学系CBTの統計解析　医学教育, Vol.36(1), 3−9.
・ 佐々木典彰・村木英治 (2005a). 学校教育におけるパフォーマンス評価の認知的枠組み 日本テスト学会誌,Vol.1 93−102.
・ 佐々木典彰・村木英治 (2005b). 口頭発表の評価における信頼性? 一般化可能性理論を用いて ? 教育情報学研究,第3号.
・ 佐藤喜一・村木英治 (2004). 2-パラメータ・ロジスティック・モデルの能力パラメータの推定における項目パラメータの推定誤差の影響　日本テスト学会第2回大会発表論文抄録集, 18−19．
・ 佐藤喜一・村木英治 (2005). Raschモデルにおける項目困難度パラメータから能力パラメータの最尤推定値へのデルタ法による誤差伝播の解析　日本テスト学会誌, Vol.1, No.1, 59−66

研究会を開催した場合は、テーマ・日時・場所・参加者数を記入してください。

　「CBTにおける項目プールの構築と管理のための統計的方法」共同研究会
日時：2005年3月16日(水)13:30〜17:30
場所：統計数理研究所
　　共同研究メンバーによる研究成果発表会　参加7名.

研究参加者一覧
氏名	所属機関
韓　太哲	東北大学
佐々木　典彰	東北大学
佐藤　洋之	東北大学
佐藤　喜一	宮城工業高等専門学校
中村　知靖	九州大学
仁田　善雄	東京医科歯科大学
萩原　康仁	国立教育政策研究所
前川　眞一	東京工業大学
前田　忠彦	統計数理研究所
柳本　武美	統計数理研究所