公平性が高いテスト問題を作成

本連載では、TOEIC Programを開発するETSが、テスト品質の維持向上のために行っている取り組みについて、お伝えしていきます。今回も引き続きテストの「公平性」を取り上げたいと思います。

前回はテスト実施後（採点前）に行われる統計学的観点からの「公平性」の検証に焦点を当てましたが、今回は主にテスト問題の作成段階における「公平性」に対する取り組みを見ていきましょう。

ETSでは『公平なテスト開発とコミュニケーションのためのETSガイドライン』（ETS Guidelines for Developing Fair Tests and Communications；以下、『公平性ガイドライン』）を発行しており、テストを設計・開発する研究者のほか、彼らが作成した「設計仕様」に沿って問題・テストフォームの作成や、採点の監視を担当する専門スタッフが順守すべき共通のガイドラインとして用いられています。

この『公平性ガイドライン』では公平性の基本原則を提示した上で、「受験者の成功を妨げる障壁」「受験者集団に対する適切な用語の使用」「AIアルゴリズムの公平性」などを含む多様な観点から公平性を担保するための指針を示しています。

ここではテストの問題作成に焦点を当て、上記のうち「受験者の成功を妨げる障壁」について見ていきます。ここでいう「障壁」とは、テストが測ろうとしている受験者の能力などに関連性のない要素であるにもかかわらず、受験者のパフォーマンス発揮に影響を与えてしまう要素を指します。『公平性ガイドライン』ではこうした要素を以下の３つのカテゴリに分類し、それぞれについてガイドラインを示しています。

まず「１. 知識・技能・能力」については、テストが測定対象としない知識・技能・能力を求める問題の出題は回避すべきとしています。具体的には、例えばTOEIC Programのように「英語コミュニケーション能力」を測定対象とするテストに、数学や歴史や専門的なビジネスの知識などがないと解けない問題は出題しない、といったケースが該当します。

次に「２. 感情」については、受験者のネガティブな反応を引き出す可能性のあるトピック（例：差別、戦争など）は回避すべきとし、またその他配慮を要するトピック（例：集団間の差異、宗教、暴力、障がいなど）も列挙されています。

最後に「３. 身体」については、あらゆる受験者に可能な限り等しい受験体験を提供することを目指すための指針が示されています。例えば、テスト問題に複雑な視覚資料を用いるかどうかを検討する際には、障がいのある方のアクセシビリティに影響を与える可能性がある事実を考慮する、といったケースが挙げられます^※。

これまで２回にわたり、ETSの「公平性」に対する取り組みをご紹介してきましたが、これらはほんの一部に過ぎません。ETSでは公平性の定義の「新化」を念頭に、『公平性ガイドライン』を“transitional one”と自ら位置付け、公平性にまつわる課題に対するソリューションを探究し、革新と適応を続けていく姿勢を示しています。

ETSではテストの「実施」面においても、身体に障がいのある方に対して公平な受験体験を提供するために、ETSが規定する特別対応による受験環境（試験時間の延長、拡大版用紙や点字による受験など）をご用意するなどの措置を取っています

Reference
Educational Testing Service. (2022). ETS Guidelines for Developing Fair Tests and Communications.