高い信頼を生みだすETS独自の採点方式

2018年7月号

高い信頼を生みだすETS独自の採点方式

TOEIC Programの開発・制作機関であるアメリカの非営利団体Educational Testing Service(以下、ETS)は世界180ヵ国以上、9,000ヵ所以上において、年間5,000万件以上のテストの開発、実施、採点を行っています。そのためETSは、多くの分野の専門家を雇用しています。彼らはヒューマンエラーの可能性を熟知しており、ヒューマンエラーを極力減らし、信頼性を最高水準にまで高める独自の採点方式の開発と実施に取り組んでいます。その結果、TOEIC Programは世界中で信頼され、幅広く利用されています。今回、来日したTOEIC Programのエグゼクティブ・ディレクターのDr. Feng Yuと、ストラテジックマーケティングを担当するシニアディレクターのMrs. Magali DaumasにETS独自の採点システムについて伺いました。

Dr. Feng Yu

ETSでエグゼクティブ・ディレクターとしてTOEIC Programのマネジメントを担当

Mrs. Magali Daumas

ETSでシニアディレクターとしてTOEICストラテジックマーケティングを担当

TOEIC® Testsは英語4技能におけるコミュニケーション能力の上達につながる

4技能をバランスよく身に付ける上で、TOEIC Listening & Reading Test(以下、TOEIC L&R)とTOEIC Speaking & Writing Tests(以下、TOEIC S&W)はどのように役立つのでしょうか。


 Mrs. Magali Daumas

 

英語による優れたコミュニケーション能力を身に付ければ、個人の活動範囲を広げることができるのは周知の事実です。英語を駆使して有意義で理路整然としたコミュニケーションを取るためには、受動的能力(ListeningとReading)を使って情報を正確にインプットし、能動的能力(SpeakingとWriting)を使って適切なメッセージをアウトプットできなければなりません。
TOEIC L&RとTOEIC S&Wを受験することで、重要な4技能の幅広い英語によるコミュニケーション能力について全体像を明確に把握できます。

確かな信頼を誇る独自の採点方式

TOEIC S&Wの採点で独自の方式を取っているのはなぜでしょうか。


 Dr. Feng Yu

 

ETSは採点方式の開発において70年以上の経験があり、テストの採点プロセスにヒューマンエラーが生じるのは避けられないことを知っています。
特に英語のSpeakingとWritingのテスト採点にその傾向が強くみられます。ですからETSは、偏見、先入観などを含めたヒューマンエラーの発生を最小限にするために、多くの方式やプロセスを開発してきました。TOEIC S&Wの解答はONE(Online Network for Evaluation)というシステムを通じてETSの訓練を受けた有資格のヒューマンレーター(採点者)が採点します。採点は、クエスチョンごとに無記名で行われます。受験者ごとにSpeaking、Writingそれぞれ最低3人の採点者が振り分けられるようになっていますが、TOEIC S&Wでは平均して10人の採点者が採点を行っています。採点者は担当しているクエスチョン以外、受験者のスコアを見ることができません。さらに受験者のバックグラウンドを隠して解答をランダムに採点者に割り振ります。そうすることで先入観や偏見などが入った不適切な採点を防いでいます。つまり、この採点システムの特徴は1人の受験者でもクエスチョンごとに複数人が採点をするので、採点者1人に偏った採点を防ぐことができます。また各採点者は毎日、採点の正確度を測る「カリブレーションテスト」に合格しなければなりません。このテストに合格できなければ、その日は採点することができません。

TOEIC S&Wの採点システムで他に特徴はありますか。


 Dr. Feng Yu

 

TOEIC S&Wの別のユニークな特徴は、設問ごとに具体的な採点基準が付いていることです。すべての採点者はこの採点基準に厳格に従います。各採点基準にはスコアのポイントを0〜5などの数字で示してあり、採点の正確性を最大限に高めます。スコアのポイントが0〜2など範囲が狭すぎると、受験者のスコアのばらつきが十分できず、適正な採点とはいえません。一方で、スコアのポイントを0~8など広い範囲で設定すると、採点の正確性が低下し、ひいてはテスト全般の信頼性の欠如にもつながります。そこでTOEIC S&Wでは、ETSの専門家による定性・定量分析の結果に基づき、適正であると判断した0~3、4、5(設問によって変更)のスコアポイントを使用しています。


有能な採点者の採用で品質を維持

採点者の採点基準を説明してください。


 Mrs. Magali Daumas

 

TOEIC Programの採点者は正式に認可を受けた大学の学士以上の学位を持ち、ESLなど、英語の非母語者への指導経験がなければなりません。
第一段階の採用審査を通過した後、採点者用の訓練を受ける必要があります。訓練後、正式なTOEIC Programの採点者になるために認証テストに合格する必要があります。ETSの採点専門家がこの全プロセスに深く関わって、有能な人物の採用をしています。

採用後も採点者は常にテストを受けるのですか。


 Dr. Feng Yu

 

そうです。先ほど採点プロセスについてお話しした際に「カリブレーションテスト」について触れました。採点者は毎日「カリブレーションテスト」と呼ばれる採点の正確度を測るテストに合格しなければなりません。クエスチョンごとのガイドラインに沿って採点することが求められますが、設問を割り振られても「カリブレーションテスト」に合格できなければその日は採点することが許されません。
ETSの採点スタッフは「採点者」、「スコアリングリーダー」、「チーフスコアリングリーダー」、「ETSアセスメントスペシャリスト」という4段階の指揮系統に分かれています。TOEIC S&Wの採点者の作業状況は、通常スコアリングリーダーがモニタリングして、採点の完全な正確度の達成を目指します。スコアリングリーダーとテストの開発担当者は、採点中および採点終了後に統計的に採点者の作業状況をモニタリングします。スコア結果の発表に先立ち、統計専門家はすべてのスコア結果を吟味・分析をします。

求められる専門性と英語でのコミュニケーション能力

日本だけでなく世界でもTOEIC Programの受験者は増加傾向にあるのでしょうか。


 Dr. Feng Yu

 

はい、受験者は世界中で増加しており、現在の世界での受験者数は、約700万人。スコア結果は160ヵ国以上で1万4,000以上の企業や団体で利用されています。
世界中のこうした企業や団体は資源の確保や市場拡大の競争を激化させていますが、そのためには優秀な人材の採用と維持が不可欠です。これまでは特定の分野を任せる専門性の高いスキルを持つ人材の採用が最重視されていましたが、今ではこうした人材は専門性だけではなく、グローバルに通用するコミュニケーション能力をマスターすることが求められています。
テクノロジーとコミュニケーションの手段が毎日進化する中、翻訳・通訳者をビジネスの現場で利用することが一般的ではなくなりつつあります。ビジネスパーソン同士が直接英語でコミュニケーションをとる場面が増えているのです。そうした傾向はTOEIC Program利用の増加にも反映されています。

国際的なイベントでもTOEIC® Programを活用

国際的なイベントでTOEIC Programはどのように活用されていますか。


 Mrs. Magali Daumas

 

TOEIC Programはいくつかのオリンピックで採用され、ボランティアの英語スキルの評価基準、またスコア結果に基づくポジションの配置などに活用されてきました。オリンピックでのTOEIC Program活用の歴史は1988年のソウル・オリンピックにまでさかのぼり、今日に至ります。
TOEIC Programは他の多彩な国際イベントでも活用されてきました。2013年にブラジルで開かれたFIFAコンフェデレーションズカップ・ブラジル大会などのスポーツイベントから、中国や韓国で開催された20ヵ国・地域(G20)外相会合、ロシアでのアジア太平洋経済協力(APEC)首脳会議などの政治会合・会議などでも活用されました。また2020年にアラブ首長国連邦(UAE)で開かれるドバイ国際博覧会(ドバイ万博)では、タクシードライバーの英語力を測定するためTOEIC Bridge Testの活用が決まっています。

英語の練習を毎日行うことが大切。学習は継続のプロセス

最後に日本の英語学習者へメッセージをお願いします。


 Dr. Feng Yu

 

他のスキル同様に、英語も上達のためには毎日の練習が必要です。スポーツのスターには一夜にしてなれませんが、英語にも同じことがいえます。いかなるスキルであれその上達には熱心さと根気が要求されます。英語でコミュニケーションをする頻度をできるだけ多くとること。できるだけ多くの異なる状況の中で練習するのも大事で、英語で友人と会話をしたり、英語のテレビ番組を見たり、英語で読書をするなどすべてのチャンスを生かすことです。それから間違えることを恐れないでください。間違えることは、多くを学ぶことができるチャンスでもあるのです。


 Mrs. Magali Daumas

 

TOEIC Bridge Testも2019年からSpeakingとWritingが加わり、4技能を測るテストに進化します。今日のグローバル環境における英語の利用状況とコミュニケーションのタスクをより良く反映させたテストへと生まれ変わる予定です。英語初中級の方にはTOEIC Bridge Testで4技能に慣れていただき、TOEIC Testsへつなげていただきたいと思います。

Educational Testing Service (ETS)