妥当性
測りたいと言っている能力を、実際に測れているかどうかです。
仕事で話す力を測りたいのに、暗記した表現の量や発音のきれいさだけで結果が決まるなら、測定はずれています。「あなたの趣味は何ですか」という質問に「野球です」と答えたとき、何点を与えるべきか。すべての設問について、この対応づけを設計し切る必要があります。
信頼性
採点する人が変わっても、同じ回答に一定の範囲で同じ判断が下ることです。
正解のない自由回答を評価する以上、理論上の完全一致はありえません。だからこそ、採点基準表を整え、採点結果を定期的に突き合わせるといった品質管理が要ります。ここはテストを提供する側の実力が問われる部分です。
導入を検討するときに
この2つは、テストを比較するときの実務的な物差しになります。
結果が業務の言葉で読み取れるか。採点者や回によって結果がぶれないか。この2点が満たされていなければ、採用や昇進の基準としては使えません。価格の次に確認しておきたい観点です。
