外国籍社員の日本語の話す力を測るテストは、ここ数年で選択肢が増えました。資料を取り寄せると、どれも分かりやすい説明が並んでいて、違いが見えにくいと感じる方も多いと思います。

テストの品質は、専門的には妥当性と信頼性という2つの観点で見ます。妥当性は測りたい能力を本当に測れているか、信頼性は採点者や受験の回が変わっても一貫した結果が出るかです。言葉としては知っていても、導入の検討ではそのままだと使いにくいので、この記事では提供する側に確認できる質問の形に置き換えてみます。どのテストを検討する場合にも使えるように書いています。

妥当性を確かめる質問

妥当性は、テストの名前や説明文だけでは判断しにくい観点です。実際の課題と結果の形を見て、自社が知りたいことに答えてくれるかを確かめます。

ただし、サンプル問題が自社の場面に似ているだけで、妥当性が確認できるわけではありません。提供者が、測る能力をどう定義し、課題・採点基準・レベル判定をどう結び付け、どのようなデータや専門家の判断で検証しているかを、公開資料または導入前の説明で確認します。

1. 測りたい場面と課題が合っているか

まず、自社で測りたいのはどんな場面の会話かを整理します。社内の報告や相談なのか、お客様への説明なのか、電話での取り次ぎなのか。そのうえで、テストの課題がその場面に近い言語行動を引き出しているかを見ます。

挨拶や自己紹介だけで終わる課題では、業務で必要な説明や質問への対応は見えにくくなります。サンプル問題や課題の種類を見せてもらい、自社の業務と重ねてみてください。その課題で測る能力を、提供者がどのように定義しているかも聞いておきます。

2. 結果が業務の言葉で読めるか

結果が総合のレベルだけで返ってくるのか、観点ごとの評価も返ってくるのかは、使い道に大きく関わります。総合が同じでも、語彙は豊富だけれど相手の質問への応じ方に課題がある人と、その逆の人とでは、任せられる仕事も育成の方針も変わります。

あわせて、各レベルが何をできる状態なのかが文章で説明されているかも確かめておきます。数字や記号だけでは、現場の上司に結果を伝えるときに困ります。レベルの記述を、業務上の行動としてどのように説明しているかも確認しておきたい点です。

3. どの範囲のレベルを測れるか

これから学び始める人から、日本の職場で長く働いている人まで、測れる範囲はテストによって違います。自社の受験者がどのあたりに多いかを考え、その範囲で十分に細かく区別できるかを確認してください。測れる範囲の上限や下限の近くで、結果が頭打ちにならないかも聞いておくと安心です。

信頼性を確かめる質問

同じ人が同じように話したのに、担当した採点者や受けた日によって結果が変わるようでは、社員どうしを同じ物差しで見ることができません。採用の基準や昇格の目安に使うなら、ここは特に丁寧に確認しておきたいところです。

4. 採点基準が言葉で定義されているか

話す力のテストは正解のない自由回答を評価します。そのため、観点ごとに各水準でどんなことができるかを記述した採点基準表(ルーブリック)が要ります。中身をすべて公開していなくても、どんな観点で見ているかは説明してもらえるはずです。基準表を誰が作り、いつ更新したかも確認しておきます。

5. 評価の一貫性を保つ仕組みがあるか

採点基準をどのように運用し、評価結果の品質を継続的に確認・改善しているかを確認します。人とAIを組み合わせている場合は、最終評価をどのような責任体制で確定しているかも確認しておくと安心です。

運用面で確かめる質問

6. 結果の返り方と本人への開示

結果が届くまでの日数、誰が結果を見られるか、受験者本人にどの範囲を返すかを確認します。録音の不具合があった場合や結果に疑問がある場合に、再確認を求める手続きがあるかも聞いておきます。本人が自分の結果と次に伸ばす点を知れるかどうかは、受けた後の学習の続け方に関わります。

会社が受験を案内する場合は、結果を何に使うのかを事前に本人へ伝えておくことも大切です。評価に使うのか、育成の参考にするのかが分からないまま受けると、受験者は必要以上に緊張します。提供する側が、本人への説明に使える資料を用意しているかも聞いておくとよいと思います。

7. 料金に何が含まれるか

料金の数字だけでなく、何が含まれているかを確かめておくと、後から想定外の費用が出にくくなります。採点の方法、結果レポートの内容、再受験の扱い、管理者向けの機能や問い合わせへの対応などが、どこまで含まれるかを見ておきます。音声データの保管やAIの利用の範囲も、あわせて確認しておくとよいと思います。受験者の人数が増えたときの手続きや、受験の日程をどこまで柔軟に組めるかも、運用を続けるうえでは効いてきます。

8. 結果の使い方まで示しているか

テストの結果は、その時点で、その課題に対して示された話す力です。人柄や仕事の能力全体を表すものではありません。結果だけで不利益な判断をしないよう、提供する側が何を案内しているかも確認したい点です。

現場での様子や本人が担う業務と合わせて解釈するよう案内しているか、テストの限界をどう説明しているかを聞くと、提供する側の姿勢が見えてきます。限界まで率直に話してくれるかどうかも、選ぶときの判断材料になります。

確認するときの進め方

8つすべてを一度に聞く必要はありません。最初に自社で測りたい場面を書き出し、それに関わる質問から順に聞いていくと、話が具体的になります。

サンプルの結果レポートを取り寄せて、実際の社員を思い浮かべながら読んでみるのも有効です。その人に任せたい業務と結果の記述が結びつくかどうかで、自社の目的に合うテストかが見えてきます。

Japriseが重視していること

Japrise®は、複数の課題、タスク達成度と6つの質的指標、専門採点官による最終評価を組み合わせています。結果は合否のためのラベルではなく、採用、配置、育成で何を確認するかを企業と本人が共有するための材料として提供しています。検証の方法や数値は記事では公開していませんが、導入を検討いただく際には、必要に応じて個別にご説明します。


Japriseの評価の流れと返却日数は「日本語スピーキングテストの結果は何日で返るか」をご覧ください。

Japrise編集部