テストの採点

テストのスコアは、テストのさまざまな項目における生徒のパフォーマンスによって決定されます。個々の項目のスコアは、さまざまな方法で集計され、最終的なテスト結果となります。この章では、テストの採点ルールを設定し、結果の宣言を計算する(つまり、採点基準を定義する)方法を説明しま す。

アイテムに使用されるスコアリングルールについては、「アイテムを自動的にスコアリングする」および「アイテムを手動でスコアリングする」を参照してください。

特定のテストに採用される採点方法は、そのテストが作成された後、評価に使用される前に定義されます。4つのオプションがあります。

  • 正解と不正解の比率に基づいてスコアを算出します。
  • PASSまたはFAILを生成します。
  • 外部で定義された(輸入された)メソッドを適用する。
  • 全くスコアを計算しない

以下の手順で、選択したスコアリング方法を設定してください。

1.テストに含める項目を選択してテストを作成したら、キャンバスの右上にあるアクションバーのすぐ下にある歯車にカーソルを合わせると、「テストのプロパティを管理」というオプションが表示されます。このオプションをクリックすると、テストの一般的なプロパティが右側のパネルに表示され、スコアリングのプロパティも表示されます。

2.ボタン「Scoring」をクリックします。

テストの採点方法は4種類あり、QTIでは「結果処理」と呼ばれています。以下の4つの選択肢の中から、「成果処理」で選択したものを入力してください。

スコアリング
スコアリング
  • None: このオプションを選択すると、既存の採点ルールはすべて削除されます。この場合、テストスコアは生成されません。テストの個々の項目のスコアは、「結果」をクリックするか、QTI Results APIで抽出できます。集計されたテストスコアを必要としない場合や、TAOの外でカスタムアウトカム処理を行いたい場合は、このオプションを使用してください。
  • カスタムこのオプションは、カスタム処理ルールを持つテストをインポートする場合にのみ適用されます(つまり、処理ルールは TAO の外部で定義されます)。カスタム」を選択すると、「処理ルールの編集」画面が表示されます。ここでは、項目に対する受験者の回答をどのように処理したいかを記載した(外部)採点ルールを選択します。カスタム処理ルールの適用例としては、(同じ項目での)複数のインタラクションを考慮したい場合が挙げられます。例えば、受験者がインタラクション A またはインタラクション B を正しく完了した場合(両方ではなく)、半分のスコア(計算されたMAX_SCORE の半分)が与えられるように指定することができます。これを行うために、処理規則をカスタマイズすることができます。
  • トータルスコア。この方法を選択すると、テストのすべての部分からのすべてのスコアが合計され、受験者のスコア (SCORE_TOTAL)、すべての項目の最大スコア (SCORE_TOTAL_MAX)、および正答率 (SCORE_RATIO) の結果変数が生成されます。
採点方法トータルスコア
採点方法トータルスコア
  • カットスコア:このオプションを選択すると、テストに合格するためのカットオフポイントが設定されます。カットオフポイントとして使用するスコアを「カットスコア」ボックスに入力してください。これは、総スコアに対する比率として設定されます。生徒がテストに合格したかどうかを示す PASS 変数が生成されます。Category Score "がアクティブな場合(下記参照)、すべてのカテゴリーの PASS 変数が生成され、すべて同じカットオフポイントを使用します。
スコアリングカットスコア
スコアリングカットスコア

後者の方法(トータルスコアまたはカットスコア)を選択した場合、テストの設定方法によっては、いくつかの追加情報が必要となります。

3.テストのためのさまざまなカテゴリーを定義する

カテゴリースコアのチェックボックスが表示されます。テストに複数のカテゴリーがある場合は、カテゴリースコアを選択して、各カテゴリーごとにスコアを計算する必要があります。

アイテムを別々のカテゴリーに割り当てるには、アイテムの右にある設定アイコンをクリックします。右側のプロパティパネルで、カテゴリーボックスにそのアイテムを割り当てたいカテゴリーの名前を入力します。

4.テストの項目に重みを設定する。

テストの各項目には、最終的なテストスコアに貢献する度合いに応じて、異なる重みを割り当てることができます。重みを割り当てるには、重みを追加したい項目の右側にある設定アイコンをクリックします。右側に項目のプロパティパネルが表示されます。

ウェイト」では、ウェイトの識別子とその項目のを選択します。識別子は、テストで選択した重み付け方式を指します。デフォルトでは、これは「WEIGHT」と呼ばれますが、異なるテストシナリオで異なる重み付け方式を使用したい場合は、別のものを定義する必要があります。

この値は、その項目に割り当てたい重みを意味します。例えば、重みが 2 と入力された場合、最終的なテストのスコアを計算する際に、その項目のスコアに 2 が乗じられます。テストのいずれかの項目について、項目レベルでそのような重みの定義がない場合、スコアリング・エンジンはデフォルト値=1を想定します。

注:同じ項目に対して異なる重みを定義し(異なる重み付け方式で)、異なるテストシナリオに応じてそれらを選択することが可能です。これは、たとえば、1 つのテストがさまざまなトピックを扱っていて、あるテストでは特定のトピッ クが他のトピックよりも重要であると考えられる場合に便利です。これを行うには、元のウェイトの下にある「Add a new weight」をクリックします。 

アイテムのメタデータを挿入すると、そのアイテムのカテゴリーに自動的に転送されます。カテゴリーは手動で管理することもできます。

5.ボタン「Outcome Declarations」をクリックします。

成果宣言は、上記で選択した採点ルールに直接関係します。生成される成果変数のリストは以下の通りです。

  • 結果処理方法として「なし」を選択した場合、すべての結果変数が削除されます
  • アウトカム処理方法としてトータルスコアを選択した場合、トータルスコアを計算するためにアウトカム変数が生成されます。
  • 結果処理方法として「カットスコア」を選択した場合、結果変数が生成され、総得点と、定義されたカットスコアと照合される変数が計算されます(通常は合格/不合格)。
  • WEIGHTが適用されている場合、加重スコアを計算するために追加の結果変数が生成されます。

注:アウトカムは自動的に生成されますが、そうならない場合は、「再生成」ボタンを使って値を生成することができます。

これで、テストの採点ルールの設定は完了です。