テストの採点
テストの得点は、テストのさまざまな項目における生徒の成績によって決まります。個々の項目の得点は最終的なテスト結果を生成するために、異なる方法で集計することができます。この章では、テストの採点ルールを設定し、結果宣言(採点基準を定義する)を計算する方法を説明します。
アイテムに使用されるスコアリングルールについては、「アイテムを自動的にスコアリングする」および「アイテムを手動でスコアリングする」を参照してください。
特定のテストに採用される採点方法は、そのテストが作成された後、評価に使用される前に定義されます。4つのオプションがあります:
- 正解と不正解の比率に基づいてスコアを算出します。
- PASSまたはFAILを生成します。
- 外部で定義された(輸入された)メソッドを適用する。
- 全くスコアを計算しない
以下の手順で、選択したスコアリング方法を設定してください。
1.項目を選択してテストを作成した後、キャンバスの右上隅にあるアクションバーのすぐ下にある歯車にカーソルを合わせると、「Manage TestProperties(テストのプロパティを管理)」というオプションが表示されます。これをクリックすると、採点のプロパティを含む、テストの一般的なプロパティが右側のパネルに表示されます。
2.ボタン「Scoring」をクリックします。
テストの採点には 4 つの方法があり、QTI では「アウトカム処理」と呼んでいます。以下の4つの選択肢から好きなものを「結果処理」に入力してください:
- None: このオプションを選択した場合、既存の採点ルールはすべて削除されます。この場合、テスト スコアは生成されません。テストの各項目のスコアは、以下をクリックして抽出できます。 結果または QTI Results API をクリックして抽出できます。集計されたテストスコアが不要な場合、または TAO の外部でカスタム結果処理を行いたい場合は、このオプションを使用します。
- カスタム:このオプションは、カスタム処理ルールを持つテストがインポートされた場合、つまり処理ルールが TAO の外部で定義された場合にのみ適用されます。カスタム」を選択すると、「処理ルールの編集」画面が表示されます。ここで、項目に対する受験者の回答をどのように処理したいかを示す、あなたの(外部)採点ルールを選択します。カスタム処理ルールの適用例としては、複数のインタラクション (同じアイテム内) を考慮したい場合が考えられます。たとえば、受験者がインタラクションA またはインタラクション B を正しく完了し た場合(両方は完了しなかった場合)、その受験者には半分のスコア(計算されたMAX_SCORE の半分)が与え られます。このように処理ルールをカスタマイズすることができます。
- トータルスコア。この方法を選択すると、テストのすべての部分からのすべてのスコアが合計され、受験者のスコア (SCORE_TOTAL)、すべての項目の最大スコア (SCORE_TOTAL_MAX)、および正答率 (SCORE_RATIO) の結果変数が生成されます。
- カットスコア:このオプションを選択すると、テストに合格するためのカットオフポイントが設定されます。カットオフポイントとして使用するスコアを「カットスコア」ボックスに入力してください。これは、総スコアに対する比率として設定されます。生徒がテストに合格したかどうかを示す PASS 変数が生成されます。Category Score "がアクティブな場合(下記参照)、すべてのカテゴリーの PASS 変数が生成され、すべて同じカットオフポイントを使用します。
後者の方法(トータルスコアまたはカットスコア)を選択した場合、テストの設定方法によっては、いくつかの追加情報が必要となります。
3.テストのためのさまざまなカテゴリーを定義する
カテゴリースコアのチェックボックスが表示されます。テストに複数のカテゴリーがある場合は、カテゴリースコアを選択して、各カテゴリーごとにスコアを計算する必要があります。
アイテムを別々のカテゴリーに割り当てるには、アイテムの右にある設定アイコンをクリックします。右側のプロパティパネルで、カテゴリーボックスにそのアイテムを割り当てたいカテゴリーの名前を入力します。
4.テストの項目に重みを設定する。
テストの各項目には、最終的なスコアにどの程度貢献するかに基づいて、異なる重みを割り当てることができます。ウェイトを割り当てるには、ウェイトを追加したい 項目の右にある設定アイコンをクリックします。アイテムのプロパティパネルが右側に表示されます。
ウェイト」では、ウェイトの識別子とその項目の値を選択します。識別子は、テストで選択した重み付け方式を指します。デフォルトでは、これは「WEIGHT」と呼ばれますが、異なるテストシナリオで異なる重み付け方式を使用したい場合は、別のものを定義する必要があります。
この値は、その項目に割り当てたいウエイトを意味します。たとえば、重み付けを 2 と入力した場合、テストの最終スコアを計算する際、その項目のスコアは 2 倍になります。テストのどの項目についても、Item レベルでそのようなウェイトの定義がない場合、採点エンジンはデフォルト値 = 1とみなします。
注:同じ項目に対して異なる重みを定義し(異なる重み付け方式で)、異なるテストシナリオに応じてそれらを選択することが可能です。これは、たとえば、1 つのテストがさまざまなトピックを扱っていて、あるテストでは特定のトピッ クが他のトピックよりも重要であると考えられる場合に便利です。これを行うには、元のウェイトの下にある「Add a new weight」をクリックします。
アイテムのメタデータが挿入されると、自動的にアイテムのカテゴリに転送されます。カテゴリは手動で管理することもできます。
5.ボタン「Outcome Declarations」をクリックします。
成果宣言は、上記で選択した採点ルールに直接関係します。生成される成果変数のリストは以下の通りです。
- 結果処理方法として「なし」を選択した場合、すべての結果変数が削除されます
- アウトカム処理方法としてトータルスコアを選択した場合、トータルスコアを計算するためにアウトカム変数が生成されます。
- 結果処理方法として「カットスコア」を選択した場合、結果変数が生成され、総得点と、定義されたカットスコアと照合される変数が計算されます(通常は合格/不合格)。
- WEIGHTが適用されている場合、加重スコアを計算するために追加の結果変数が生成されます。
注:アウトカムは自動的に生成されますが、そうならない場合は、「再生成」ボタンを使って値を生成することができます。
これで、テストの採点ルールの設定は完了です。