TAO Graderは、自由形式問題の手動採点を提供するTAO製品群のアドオンです。受験者がテストを終了すると、手動採点が必要な項目の回答が TAO Grader に送信されます。手動採点者によって、特定のテストセッション(配信の実行)のすべての回答に対して得点が提出されると、その得点は TAO に返され、そのテストの TAO結果ページに表示されます。
受験者がテストを提出し、関連する項目の自動採点が行われるとすぐに、その TAOの結果ページにはその項目の得点が表示されます。ただし、手動採点が必要な項目のスコア欄は空欄のままです。
ここで、TAOは残りの項目をTAO Graderに渡して採点してもらいます。この2つのプラットフォームは完全に統合されているので、TAOの配信結果のCSVファイルから手動で採点が必要な回答を抽出する必要はなく、すべて自動で行われます。
注:TAO GraderはIgniteおよびEnterpriseのお客様のみご利用いただけます。
受験者の回答が正しく処理されるようにするためには、関連するテスト項目をオーサリングする際に、手動で採点するように設定する必要があります。以下の手順で設定を行ってください。
1. 手動採点が必要な項目としてラベルを貼る。
項目の右側にあるレスポンス・プロパティ・パネルの アウトカム宣言を クリックします。下の画像のように、項目の結果が表示されます。結果の右側にある編集アイコンをクリックすると、その結果に関連する値が表示されます。このテスト項目の最初の結果 (すなわち、採点が必要な回答の最初の側面) は「WORDCHOICE」です。
最初の値はInterpretationで、結果の名前である。これは手動採点を行う人に表示される名前です。下の例では、これはWord Choiceです。
External Scored」のドロップダウンメニューで、「 Human」を選択する。
この値はこの特定の結果に必要な採点タイプ (この場合、人間による採点) を示しますので、項目は手動採点のためにTAOグレーダーに送られます。
2. 採点基準の説明を追加する。
マニュアル採点者は、問題の項目 (または結果) に対してどのような採点システムを使用するかを知る必要があります。これは採用したい採点基準を含むルーブリックの形で示され、ホストされているPDFファイルへのリンクからアクセスできます。
Long Interpretationと 書かれたボックスに、採点基準を含むPDFファイルへのリンクを追加します。 これは後で採点者がアクセスします。
3. 得点範囲を定義する。
Value と書かれたボックスに範囲(例:1~4)を入力する。
以下のルールが守られている限り、異なる範囲を定義することは可能である:最小 値と最大値の 両方を、整数だけを使用して定義すべきである。最大 値は負であってはならず、最小値より大きくなければならない。
注:アイテムの回答が手動採点の「対象」となるためには、「値」に有効なスコア範囲があり、「externalScored」ボックスで「人間」が選択されている必要があります。
注: 項目に複数の結果がある場合 (すなわち、回答の異なる側面に別々のスコアが与えられる場合、つまり1つの項目に対して複数のスコアが必要な場合)、採点方法はそれぞれに設定する必要があります。これはマニュアル採点プラットフォームでは「マルチ特性採点」と表現されます。上の画像の例では、このテスト項目の他の2つの側面が表示されています:理解」と「力学」です。
4. アイテムの主題カテゴリを定義します。
項目の主題カテゴリを定義する必要がある。これは、項目の科目カテゴリに基づいて採点者が割り当てられる場合に、その項目が適切な採点者に割り当てられるようにするためです。(科目カテゴリに基づいて採点者を割り当てることは、2 つのオプションのうちの 1 つに過ぎません。利用可能な割り当て戦略の詳細については、TAOグレーダーの セクションの 採点プロジェクトの作成の章を参照してください)。
これは、問題のテストセクションのプロパティで行います(個々の項目に対して定義することもできます。)例として以下の画像をご覧ください。
定義したいテスト領域の設定(上部の歯車、またはテストパート、セクション、アイテムの横にある歯車)をクリックします。右側のプロパティパネルで、「Categories」をクリックします。現在のテスト、セクション、または項目に必要な科目カテゴリを入力します。各科目カテゴリは「x-tao-scoring」で始まり、科目で終わる必要があります。例えば、x-tao-scoring-english、x-tao-scoring-math、x-tao-scoring-biologyなどがあります。
5.手動で採点した項目をTAOで表示する。
配信の該当項目が TAO Grader で手動で採点され、TAO にスコアが送信された後 (原則として、特定の配信の実行についてすべての回答が採点されると、スコアが TAO に送信されます)、TAO で結果ページを更新できます。
手動で与えられた得点は、項目の総合得点と、項目の特定の側面(結果)に対して与えられた得点の両方が、項目表に表示されます。TAOで設定された採点方法を使用して、テストの総合得点も計算することができます。