評価には、自動採点される項目と人間の介入が必要な項目が混在している場合があります (1つのテスト項目内の個々のインタラクションも混在する場合があります)。TAOで自動採点できる単純な多肢選択問題もあれば、人間の採点者がマークする必要のある自由形式の問題もあります。評価業界のデジタル化が進む中、教育機関は、自由記述欄を含むあらゆるタイプの評価を測定・保存するための合理的で安全な方法を必要としています。
TAOのオープンレスポンス採点ソフトウェアであるTAO Graderは、教師や他の教科専門家（SME）がTAOプラットフォームに設定されたテストを手動で採点することを可能にし、オープンレスポンスやエッセイ問題を採点するためのより効率的なソリューションを提供します。TAO Graderを使用すると、記述された回答は、デジタルスキャンではなく、電子フォーマットでTAOのレポートツールにフィルタリングされます。これにより、スコアの割り当て、テスト回答ファイルの移動と共有、最初の採点パスを完了する内部採点者の指定、およびそれらのマークを支持または否定する査読者の割り当てがはるかに容易になります。
自動採点により、多肢選択問題やギャップマッチ問題など、多くのタイプの評価問題の採点作業が不要になる一方で、記述式の回答を必要とするテストセクションがあり、教師や教科の専門家がその回答を採点する必要がある場合があります。小論文やその他のタイプの自由記述問題を、手動採点エンジンを使用せずに手作業で採点する場合、多くの複雑な問題が発生します。これらの問題には、手書き文字の解読の難しさ、結果の保存の難しさ、および評価レポートソリューションにそれらの記述された評価セクションをスキャンする際の問題などが含まれます。
TAO Graderは、これらの課題を解決するために、教育者がオンラインでオープンレスポンス問題にアクセスして採点するための合理的で直感的なアプローチを提供します。これにより、大量の紙ベースの評価を手作業で印刷、採点、保管する必要性を効果的に排除することができます。
手作業による採点システムの重要な利点は、チームで回答を割り当てて採点することができることです。TAOは、非同期のチーム採点を可能にし、試験の印刷、整理、採点を手作業で行う際に必要な業務オーバーヘッドを削減します。チームベースの採点は、採点者の作業負担を軽減し、結果のフィードバック時間を短縮するだけでなく、対象分野の専門家が採点に参加することを可能にし、採点者と受験者の偏りを効果的に排除することができます。
例えば、TAOの採点者グループは、科目別に、あるいはユーザが定義した受験者グループに基づいて、採点用の問題をランダムに割り当てることができます。いずれの場合も、受験者の名前は採点者からは見えないようになっており、客観的で偏りのない採点が可能です。
米国のACTやSAT、ヨーロッパのMaturaやBaccalaureate試験のようなハイステークスで大規模な試験は、特定の科目や学習成果によってセクションが構成されています。異なる科目の自由形式の評価問題を採点したり、科目内のコンピテンシーを採点したりするには、採点者がその科目のニッチな専門知識を持っている必要があります。
このような場合、TAO Graderのように、テスト全体ではなく科目ごとに 評価項目を分類し、採点者を割り当てることができる手動採点システムは、より効果的で迅速かつ合理的な採点につながります。また、この機能は、採点ワークフローを簡素化し、適切な主題の専門家が適切なテスト問題を採点することを確実にすることができます。
TAO Graderの自由形式の回答を採点するためのプロジェクト構成とキューは、小規模で低評価のものと、全国規模で高評価の評価プログラムの両方に合わせて作られています。すぐに使えるソリューションとして、TAOのオープンレスポンスグレーダーはTAOプラットフォームに完全に統合されており、結果や学生データを整理、保存、共有するための合理的なエンドツーエンドのワークフローを提供します。これは、多言語ソリューションであり、新しい言語機能をサポートするために容易に拡張することができます。
ルーブリックは、自由形式の回答を一貫して採点するための効率的なツールであり、オンライン評価において重要な役割を担っています。ルーブリックとは、いくつかの基準に基づいて受験者のパフォーマンスレベルを記述したり、分類したりするための採点ツールです。ルーブリックに具体的な基準を記載することで、教育者は受験者を評価するための学習目標と習得度を伝えることができます。オンライン評価において、ルーブリックを用いて自由記述を採点することには、以下のような利点があります。
- 偏りのない統一されたスコアリングメカニズムの敷設
- 教育者にとっては迅速な採点を、受験者にとってはフィードバックを容易にします。
- 採点基準を明確にすることで、受験者とのコミュニケーションを深める。
- クリティカル・シンキングの推進
TAOの手動採点ソフトウェアには、デジタルPDFルーブリックを添付するためのソリューションが組み込まれており、筆記テストの回答の採点を容易にします。生徒はテストの期待値や評価方法を理解することができ、教師は提出後すぐに回答を受け取り、一貫したガイドラインに沿って採点することで、迅速なフィードバックをサポートします。
TAO Graderでは、採点と再採点を行うユーザーをそれぞれ「スコアラー」「レビュアー」と呼びます。評価問題に主題カテゴリを割り当てた後、指定された採点者とレビューアのグループをテスト項目またはセクションに割り当てることができます。ワークフローにより、これらのユーザーは、合理的かつ効率的な方法で、採点タスクを視覚化し、ウォークスルーすることができます。
採点時には、受験者の名前は難読化され、採点者の偏りを防ぎます。さらに、オリジナルの採点者の評価を確認したり、異議を唱えたりするレビュアーを指定することで、ダブルブラインド採点が必要な場合にも、客観的なアプローチを確保することができます。
TAOのオープンレスポンス採点ソフトウェアには、他の採点プロジェクトのユーザーが「採点者を評価」する機能があります。例えば、特定の質問やテーマカテゴリについて、レビュアーよりも常に低い点数や高い点数をつけている採点者がいるとします。 このような場合、そのユーザーを評価し、採点プロジェクトを変更または削除することが重要です。特に重要度の高い評価の場合、正当な点数よりも低い、または高い点数を割り当てることで学生の進歩を妨げないように、採点者が吟味され、適切に評価されることが重要です。
技術に詳しくないユーザーのためのモダンで使いやすいソリューションは、採点者が遠隔地で採点作業を行うのに役立ちます。今日の現代的な教育機関のユーザーは、複数のデバイスやブラウザを活用してEdTechソリューションを実行する柔軟性を求めています。タブレットやラップトップで評価を採点できる機能があれば、遠隔地から回答を採点することができ、学生に迅速なフィードバックを提供することができます。
アクセシビリティは、オンラインアセスメントにおいて常に最重要課題ですが、見落とされていることも少なくありません。TAOのオンラインアセスメントソリューションは、WCAG 2.1 AAアクセシビリティ要件およびSection 508ガイドラインに沿って、テストサイクルのすべての側面でのアクセスを保証するために、最初からアクセシビリティを考慮して設計されています。TAO Online Manual Scoring Professionalのウェブベースのユーザーインターフェースは、生来のアクセシビリティを備えており、視覚障害のあるユーザーのためにスクリーンリーダーを使用することができます。
TAOのアクセシビリティについての詳細はこちらをご覧ください。
時には、回答の異なる側面に別々の得点を与える必要があり、1つの項目に複数の得点が必要となることがあります。これは多特性スコアリングと呼ばれる。TAOでは、多面的スコアリングを指定することは、1つの項目に手動でスコアリングする必要のある複数の結果があることを意味します。例えば、小論文の問題では、「文法的な正確さ」や「言葉の選択」などの特性が考慮されますが、これらは同じ問題に適用されますが、異なるスコアを必要とします。
堅牢なオンライン採点システムは、文章の流暢性をテストするようなさまざまなタイプの評価を容易にするために、多言語でのオープンレスポンスの質問をサポートする必要があります。TAOのオンラインマニュアル採点ソフトウェアは、最初から多言語に対応しており、異なる言語のオープンレスポンス採点をサポートするように設計されています。
