ビーバーフォード先生Feedback is one of the most powerful tools for improving student achievement.

Effective feedback should be descriptive, timely, and closely aligned with the learning objectives and the assessment criteria used to evaluate student work. However, providing meaningful feedback can be challenging. Students must submit their work early enough for teachers to offer feedback they can act on to improve their performance. This process is time-consuming for teachers, particularly with large classes or complex assignments.

効果的なフィードバックは、記述的でタイミングがよく、学習目標や評価基準に密接に関連している必要があります。しかし、意味のあるフィードバックを提供することは簡単ではありません。学生は、教師がパフォーマンスを向上させるためにフィードバックを提供できるよう、十分に早く課題を提出しなければなりません。このプロセスは、特に大規模なクラスや複雑な課題では、教師にとって時間がかかるものです。

Last semester, I experimented with using Chat GPT to assess student work. My approach was to attach grading criteria to the chat and then input the student’s work to see what kind of feedback it would generate. While the results were generally good, they weren’t always consistent. My goal wasn’t to replace grading but to explore whether Chat GPT could give effective feedback, allowing students to understand where their work stood against the criteria and how to improve it.

前学期、私はChat GPTを使用して学生の課題を評価する実験を行いました。私のアプローチは、評価基準をチャットに添付し、その後学生の課題を入力して、どのようなフィードバックが生成されるかを確認するというものでした。結果は概ね良好でしたが、常に一貫していたわけではありませんでした。私の目的は採点を代替することではなく、Chat GPTが効果的なフィードバックを提供できるかどうかを探ることであり、学生が基準に照らして自分の課題がどの位置にあるか、またどのように改善できるかを理解できるようにすることでした。

Well-designed grading criteria are essential for Chat GPT to deliver meaningful feedback. The consistency of the feedback depends on the quality of these criteria, and it’s important to define key terms in the prompts clearly. In the International Baccalaureate world, we refer to these verbs as ‘command terms’—specific verbs with clear definitions that help minimize subjectivity in grading. These definitions are also shared with students, so they understand what’s expected in the assignment.

Chat GPTが意味のあるフィードバックを提供するためには、よく設計された評価基準が不可欠です。フィードバックの一貫性は、これらの基準の質に依存しており、プロンプト内で重要な用語を明確に定義することが重要です。国際バカロレアの世界では、これらの動詞を「コマンド用語」と呼び、採点の主観性を最小限に抑えるために明確な定義を持っています。これらの定義は学生にも共有され、課題で期待されていることを理解できるようにしています。

However, attaching grading files to each GPT conversation became cumbersome. I realized that every extra step made students less likely to engage with the process. So, I decided to create a custom GPT agent for this task that wouldn't search the open web and automatically provide feedback based on predefined criteria without requiring students to construct their own prompts.

しかし、毎回GPTの会話に評価基準ファイルを添付するのは手間がかかりました。私は、手順が多くなるほど学生がそのプロセスに参加する可能性が低くなることに気付きました。そこで、学生が自分でプロンプトを作成する必要なく、あらかじめ定義された基準に基づいて自動的にフィードバックを提供するカスタムGPTエージェントを作成することにしました。

I began investigating AI tools that would allow me to create a custom bot. My first stop was POE, which seemed promising. It was user-friendly, didn’t require coding, and allowed me to select different models. The web interface was shareable, and it retained both the files and prompts I uploaded. It was interesting to see how feedback varied between models. However, the free version limited the number of students who could use it daily, and the $250 annual subscription felt a bit steep.

私はカスタムボットを作成できるAIツールを探し始めました。最初に試したのはPOEで、使いやすく、コーディング不要で、異なるモデルを選択できる点が魅力的でした。Webインターフェースは共有可能で、アップロードしたファイルやプロンプトも保持されました。モデルごとにフィードバックがどのように異なるかを観察するのも興味深かったです。しかし、無料版では1日に使用できる学生の数が制限されており、年間250ドルのサブスクリプションは少し高額に感じました。

Next, I explored BotPress, a more complex tool with a steeper learning curve. While it likely offers excellent results for those with experience, the pricing model also felt restrictive. You can customize your subscription based on the number of bots you create, which makes it more affordable if you only need a few.

次に試したのは、学習曲線が急なBotPressでした。経験豊富な人にとっては素晴らしい結果を提供する可能性がありますが、価格設定も制限的に感じました。作成するボットの数に応じてサブスクリプションをカスタマイズできるため、必要なボットの数が少ない場合はより手頃な価格になります。

When I started searching for an affordable system to create a custom bot, the first place I started was Chat GPT. It gave me an extensive list of tools that I should investigate. What Chat GPT didn’t tell me is that you could create custom bots with an Open AI Chat GPT subscription. I stumbled upon this function while trying to change my profile picture. When I clicked on my profile picture a dropdown menu appears with a "Customize GPT" option. I had seen this before, but I thought that customizing meant changing the background colour or the font size. This function allows you to create a customized version of GPT. Creating a custom GPT is straightforward: you design the prompt, decide whether it uses its general knowledge base or specific files, and then upload the necessary documents. For my custom bot, I provided assessment criteria, definitions of command terms, and a template for how feedback should be delivered. I also included instructions not to re-write the assignment for the student.

カスタムボットを作成するための手頃なシステムを探し始めたとき、最初に調べたのはChat GPTでした。Chat GPTは調査すべきツールのリストを教えてくれましたが、Open AI Chat GPTのサブスクリプションでカスタムボットを作成できることは教えてくれませんでした。この機能は、プロフィール写真を変更しようとした際に偶然発見しました。プロフィール写真をクリックすると、ドロップダウンメニューに「カスタマイズGPT」というオプションが表示されます。以前も見たことがありましたが、カスタマイズというのは背景色やフォントサイズを変更することだと思っていました。しかし、この機能ではGPTのカスタマイズ版を作成できます。カスタムGPTの作成はシンプルで、プロンプトをデザインし、一般的な知識ベースを使用するか、特定のファイルを使用するかを決定し、その後必要なドキュメントをアップロードするだけです。私のカスタムボットには、評価基準、コマンド用語の定義、およびフィードバックの提供方法のテンプレートを提供しました。また、学生の課題を再執筆しないよう指示しました。

Here are the instructions that I came up with.

以下が私が考案した指示です。

“Provide feedback on this reflection using Miller's Reflection Framework, focusing on helping the student progress to level 3 (elaboration. Start by giving positive feedback on the student’s current reflection, then specify actionable steps to reach level 3. Provide a table based on the feedback table connected to this GPT to indicate where the student is with each strand (sentences) within the achievement levels using the descriptor from the feedback table document (Clear Evidence, Some Evidence, No Evidence). When describing the student's achievement, include specific wording from Miller's framework. Finally, the student will be awarded an overall achievement level if they handed it in with no revisions. Ensure the award of achievement level is based on a criterion-related rather than a criterion-referenced approach to the use of criterion. Base the final achievement level on a best-fit approach. Not all of the criteria need to be met equally. Ensure the response focuses on how the student can improve based on the framework rather than just comparing it to fixed criteria. Do not re-write the reflection for the student. Only reference the two files uploaded to the knowledge base.”

“この反省文に対してミラーの反省フレームワークを使用し、学生がレベル3（精緻化）に進むためのフィードバックを提供します。まず、学生の現在の反省文に対してポジティブなフィードバックを与え、その後、レベル3に到達するための具体的なアクションを示します。フィードバックテーブルに基づいて、達成レベルの各ストランド（文）において学生がどの位置にいるかを示す表を作成します（明確な証拠、一部の証拠、証拠なし）。学生の達成を説明する際には、ミラーのフレームワークの特定の表現を使用します。最終的に、学生が修正なしで提出した場合、総合的な達成レベルが与えられます。達成レベルの付与は、基準に関連したアプローチに基づき、基準に基づいたアプローチではなく、全体的な適合アプローチに基づいて行われます。すべての基準が同等に満たされる必要はありません。フィードバックは、固定された基準と比較するのではなく、学生がどのように改善できるかに焦点を当てます。学生の反省文を再執筆することはしません。知識ベースにアップロードされた2つのファイルのみを参照します。”

The prompt might still need some tweaking, but the samples I have plugged in from past student work are giving some great results. This custom GPT will only assess one specific assignment. If it works well, I will create others using the assessment criteria for other assignments.

このプロンプトはまだ微調整が必要かもしれませんが、過去の学生の課題を入力して得られたサンプルは良好な結果を出しています。このカスタムGPTは特定の課題のみを評価します。うまくいけば、他の課題にも評価基準を使用して他のカスタムボットを作成する予定です。

The custom GPT's feedback can be shared via a link, allowing students to share the results of GPT’s assessment of their assignment with me. The student can revise and feed their work into the system until they are satisfied with the results. I will still be the one who grades the final product, but hopefully, this new source of feedback will help students develop their academic writing skills. This process lets me track how students use the feedback to revise their work based on GPT's suggestions. While assessing processes rather than products should always have been the go-to for teachers, the explosion of AI tools has made it even more critical.

カスタムGPTのフィードバックはリンクを通じて共有でき、学生はGPTの評価結果を私と共有できます。学生は、満足するまで自分の作品をシステムに入力して修正できます。最終的な製品の採点は私が行いますが、この新しいフィードバック源が学生のアカデミックライティングスキルの向上に役立つことを願っています。このプロセスにより、学生がGPTのフィードバックをどのように利用して作品を修正しているかを追跡できます。教師が成果物ではなくプロセスを評価すべきであるということは常に重要でしたが、AIツールの爆発的な普及により、それはさらに重要になりました。