
なぜ、この仕組みをつくったのか
きれいに整った回答でも、依頼と異なる作業を提案していれば現場には渡せません。モデルの印象を比べる前に業務で許容できる答えと、人に戻すべき失敗を決めます。
日記の振り返りなど、利用者にとって意味のある課題を用意します。評価者は平均点だけでなく、どのケースでどんな差があったかを一覧から選んで調べられます。
仕事の流れを、どう変えるか
従来の作業 流暢に見える回答や一度の成功例で採用を決める。
設計後の流れ 同じ課題に複数の回答を当て、失敗例と採否を記録する。
回答を採用できない理由を比較する 二つのモデルが同じ結論を出しても、一方だけが入力資料にない数値を補っていたら扱いは違います。業務担当は内容を確認し、承認者はその根拠を第三者がたどれるかを読みます。
試験条件をそろえておけば、好みの文体と業務上の不合格を分けて議論できます。
入力から出力まで、四つの工程
- 代表課題を固定する
- 同じ条件で実行する
- 人が回答の根拠を読む
- 次回の比較用に版を残す
指示文の評価を記録し、直近の結果、週別統計、CSV出力から改善前後を追えるようにします。
担当者が得られる便利さ
導入会議で役立つのは平均点だけではありません。必要な情報が欠けると勝手に補うのか、確認を求めるのかまで見ると、どこを人が引き受ければ業務で使えるかを判断できます。
開発で工夫したこと
各応答に入力文の識別値、実際の生成設定、ケースとモデルの組み合わせを記録します。設定が一致しない実験を同じ条件の結果としてまとめることを避けられます。
記録処理に加え、長さ・キーワード・形式・一貫性に関する評価処理と要約出力が実装されています。
AIに任せること、人が確かめること
評価をAIに補助させる場合には、形式を満たしたか、内容が正しいか、実行してよいかを分けます。評価器同士が同じ条件で逆の判断を返したら、点数を平均して採用せず、実例を担当者に戻します。
担当者が引き継ぐなら
採用する業務ごとに重要なケースを担当者が選び、点数と実際の回答を対にして所見を残します。モデル更新時に同じケースの差を読み、採用理由を説明できることが引継ぎ条件です。
評価対象の版と代表質問を固定し、人の採用判断も記録して週ごとの比較条件をそろえます。
現在地と、残る確認事項
同じ業務課題で複数のAIモデルを比較する 保存された一回の比較では100ケースを4モデルで実行し、400件の出力について比較条件を点検しています。ケース別の品質評価を追える一方、この結果だけで別業務や新しいモデル版の優劣は判断できません。
プロンプトの評価履歴から週ごとの傾向を読む 既定版の評価処理、記録先への書込み、週次集計、CSV出力の実装を確認しました。点数と業務成果の相関や外部サービスの現在の稼働は未確認です。
AIの計画を形式・内容・実行上の条件ごとに検査する 固定した設問と判定規則を対象とする専用試験8件の成功記録を確認しました。同じ時点の全体試験には別件の不一致が1件あり、新しい評価方式の全体配布は確定していません。
自社で応用するなら
まず、業務の有識者とAI担当者が同じ事例を一つ選びます。用意するものは代表質問、回答に必要な条件、許容できない失敗例です。試行を終えたら、担当者同士で「評価が高い回答のうち、人が採用しなかった理由を説明できるか」を確認してください。
モデルを選ぶ前に、同じ回答を業務担当者と承認者に読んでもらいます。内容が合っていても、出典を確認できない回答を業務に使えるかどうかで、採用基準が変わります。
- 用意する資料
- 代表質問、回答に必要な条件、許容できない失敗例
- 確認する人
- 業務の有識者とAI担当者
- 試行後に確かめること
- 評価が高い回答のうち、人が採用しなかった理由を説明できるか
関連する仕組みを探す
関連実績「共通の開発手順を改訂し、案件別に適用を点検」もあわせてご覧ください。業務システム図鑑からも探せます。相談時には「どの課題ならAIの結果を任せられるか」について、手元の一例と、今は誰が判断しているかをお聞かせください。