品質管理に 生成 AI は使えるのか !? ~ テキストチェックを生成 AI にやらせてみた

生成 AI に対して「何をして欲しいのか」「役割」を記述します。このことで生成 AI は与えられた役割を演じることにより与えられたタスクの理解度が増し、役割に適した返答を行うようになります。

(例)
あなたは優秀な翻訳家です。英語を日本語に変換することが仕事です。

指示を適確で細かく書くことで生成AIが出力する結果は大きく変わります。当たり前と思っていることでも記載していくことが重要です。生成 AI を一般的な知識はあるが、指示されないと動かない従順な自分の部下だと思い、その部下に仕事を行うために必要な手段や方法、情報を伝えるというイメージで記載していくことが良いです。”人間が理解しやすい指示書は生成 AI にも理解しやすい”ので必要な情報を丁寧に細かく、簡潔に書くことを心がけましょう。

(悪い例)
以下の文章を翻訳して下さい。ここから翻訳する文章が記載されています。
・・・・・・・・・・

現実世界でもこのような指示で作業を渡されることはあるかもしれません・・・。翻訳と書かれていたら日本人が対象であれば「日本語から英語」、もしくは「英語から日本語」が与えられた作業かもしれません。しかしそれは指示を出した本人にしかわかりません。

「対象の文章が日本語だったら英語だろ。そんなことあたりまえだろ」と言われるかもしれませんが、そもそも対象文章を読むまでその文章が日本語であることも分かりませんし、英語への翻訳も指示を出した本人にしかわかりません。本人にしかわからないことは指示として記述しなければなりません。

(良い例)
以下の文章は日本語で記述されています。この文章を日本語から英語に翻訳して下さい。
ここから翻訳する文章が記載されています。・・・・
・・・・・・

悪い例では抜けていた ”何語から何語に翻訳するのか” も記載されており、対象の文章が日本語であることも記載されています。このことで生成 AI は日本語を読む前提で対象文章を読み、その後、英語に翻訳するということをプロンプトから理解できます。

指示内容やデータなどをそのまま文章で書いていくと、どこからどこまでが指示で、どこからどこまでがデータなのか、わかりにくくなります。おそらく人間でも同じだと思います。

そこで区切り文字を利用しわかりやすくします。このことでプロンプトが読みやすくなるだけでなく、生成 AI もプロンプトを理解しやすくなります。Claude では区切り文字に XML タグを使用することで、タグ内の情報に注目するようになります。

(悪い例)
以下の文章はこのタスクで使用する文章です。
ここに使用する文章が記載されています。
・・・・・・・
・・・・・・・

タスクを行う際は以下のルールに従って下さい
ここにルールが列挙されています・・・・・
・・・・・・・
・・・・・・・

タスクで使用する文章をルールに従って変換して下さい

上記のプロンプトの場合、”タスクで使用する文章” がどこまでなのかわかりにくいです。もしかしたら「タスクを行う際は以下のルールに従って下さい」以下の文章もタスクで使用する文章の可能性があります。ルールにおいても同様のことが言えます。人間であれば何となくわかると思いますが、何となくでは精度が落ちてしまいます。

(良い例)
以下の <text> はこのタスクで使用する文章です。

<text>
ここに使用する文章が記載されています。
・・・・・・・
・・・・・・・
</text>

以下の <rule> はタスクを行う際のルールです

<rule>
ここにルールが列挙されています・・・・・
・・・・・・・
・・・・・・・
</rule>

<text> タグ内の文章を <rule> タグに記載されているルールに従って変換して下さい。

この場合タスクの対象文章は<text>タグで囲われた範囲なので「以下の<rule>は・・・」部分は対象外であることがはっきりわかります。ルールに関しては <rule> タグで囲われているのでわかりやすいです。そもそも人間が見ても良い例の方が見やすくわかりやすいと思います。人間が理解しやすいは生成 AI も理解しやすいです。

これは Few-shot Learning と呼ばれるテクニックで、具体例を示すとより求める回答を得られる可能性が上がります。特に出力のフォーマットを指定したい場合などでプロンプト内にフォーマットの指示を書いてもうまく出力されない場合などには有効です。XML タグと組み合わせて具体例を入れることで精度を上げることもできます。

(良い例)
以下の <example> タグ内に回答の例を示します。このフォーマットに従って回答してください。

<example>
ここに具体例を入れる。・・・
・・・・・・
・・・・・・
</example>

この他にも様々なテクニックはありますがこの 4 つのコツを利用すればある程度行わせたい作業を行うことができるプロンプトを作成することができます。より精度を高めたい、このコツだけでは満足できない方は公式により多くのテクニックが記載させていますので こちら をご覧ください。

Amazon Bedrock で Claude が既に使える方はこの項目は飛ばしてください。初めて使用する方は過去の builders.Flash 記事にて設定の方法が記述されているので、こちら の手順に従い使用できるようにしてください。

今回は校正作業を行わせるプロンプトを書いていきますが、ただの校正作業ではゲームテキストである意味がありません。そこでゲーム内のキャラクター同士の会話文のチェックを行うプロンプトを記載していきます。

短い会話文ですがアマゾンとウェブという二人が会話している以下の内容をチェックさせます。

アマゾン「俺は川に行きたいい」
ウェブ「川はあぶないよ。山がいいな」
アマゾン「僕は絶対河だ」
ウェブ「アマンは本当にわがままだなぁ」
アマゾン「今日は絶対皮に行きたいんだ」

わざと誤字や脱字を含めた文章になっています。

一行目には「い」の衍字
三行目には「川と河の表記揺れ、もしくは誤字」と「俺と僕の表記揺れ」
四行目には「アマン」の脱字
五行目には「皮と川の表記揺れ、もしくは脱字」

これらの間違いを含めています。このうちどれくらいの指摘してくれるでしょうか。

あなたはゲーム開発会社のバグチェッカーで優秀な校正チェッカーです。会話文の誤字や脱字や衍字や文章全体の表記揺れをすべて見つけて指摘することが仕事です。
以下はあなたがこのタスクで使用する文章(<dialogue>)です。文章は日本語の会話文です。

<dialogue>
アマゾン「俺は川に行きたいい」
ウェブ「川はあぶないよ。山がいいな」
アマゾン「僕は絶対河だ」
ウェブ「アマンは本当にわがままだなぁ」
アマゾン「今日は絶対皮に行きたいんだ」
</dialogue>

以下は指摘する際に使用するルールです。しっかり覚えて理解して下さい。

<rule>
- 表記揺れを確認する対象は<dialogue>内の「」内の文章全てです。
- 表記揺れを確認する際は、同じ事物・概念を指していると考えられる単語の違いにも注意して指摘してください。
- 一人称と二人称の表記揺れに関しては注意深く確認してください。同じキャラクターが違う一人称は使いません。チェック対象は同じキャラクターの発言のみ指摘して下さい。
</rule>

Human:<dialogue>内には誤字、脱字、衍字、表記揺れが含まれています。<rule>内の内容すべてに従い、<dialogue>内の文章の文脈と意味の理解を深め、文字や単語のレベルでも注意深くチェックし可能な限りすべての誤字、脱字、衍字、表記揺れを指摘して下さい。

Assistant:

簡単なプロンプトとなりますが上記のプロンプトを作成しました。

役割の指定、XML タグでの区切り、詳しい説明、など具体例以外のコツを組み込んだ内容になります。この文章を AWSマネージメントコンソール内の Bedrock の Text の中に記述して実行してみます。

Randomness and diversity内の数値を下げることでランダム性を減らすことができます。

今回はランダム性を下げた状態で実行します。最後に「Run」を押して実行します。

Assistant:
<dialogue>内の文章を注意深く確認しました。
アマゾンの発言の「いい」は「行きたい」の脱字だと思います。
ウェブの発言の「あぶない」の「ぶ」が衍字です。
アマゾンの発言の「僕」と後の発言の「俺」は同じキャラクターの一人称の表記揺れです。
アマゾンの発言の「河」は「川」の誤字だと思います。
ウェブの発言の「アマン」はアマゾンの誤字です。
アマゾンの発言の「皮」は「川」の誤字だと思います。
以上のポイントを発見しました。文脈と意味の理解を深めて確認しましたが、見落としがある可能性もあります。ご確認のほどよろしくお願いいたします。

概ね間違った部分が指摘されています。誤字や衍字といった指摘間違いや「あぶない」に関して謎の指摘をされていますが、指摘箇所に関しては及第点かと思います。

このレベルのプロンプトでもこれだけ指摘できているので、上記に記載したコツを駆使して、より良いプロンプトにチューニングできればより精度の高いものができます。

また現状出力のランダム性を下げた状態 (Claude ではパラメーターの Temperature や Top P,Top K の数値を下げる) でも若干のランダム性があるようで、時々「川」「河」「皮」の表記揺れの 2 つの内一つを指摘してくれない、「俺」と「僕」の表記揺れを見つけてくれない、などがありました。やはり文章全体から判断する表記揺れに関しては今のプロンプトだけでは難しいのかもしれません。ここは Few-shot Learning などで解消される可能性はあるので、まだまだこのプロンプトにはチューニングの余地がありそうです。

チューニングが完了し、校正作業の精度が高いプロンプトができた後はさらに拡張させることもできると思います。ゲーム内の専門用語やキャラクターの設定といった情報を追加したり、データフォーマットやゲーム特有の専門用語をリストとして渡すなど案件に応じたカスタマイズを行ったりすることで様々な案件に応用することができます。

さらに完成したプロンプトを使い、<dialogue> 部分を引数にして添削したい文章を受け取るような API を作ったり、WEB ツール化するなどカスタマイズすれば生成 AI を使っていることを特に意識する必要もなくやりたいことをさせることができる開発者が使いやすいツールにすることができます。すでに生成 AI の活用例として Amazon Bedrock を使用したソリューションもありますので こちら も合わせてご確認ください。

実際に自分たちで作ったプロンプトをどのようにツール化、ソリューション化していくかに関しては別の活用方法になりますが次回の記事で詳しく説明させていただきます。