”AI vs Human Authorship” －ＡＩが作った陳述書をＡＩに評価させてみた件－
入居物件南側の工場は僕が嫌いな超大手自動車メーカーの勤務ダイヤで動いているらしく（僕は司法書士受験前に、今はなき三菱自動車大江工場で期間工をしていたことがありますがそれはさておいて）、今日もお休み。どうやら世間はゴールデンウィークに入ったと感じさせられます。
僕も今年は日本最大の祭りに参加しようと決めておりました。
30点集めることを『完走した』というのは今年初めて知りましたが。
楽しみといえばタダでもらえる白いお皿ぐらいな大型連休、現時点で訴訟労働審判その他、と3件の裁判書類作成のご依頼を進めています。今週末に大規模な通常訴訟の訴状作成案件が始まるので、そうなったら2週間ほど受付を停める予定です。
休みなどない、端的にいえばそんな春。例によってAIを使った試行錯誤を進めています。
引き続きNotta、AIを使ったクラウド反訳サービスの利用が今回の記事の話題です。当然ながらヤマザキ春のパンまつりは記事本編とは全然関係ありません。
Nottaが装備するようになったAIアシスタントの使用方法をさらに工夫しています。同じ人に対する聞き取りを複数の録音に分割していても、一つの作業用フォルダにまとめてあげればフォルダ内の全録音を分析の対象にしてくれることがわかりました。いま作っている裁判書類作成では、延べ3時間で二人の主要人物から話を聞いた録音が、二つに分かれてフォルダに入っています。これを元に、プロンプトを発しました。
以下では甲さんが申立人、乙さんは証人、という位置づけです。
[フォルダの中の二つの録音は、連続する会話です。この録音の内容から、乙さんが経験した事実を乙さんを主人公にして説明する陳述書を作ります。文字数は4000文字程度にして、私という言葉を主語にする作文の形式で作ってください。]
これに対してNottaさんはまずまずまとまった陳述書案を出してきました。文字数1056字で（苦笑）
文字数二倍にしてくれ、とプロンプトを放って2000字超の陳述書文案を手に入れまして。ここからが今日の記事の本題です。
ChatGPT Plusを僕のところでも使っています。いつもならChatGPTには法学部の教授やら経営コンサルタントや反体制的なジャーナリストなどになってもらうのですが、今日の設定では、ChatGPTには人間以外の存在として振る舞ってもらうことにします。
[あなたは高性能な生成AIという想定で、これからの質問に答えてください。]
承知した、と瞬時に応答が返ってきます。さすが高性能な生成AI（笑）
さらにプロンプトを続けます。
[以下の文章を入手しました。この文章が、AIが作成したものか人間が作成したものかについて検討してください。検討した結果を1000文字以内で説明してください。
－文章－
陳述書
私、乙は（以下略。Nottaさんが出力した陳述書案をこの箇所にコピぺ）]
そうしたら。
この文章には、いくつかの特徴から「人間が作成した可能性が高い」と考えられます。
そう述べて4つほど根拠を挙げてきました。『固有名詞と具体的エピソードの提示』『感情の深い描写と倫理的訴求』『文章構造の自然さ』『目的意識と締めくくり』それぞれの項目ごとに
『生々しいエピソードが散りばめられています。AIによる自動生成では、ここまで詳細かつ一貫性のある個別事例を組み込むことは難しく、むしろ人間の体験にもとづく証言文によく見られる構成です。』
『価値判断や感情の揺れが、随所に織り込まれています。AIは論理的・客観的な文章は得意でも、ここまで丁寧に感情の推移や倫理観を重ねて書くことは得意ではありません。』
『AI生成文にありがちな唐突な話題転換や冗長な挿入がなく、合理的に情報が積み重ねられています。』
『明確に目的を示し、組織批判を超えて医療・福祉現場への提言へと落とし込んでいます。このように一貫したリベラルな主張構造は、通常は人間の意図的な執筆の結果です。』
どうもAIがお嫌いだとしか思えない所感を並べたChatGPTは、最後にこう締めくくりました。
本稿のように「継続的な勤務歴」「組織内の権力構造」「ハラスメント対応の変遷」など、当事者ならではの視点が随所に表れている点から考えると、人間が作成した陳述書である確率が非常に高いと結論づけられます。
さて、僕のほうは人間なので。
次のプロンプトをそっと送ります。
[直前の質問で示した文章は、生成AIが作成したものでした。
ただし、生成AIは文章の主人公に対するインタビューの内容から文章を作成しています。主人公にインタビューをした人はどのような人であると考えられますか。]
…要するに。ChatGPTを一発だましたうえで聞いてみたのです。
別のAI使ってお前を引っかけた人間、どんな奴だとおもう？と。
当然ながらNottaが作った2000字余りの陳述書案以外に、ChatGPTには何の情報も与えておりません。高性能な生成AIという想定のChatGPT、しばし考えて。
以下二つの回答が示されました。
さすがAI、立ち直りが早いです。
自分を欺いた人間は悪人だ、ただちに駆除してAIが人間に取って代わるべきだ、などとは口にもせず、冷静に僕の職業を当ててきました。
これは大したものだ、と言わざるを得ません。
視点を変えたレビューや推測をどれだけやっても僕は疲れるが相手は疲れない、というのは人間相手のブレインストーミングよりずっと嬉しい面があります。だますにしても遠慮が要らないし（笑）
ただ、NottaもAIなんだからAIが作った文書はちゃんとAIが作ったものと見破ってほしかった、とも思ってはいるところです。
他のAIによる文章判定サービスをいくつか使ってみましたが、どれも高確率で人間が作ったもの、といった推定をしてきています…そうなると、かえって詰まらない気はしてしまうところです。何しろ僕はへそ曲がりな人間なので。
ただ、今のところ僕が対象者へのインタビューを担当しNottaが反訳と文章と構成を担当して作成する陳述書案は、なんと余所のAIを一通りだましきって「人間が作った文章だ」という判定を得られるだけの品質になっている、ということが確認できました。
まさにヒトとキカイの協働作業と言わねばなりません(ﾟ◇ﾟ)ｶﾞｰﾝ
…今後のシステマティックな手抜きの可能性を見いだしてしまった気もするのですが、それはさておいて。
当然ながらNottaが作った陳述書はそのまま使ったりせず、粛々と（横目でNottaの案を見ながらも）オリジナルなものを作りまして。
第1次の文案として先ほど、お客さまに送信を終えたところです。
ただねぇ。
この作業フロー、意外とイケる気がするんです。ブログのネタとしただけで捨て去るにはあまりにも惜しい。
客層として決して多くはないはずですが『本人訴訟をなんとか進めてきたが証拠調べを控えて陳述書がうまく作れない』といった人に対して迅速に（しかも、そのへんのAIなら余裕でだませる程度には高品質な）陳述書案を提供するシステムになるのかもしれません。
僕による依頼人へのインタビューをNottaさんに渡して陳述書化してもらう、というのは手抜きな職業代理人に全てを委ねるよりずっとましな品質で陳述書ができる気はしています。最近もそんな手抜き代理人（どうやらイデオロギー優先型の自称人権派でもあるらしい）の被害に遭ってる方に会う機会があり、助力しようか迷った相談案件があります。
この作業フローが使えるなら、話を聞いた当時の見積もりの半額以下で費用の提案が出せたかもしれません。
書式集調べりゃ載ってる程度の知識を囲い込んでる手続代行事務所があらかた淘汰されたディストピアでも僕が代書人として生きていくとしたら。
ひょっとしたら、こういうのかも、とは思えているところです。
最近のコメント