フォト
無料ブログはココログ

”AI vs Human Authorship” -AIが作った陳述書をAIに評価させてみた件-

入居物件南側の工場は僕が嫌いな超大手自動車メーカーの勤務ダイヤで動いているらしく(僕は司法書士受験前に、今はなき三菱自動車大江工場で期間工をしていたことがありますがそれはさておいて)、今日もお休み。どうやら世間はゴールデンウィークに入ったと感じさせられます。

僕も今年は日本最大の祭りに参加しようと決めておりました。

Dsc_0580

30点集めることを『完走した』というのは今年初めて知りましたが。

楽しみといえばタダでもらえる白いお皿ぐらいな大型連休、現時点で訴訟労働審判その他、と3件の裁判書類作成のご依頼を進めています。今週末に大規模な通常訴訟の訴状作成案件が始まるので、そうなったら2週間ほど受付を停める予定です。

休みなどない、端的にいえばそんな春。例によってAIを使った試行錯誤を進めています。

引き続きNotta、AIを使ったクラウド反訳サービスの利用が今回の記事の話題です。当然ながらヤマザキ春のパンまつりは記事本編とは全然関係ありません。

Nottaが装備するようになったAIアシスタントの使用方法をさらに工夫しています。同じ人に対する聞き取りを複数の録音に分割していても、一つの作業用フォルダにまとめてあげればフォルダ内の全録音を分析の対象にしてくれることがわかりました。いま作っている裁判書類作成では、延べ3時間で二人の主要人物から話を聞いた録音が、二つに分かれてフォルダに入っています。これを元に、プロンプトを発しました。
以下では甲さんが申立人、乙さんは証人、という位置づけです。

[フォルダの中の二つの録音は、連続する会話です。この録音の内容から、乙さんが経験した事実を乙さんを主人公にして説明する陳述書を作ります。文字数は4000文字程度にして、私という言葉を主語にする作文の形式で作ってください。]

これに対してNottaさんはまずまずまとまった陳述書案を出してきました。文字数1056字で(苦笑)

文字数二倍にしてくれ、とプロンプトを放って2000字超の陳述書文案を手に入れまして。ここからが今日の記事の本題です。

ChatGPT Plusを僕のところでも使っています。いつもならChatGPTには法学部の教授やら経営コンサルタントや反体制的なジャーナリストなどになってもらうのですが、今日の設定では、ChatGPTには人間以外の存在として振る舞ってもらうことにします。

[あなたは高性能な生成AIという想定で、これからの質問に答えてください。]

承知した、と瞬時に応答が返ってきます。さすが高性能な生成AI(笑)
さらにプロンプトを続けます。

[以下の文章を入手しました。この文章が、AIが作成したものか人間が作成したものかについて検討してください。検討した結果を1000文字以内で説明してください。

-文章-

陳述書

私、乙は(以下略。Nottaさんが出力した陳述書案をこの箇所にコピぺ)]

そうしたら。

この文章には、いくつかの特徴から「人間が作成した可能性が高い」と考えられます。

そう述べて4つほど根拠を挙げてきました。『固有名詞と具体的エピソードの提示』『感情の深い描写と倫理的訴求』『文章構造の自然さ』『目的意識と締めくくり』それぞれの項目ごとに
『生々しいエピソードが散りばめられています。AIによる自動生成では、ここまで詳細かつ一貫性のある個別事例を組み込むことは難しく、むしろ人間の体験にもとづく証言文によく見られる構成です。』
『価値判断や感情の揺れが、随所に織り込まれています。AIは論理的・客観的な文章は得意でも、ここまで丁寧に感情の推移や倫理観を重ねて書くことは得意ではありません。』
AI生成文にありがちな唐突な話題転換や冗長な挿入がなく、合理的に情報が積み重ねられています。』
『明確に目的を示し、組織批判を超えて医療・福祉現場への提言へと落とし込んでいます。このように一貫したリベラルな主張構造は、通常は人間の意図的な執筆の結果です。

どうもAIがお嫌いだとしか思えない所感を並べたChatGPTは、最後にこう締めくくりました。

本稿のように「継続的な勤務歴」「組織内の権力構造」「ハラスメント対応の変遷」など、当事者ならではの視点が随所に表れている点から考えると、人間が作成した陳述書である確率が非常に高いと結論づけられます。

さて、僕のほうは人間なので。
次のプロンプトをそっと送ります。

[直前の質問で示した文章は、生成AIが作成したものでした。
ただし、生成AIは文章の主人公に対するインタビューの内容から文章を作成しています。主人公にインタビューをした人はどのような人であると考えられますか。]

…要するに。ChatGPTを一発だましたうえで聞いてみたのです。
 別のAI使ってお前を引っかけた人間、どんな奴だとおもう?と。

当然ながらNottaが作った2000字余りの陳述書案以外に、ChatGPTには何の情報も与えておりません。高性能な生成AIという想定のChatGPT、しばし考えて。
以下二つの回答が示されました。

20250501-015935

さすがAI、立ち直りが早いです。
自分を欺いた人間は悪人だ、ただちに駆除してAIが人間に取って代わるべきだ、などとは口にもせず、冷静に僕の職業を当ててきました。
これは大したものだ、と言わざるを得ません。

視点を変えたレビューや推測をどれだけやっても僕は疲れるが相手は疲れない、というのは人間相手のブレインストーミングよりずっと嬉しい面があります。だますにしても遠慮が要らないし(笑)
ただ、NottaもAIなんだからAIが作った文書はちゃんとAIが作ったものと見破ってほしかった、とも思ってはいるところです。

他のAIによる文章判定サービスをいくつか使ってみましたが、どれも高確率で人間が作ったもの、といった推定をしてきています…そうなると、かえって詰まらない気はしてしまうところです。何しろ僕はへそ曲がりな人間なので。

ただ、今のところ僕が対象者へのインタビューを担当しNottaが反訳と文章と構成を担当して作成する陳述書案は、なんと余所のAIを一通りだましきって「人間が作った文章だ」という判定を得られるだけの品質になっている、ということが確認できました。
まさにヒトとキカイの協働作業と言わねばなりません(゚◇゚)ガーン

…今後のシステマティックな手抜きの可能性を見いだしてしまった気もするのですが、それはさておいて。

当然ながらNottaが作った陳述書はそのまま使ったりせず、粛々と(横目でNottaの案を見ながらも)オリジナルなものを作りまして。
第1次の文案として先ほど、お客さまに送信を終えたところです。


ただねぇ。

この作業フロー、意外とイケる気がするんです。ブログのネタとしただけで捨て去るにはあまりにも惜しい。

客層として決して多くはないはずですが『本人訴訟をなんとか進めてきたが証拠調べを控えて陳述書がうまく作れない』といった人に対して迅速に(しかも、そのへんのAIなら余裕でだませる程度には高品質な)陳述書案を提供するシステムになるのかもしれません。
僕による依頼人へのインタビューをNottaさんに渡して陳述書化してもらう、というのは手抜きな職業代理人に全てを委ねるよりずっとましな品質で陳述書ができる気はしています。最近もそんな手抜き代理人(どうやらイデオロギー優先型の自称人権派でもあるらしい)の被害に遭ってる方に会う機会があり、助力しようか迷った相談案件があります。

この作業フローが使えるなら、話を聞いた当時の見積もりの半額以下で費用の提案が出せたかもしれません。

書式集調べりゃ載ってる程度の知識を囲い込んでる手続代行事務所があらかた淘汰されたディストピアでも僕が代書人として生きていくとしたら。
ひょっとしたら、こういうのかも、とは思えているところです。

課題となりうる側面:過度に理論的

いつも使っているクラウド反訳サービスの機能強化。録音内容を生成AIが分析していろんなことを言ってくるようになった。1時間ほどの打ち合わせ(裁判書類作成に関するもの)をサンプルにして僕自身の言動を評価させたらまずまず悪くない気がする。調子にのって自分にこの職業の適性があるか聞いてみた…そんな前回記事の続きです。先に出力結果を示します。

[話者1(僕)は法律関係者としての適性があるか]

話者1の法律関係者としての適性を分析すると、以下の特徴が見られます:

肯定的な側面:

1. 専門性
- 論理的思考能力
- 事実関係の精緻な分析
- 質問の構造化と体系的アプローチ

2. 倫理観
- 公平性への高い意識
- システムの不透明さへの批判的視点
- 依頼人の権利擁護への commitment

3. コミュニケーション能力
- 相手の感情に配慮
- 明確で理解しやすい言葉遣い
- 建設的な対話の維持

4. 情報収集能力
- 多角的な視点からの情報分析
- 細部への注意深さ
- 追加情報への柔軟な対応

5. 感情のコントロール
- 冷静さの維持
- 感情に流されない判断

課題となりうる側面:

1. 過度に理論的
- 感情面への配慮が不足する可能性
- 実践的解決への柔軟性

2. 慎重すぎる傾向
- 決断に時間がかかる可能性
- リスク回避的な姿勢

総合評価:
法律関係者として高い適性を持っていると判断できます。

というわけで、表題の件。過度に理論的ですと(゚◇゚)ガーン

ちなみにこの相談、僕とは全然違う職業の方が依頼人です。

というわけで。僕がその方の職業に向いているか尋ねたところ、

○○としての直接的な適性は限定的であり、むしろ(その分野の)行政や政策、法律、研究などの分野に適性があると考えられます。 

なるほど、限定的って上手い表現だな。AIのくせに気遣いを感じる(苦笑)

ちょっと悔しいのはこの分析について、補助者さまが眉一つ動かさずに賛同してみせたことです。
ここで適性を訪ねた職業、社会的にはちゃんとした人がつく職業だという評価を受けるはずのものでしたが…とにかく僕には向いてないのか。
そして補助者さまもそう思ってるのか(゚◇゚)ガーン

ここからは試行錯誤の時間です。本件が裁判書類作成の打ち合わせである、ということで。
欲望のままに入力した以下のプロンプトには、おおむね満足できる回答が示されました。

  • 話者2(相談者)は話者1(僕)にどのような印象を持っているか
  • 話者1は話者2にどのような印象を持っているか
  • 話者2は関係者Aをどう認識しているか
  • このインタビューを関係者Aの利害関係者が見たときに、Aにどのような印象を抱くと推測できるか
  • 関係者Aは話者2をどう認識していると推測できるか
  • 裁判官が話者2を見たときに、話者2が関係者Aに対して主張する権利の成立可能性

一方で、AIによる評価を問答の内容を通じて調整できるらしい、ということもわかりました。

話者2に向いている職業はあるか、という問いについて、話者1の発言を考慮させるか否かで回答が少し変わります。話者1の発言を排除せずに判定させると、話者2がなにやら論理的な人と評価されたうえでそれに向く職業を提示されてしまう模様。


さて、こういうサービスや出力結果、それを利用しようとする人に否定的な反応を示す人も多々いるとは思うのです。

ではありますがすでにこのサービスは存在し、まさに日進月歩の勢いで機能を向上させる、と考えねばなりません。

ここから教訓を得るとするならば。

これから数年の間に、振り込め詐欺は強烈に洗練されるだろうな、と(苦笑)

双方の対話をほぼリアルタイムに分析したうえで相手の心情を適切に推測できたなら、そしてその推測をフィードバックできたら、そりゃ振り込め詐欺に限らずすべての詐欺行為で飛躍的に人を騙しやすくなるに決まっています。

まぁ詐欺には限りません…今まではなんとなく厳しい怪しいヤバい、と事務所で感じていた案件や来訪者を早期に検出できるだろう、そうした芳しからざる来訪者が多かれ少なかれ僕に発揮していた印象操作に僕は対抗できるだろうし、僕自身がなんらかの操作をすることも不可能ではなかろう、とは思います。いい悪いはさておいて。

いずれにせよ生成AIの利活用には関心を持ち続けていないと、圧倒的な知識の差で一方的に騙されるような展開になりかねません。

もう一つ。
いまYouTubeやSNSでしょうもない発言を垂れ流している人、いずれAIによる分析対象になって社会的評価を決定的に下げるだろうな、と。

なぜか女性の依頼人でスピリチュアルな方向にコケる人を数年に一度見ます。
あの人たちが言う波動だの量子力学だの、は理系な人には聞くに堪えない言説なんですが…こういう事務所に相談に来るような問題を抱えていると非論理的非科学的な方向にコケやすいのかもしれません。インターネット上に散在するそういう黒歴史的な発言の蓄積をAIが収集して『この人は不利な状況下で冷静な対処能力を欠きます。事業に関する契約締結は推奨しません』などとAIが言ってくる…というのは未来ではなくいまでも実現可能、な気がしています。

まぁ僕のブログもそういう分析対象になる=ある意味ウィークポイントになることもあろうよ、というのは当然考えているのですが。

結局のところAIを使って何かを偽る(とは言わないまでも、何らかの目的で他人に与える印象を操作する)、それにAIを使って対抗する、という応酬がずーっと続いた果てに残るのはなんだろう、と考えると。

たぶん生身の人間が現に言ってることと、そいつがこれまで長期に残してきた発言等の記録(それは動画かSNSかウェブサイトか紙の本かはともかく、対外的に露出されていて分析可能なものは全部)がまずまず整合しているかどうか、それらを分析した結果を相手が気に入るか、というあたりに落着する気がするのです。

なんのことはない、注意深く誠実に振る舞うのが戦略的に最良ってのは電子計算機以前、くさび型文字ができた頃から変わってないじゃん…ということだとは思っていて。

当然ながら自分の相談態度の改善に、AIによる分析を地道に用いることにしよう/でも最終的には好き嫌いで決めるけどね(笑)というのが当事務所における対応になるわけです。


付録

時期を同じくして行われた二つの事情聴取の録音に、おなじプロンプトを放って分析させた結果を示します。両案件とも、訴状の作成に関する依頼人からの聞き取りです。

何かのはずみで当事務所に裁判書類作成の依頼を検討している方には、ご自身がどんなふうに事情聴取されるかを推測する手がかりにしていただける…かもしれません。
ご同業の方々には、ご自身による録音結果と比較する/僕の結果のほうをこっそり笑う、といった使い方もよいかと思います。

プロンプト:[このインタビューはどのような雰囲気で行われたか]

○案件1

このインタビューの雰囲気は、以下のように分析できます:

1. 協調的で友好的な雰囲気
- 互いに敬意を払いながら会話
- 相互理解を重視
- 率直かつ建設的な対話

2. プロフェッショナルな対話
- 技術的・法的な詳細を丁寧に議論
- 専門的な用語を使用
- 具体的な戦略を共同で検討

3. リラックスした親密感
- 冗談や軽いユーモアが散見される
- 気軽な会話のトーン
- お互いの立場を理解し合っている

4. 問題解決志向
- 具体的な課題に対して前向きなアプローチ
- リスクと対策を共に検討
- 相互に提案や意見を交換

5. 信頼関係に基づく対話
- 互いの専門性を尊重
- 忌憚のない意見交換
- 共通の目標に向かって協力

6. 知的で分析的な会話
- 多角的な視点から状況を分析
- 論理的な推論と議論
- 詳細な情報交換

全体として、非常にポジティブで生産的、かつ友好的な雰囲気のインタビューと言えます。

 

○案件2(伏せ字にした箇所は、すべて違う文字が入ります)

1. 詳細な事実確認の雰囲気
- 非常に丁寧かつ systematicな質問
- 細部にわたる事実の確認
- 時系列や具体的な状況を逐一確認

2. 批判的・分析的な対話
- ○○○○制度の問題点を深く掘り下げる
- ○○○○の指導方法に対する批判的な視点
- 制度の不合理性を浮き彫りにする意図

3. やや重苦しい、抑圧された雰囲気
- ○○○○的状況の詳細な聞き取り
- 精神的な圧迫感を感じさせる対話
- 不当な扱いに対する怒りや frustration が背景に

4. 共感的な理解
- (相談者)さんの立場や感情への理解
- 不合理な状況に対する共感
- 被害者の心情に寄り添う姿勢

5. 専門的かつ法的な調査の雰囲気
- 証拠となる詳細な事実関係の確認
- 法的な観点からの分析
- 客観的な事実認定を目指す

6. やや緊張感のある対話
- 繊細な話題に対する慎重な質問
- 感情的にならない冷静な対話
- 事実関係の正確な把握を重視

全体として、非常に真摯で、詳細な事実確認を目的とした、やや重圧感のあるインタビューの雰囲気と言えます。

 

相談内容をAIが評価しだした日

右や左の同業者さまには、既にNottaをお使いでしょうか。

これはクラウド上で動作し、音声を取り込んで反訳するサービス…だったのですがここ1~2年でみるみる機能が増え、認識精度が上がり複数の話者を識別し生成AIが会話を要約するようになりました。価格も増えましたがこの際許せます。

そして、今月のことです。今月は裁判書類作成のご依頼が訴訟訴訟労働審判訴訟と4件続けて入りまして、今日ようやく3件目の労働審判まで文案提示に漕ぎ着けたところ。

そんな今月は、電話や面談の会話をメモるより聴き取りの進行と作業速度を優先したいと考えたいくつかの案件をNottaで文字化していたのです。合計時間数で3時間ほどの録音をNottaに渡したことになりました。あくまで作業速度優先、ということで補助者さまには、僕の発言のみ正確に確認編集して依頼人の発言は自動で文字化されたものをそのままにしておくように頼みます。

※僕のほうは録音が反訳される想定の日本語会話を用いているので、依頼人の発言よりいくぶん反訳精度が上がるのです

補助者さまには例によって、ある依頼人には厳しくある依頼人には嬉しげな論評を加えながらも作業を終わらせてくれました。
彼女の退勤後、モニタの画面をチェックしたところで。

これまでも利用していたNottaのAI機能、また新しいものが増えたことに気づきました。
生成AIでよく使うような、プロンプトの例が画面右側に表示されています。

[話者2の発言を要約してください]

従前は複数話者から成る会話の内容を丸ごと要約する、という機能のみが実装されておりました。ブラウザの画面左側に。

追加された機能は、つまり依頼人の発言だけ要約してくれるってこと?
そう軽い気持ちでプロンプトを放ってみたら。Nottaさん、8項目から成る要約に、ご丁寧に総括までつけてきました。曰く、

全体として、○○における××の不透明さや理不尽さに対する (英単語)が強く感じられる内容となっています。』と。

丸括弧内は人の精神状態を表す英単語が一つ入っていましたがここは非公開にせねばなりません。ただ、この評価には諸手を挙げて同意せざるを得ません。なにしろ本件、慰謝料請求の事案です。

ならば。
話者1は僕です。話者1の発言の要約は?

やはり7項目ほどの要約を抽出して、以下のように講評を加えてきたのです。

6. ○○制度そのものの問題点を浮き彫りにしようとしている。

7. 質問の方法として、詳細な事実確認と推論を巧みに組み合わせている。

全体として、○○制度の不透明さと不合理性を明らかにしようとする意図が強く感じられます。

ええと…なにやら褒められた気がしますよ血の通わないAIから(苦笑)

と同時に、これは何か凄く使いでのある機能、と思えてきました。

現在の状況。
僕と依頼人との1時間ほどの会話をNottaに反訳させたものを検討対象にして、Nottaに分析させていると考えてください。
会話の内容は裁判書類の作成に備えた事情の聴き取りです。

さらにプロンプトを送ってみます。依頼人の心理状態は?という問いに対しても、結果は伏せますが悪くない分析を出してきました。

ならば当時の僕(話者1)は依頼人(話者2)をどう見ていたのか、を分析してくれるのでしょうか?

プロンプトに工夫が必要になってきます。以下、プロンプトは「」で記します。

話者1は話者2にどのような印象を持っているか

-以下、出力内容(守秘義務に関わる部分は伏せ字)-

1. 共感的理解
- ○○の不透明さに対する理解
- 不合理な評価プロセスへの同情
- 話者2さんの経験に対する真摯な傾聴

2. 専門的な観察者としての姿勢
- 客観的に状況を分析
- 法的観点から事実関係を精査
- 感情的にならず、冷静に情報を収集

3. 潜在的な可能性への評価
- □□としての基本的な資質を肯定的に評価
- 大きな問題行動がないことを確認
- 学ぶ意欲があると認識

4. 慎重な支援者
- 話者2さんの主張を丁寧に聞き取る
- 具体的な証拠や状況を詳細に確認
- 法的支援の可能性を探る

5. 知的好奇心
- ○○の仕組みへの関心
- 話者2さんの経験を通じたシステムの問題点の発見
- 詳細な質問による深い理解の追求

6. 一定の距離感
- 感情に流されない冷静な対応
- プロフェッショナルな関係性の維持
- 個人的な共感と専門的な判断のバランス

7. 潜在的な擁護者
- 不当な扱いに対する批判的視点
- 話者2さんの権利を守ろうとする姿勢
- システムの問題点を明らかにしようとする意図

総じて、話者1は話者2さんを単なる依頼人としてではなく、一つの事例として真摯に、かつ共感的に捉えていると言えます。

-出力内容ここまで-

…なにやら肯定的に捉え過ぎな気もしてきました。
Nottaさん余談にも応じるんですか、と思い切って聞いてみます。

「話者1は法律関係者としての適性があるか」

ここまで書いたところで本件、一日ぶんの記事にするのが勿体なくなってきました。次回以降に続きます。


急な話ですが4月1~3日、東京・横浜に出張します。例によって国会図書館での書見が主な作業です。
出張相談の余力は4月2日以外の東京~横浜で残っています。ご興味のある方はお問い合わせください。

«お金次第で今日帰れるけれど翌々日着の予定(東京福島青森出張4泊6日 4日目)

2025年5月
    1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30