やりとり

senko:

• dx界隈としてもaiがつけた絶対値をパラメータチューニングなくそのまま使う（KADOKAWAの初期でやっていたスコアリングやスイス式などの形式がそれにあたる）のは、ほぼ御法度として扱っている動きが国内でも既に多いと思います！
• あくまでも特徴量評価と分類タスク以外は実務上はさせないのが基本かと思います！

konpyu:

• バイアスの抑制を相当に工夫しないと意味のある評価にならず、コスパ良い方法なのか怪しい　という感じでしょうか。ここでいう"特徴量評価"とはどういうworkloadでしょうか

senko:

deep leaningでいう特徴量の意味と同じです！根本的な話でいうと、llmで何かを判定させる時に数字を出力をさせるという行為が出来るが故に誤解が多いのですが

これはどう？1か2で答えて

という依頼に

1

• という出力が出たときに、それはあくまでも定量的には扱えない定性的なものであるという視点で出力を扱わないと誤差範囲が落ち着かないよね。っていう話ですね。
• 人間が求める曖昧な理想に対する処理なので、誤差ゼロには出来ないんですが、

あくまでも機械が行った人間では理解しきれない謎の評価軸での定性的な程度評価である。

• っていう前提で
  • 再試行させ確率論的にばらつきを減らす
  • 確定化のために複数の出力で軸をつくり総合的に値を特定する
  • 評価させる要素については評価行為単位では可能な限り狭くする
• あたりを踏襲するのが今出来ることって感じかと思います。

曖昧なものを人間がよく使う尺度である程度当てる

• っていう業務能力自体はかなり高くはあるんですが、やらせる仕事のN数が多いなら向き合う精度（認められる誤差範囲）が厳しくなるので、それ相応にリスクヘッジをする。みたいなフラットに見れば理系的な当たり前な観点ともいえます！

senko:

• バイアスがあるよね。というよりは自然言語で指示が出来るが人間と同様に確定的な論理的な処理が出来ない。っていう前提で見れればある程度のケースは対策は事足りるかと思います！

konpyu:

• なるほどですね。
• 多数決にするとか、軸を増やすとか、分類タスクにするとか、LLMが得意なことや精度上げはやらせつつ、最後は総合判断ってことですかね。
• LLM（もしくは古典的なMLや統計）で、いろいろ特徴量を出した後に、結局の Go / Not Go を判断しないといけないですよね。
• それは古典的なMLやルールベースでなんか全然いけそうな気がしますがどうなんだろう

senko:

• そうですね。
• 多数決系はやや絶対値的扱いなので、多数決をやる場合は人格の分散が行われるような指定や、参加者としての適切さの配慮がない場合だと同じAIでランダム分散する投票とほぼイコールなので要注意ですね

senko:

• 結構古典的なパラメータチューニングの発想はかなり使えることが多いですね
• パラメータチューニングの難易度および必要なデータ量が爆下がりはしているけど、そういったケアノータッチでいけるほどの脳みそではないというかそもそもやらせている仕事が曖昧というか。

konpyu:

• 人格の分散の仕方もまた論点多そうだなあ〜

「①タグ抽出 → ②確率校正 → ③軽量 ML／ルールで Go / Hold / NG」 という三段構えは、じつは LLM よりはるか以前――2000 年代のスパムフィルタや Facebook の EdgeRank などで確立した"古典的パイプライン"をそのまま拡張したものです。違いは 「タグ（特徴量）を手づくり or n-gram で作っていた部分を LLM が代替した」 だけ。

• ↑当たり前に聞こえるが抜け落ちていた発想だったかも.....!!

senko:

• そうですね！
• 議論によく出るスイス式とかも、あれは全体的アプローチではなく到底のタグの分類をするというレイヤーの方法論なので、タグ別特徴量評価→パラメータチューンによるタグへの重みづけ→総合評価という全体的なパイプラインとは決して二校対立にならない話なんですよね。
• 1タグの処理方法の話を全体的な性能の実現方法に飛躍してしまわなければ大体の能力は積み上げていけると思います。