log

LLM生成diffをfuzzyに適用するワークフロー検討

チャットセッションの文字数制約下でLLMに生成させたdiffを、@@ヘッダのハルシネーションや微妙な関数名の間違いを吸収しつつ安全に適用するための、既存ツール組み合わせによるワークフローを検討したログ。

背景

チャットセッションの1メッセージあたり文字数上限が低いため、LLMにコード変更を依頼する際、全文出力ではなくdiff出力を選ばざるを得ない場面が多い。しかしLLM生成diffには以下の問題がある:

  • @@ -42,5 +42,7 @@ の行番号カウントがハルシネーションする
  • 関数名・変数名が微妙に間違っている(getUserName vs getUsername)
  • コメント行や空行の差異でコンテキストマッチが外れる
  • ファイルパスが曖昧・相対パスの起点が違う

全文出力させるのが最も確実だが、文字数制約下では現実的でない。苦肉の策としてのdiff運用を、既存技術の組み合わせで安定させたい。

目的

新規発明は避け、枯れたツールの組み合わせで以下を実現する:

  • diffを配置したら、リポジトリ内の適用先候補を一致率スコアで上位3件表示
  • 90%以上一致 かつ 他候補が50%以下なら自動適用
  • 複数候補が拮抗する場合は目視確認
  • 全操作をログ保存、怪しい箇所は対話セッションで確認

検討した既存ツール

diff適用系

ツール役割評価
patch --fuzz=N位置ズレをN行まで許容枯れている、標準
git apply --recount --reject@@カウント無視、失敗箇所を.rejに分離これだけで8割解決の見込み
git apply --3way3-wayマージでコンフリクト解決Git環境なら有効
wigglepatchが諦める箇所も文脈類似度で当てる2003年〜、Linuxカーネル実績
recountdiff (patchutils)@@カウントを機械修正する前処理前処理として有効
filterdiff (patchutils)diffから特定hunkを抽出前処理として有効

検索・スコアリング系

ツール役割
ripgrep --multiline複数行パターンのリポジトリ内検索
fdファイル名検索
Python difflib.SequenceMatcher一致率スコアリング(標準ライブラリ)
Python difflib.get_close_matches関数名の類似候補提示(標準ライブラリ)
tree-sitterAST比較(フォーマット差異を無視、最終手段)

ログ・対話系

ツール役割
script全操作の記録(Unix標準)
patch --dry-run事前確認
JSON構造化ログ判定結果の機械可読保存

ワークフロー設計

1. diffを配置
↓
2. recountdiff で @@ カウントを機械修正
↓
3. git apply --recount --reject --check で事前確認
├─ 全hunk通る → 適用して終了
└─ 一部失敗 → 4へ
↓
4. 失敗hunkを filterdiff で抽出
↓
5. ripgrep で候補ファイル列挙
↓
6. difflib.SequenceMatcher で一致率スコアリング(コメント・空白正規化後)
↓
7. 判定
├─ 90%以上 & 他50%以下 → 自動適用
├─ 複数拮抗 → 目視確認プロンプト
└─ 全部低い → 対話セッション行き
↓
8. patch --fuzz=3 で適用
↓
9. 全操作を script でログ、判定結果をJSONで別途保存

正規化ルール(一致率向上)

コメント行や空白差でマッチが外れる問題への対処:

def normalize(code):
# コメント除去(言語別)
code = re.sub(r'//.*$', '', code, flags=re.M)
code = re.sub(r'#.*$', '', code, flags=re.M)
code = re.sub(r'/\*.*?\*/', '', code, flags=re.S)
# 連続空白を1つに
code = re.sub(r'\s+', ' ', code)
return code.strip()

これで体感の一致率が跳ね上がる。それでも足りなければ AST 化を最終手段として持つ。

実装規模の見積もり

  • シェルスクリプト骨格: 30行
  • Python 抽出・スコアリング: 200行程度
  • ログ整形: 50行程度

合計 300行以内で最初のバージョンが動く。既存ツールの薄いラッパー。

LLM側プロンプトでの対策(併用推奨)

ツール側だけでなく、diff生成時のプロンプトで守らせる:

  • @@ ヘッダは書かなくてよい(recountdiff で補完する)
  • 変更対象の前後3行のcontextを必ず含める
  • 関数名・変数名は完全一致で書く、曖昧なら質問すること
  • ファイルパスは相対パスでリポジトリルート起点

プロンプトで対策する方がツール自作より軽いという視点も持つ。

段階的構築計画

一度に作らず、以下の順で必要になった分だけ追加する:

  1. git apply --recount --reject を毎回試す(導入30秒、8割解決の見込み)
  2. 失敗した .rej を手動確認する運用に慣れる(1週間)
  3. .rej が頻出するようなら Python スコアリングを追加(半日)
  4. 対話プロンプトとログ保存を追加(半日)
  5. 慣れてきたら diff 生成プロンプト側も磨く

1 で足りるなら以降は不要。まず標準機能で回してから、足りない部分だけ自作を積む。

判断保留事項

  • AST比較(tree-sitter)を導入するかは、コメント・空白正規化の効果を見てから判断
  • ログのJSON構造化を最初から入れるか、後付けするかは実装コスト次第
  • 対話UIをCLIプロンプトで済ますか、簡易TUI(fzf)を使うかは運用してから判断

関連

  • diff適用が安定すれば、ADRで固定した実験場アプリの反復開発サイクルも高速化する
  • 本ログの内容は運用実績が溜まった段階で type: reference の記事に昇格させる想定

次アクション

  • git apply --recount --reject を今週の作業で毎回試す
  • .rej の発生頻度と失敗パターンを1週間観察
  • 頻度が高ければ Python スコアリングスクリプトの実装に着手