log

Parlourite Notes 方向性(生思考ログ)

Parlourite Notes 方向性

1. 背景

きっかけ

ボードゲームプラットフォームParlouriteの開発をしていると、技術的な知見やLLM開発方法論が溜まってきた。有用な物が多く含まれておりこの記録を整理したい。

サポートLLMの選定

Blogを作るにしても使用するCode agentのレートリミット天井は低く、他の作業をさせる余裕はない。なので無料のChatでできる限りシステムを構築する。

現状

2. 方法、目的の詳細化

  • 認知負荷を最低限にして品質の高い記録を取る事を目的としたい。
    • 将来一般向けにシステム公開などは考えない様にする。
    • メインアプリ開発に影響が出ない様にする。
    • 自分が一番のユーザーでこれを役立てること。
  • 最低限の「見られている」自覚は出す。
    • 他者権利には十分配慮すること。
    • 技術の話をする時に企業名や個人名、作品名などが出したいこともあるかもしれない。
      • 確信がないうちは出さない。必要に応じて後続の調査タスクにする。
    • 読者語りかけなどはしない方向。
      • 目的がぶれる
        • ではなぜ公開するか?
          • 不変的な技術論を記録して共感が得られれば相互発展の役に立つ可能性があるため

3. 今感じている問題点の列挙

運用方法

  • 記事の書き方(運用方法)が決待っていない部分がある
    • やりながら改善していく。必要になった時に改善。→暗黙の運用方針
  • 古いフォーマットで書かれたものが書き直し必要になる可能性
    • LLMにコマンド生成させて一括書き換え
    • 都度後方互換を考える
  • 記事の書き直し基準を決めた更新運用 種別ごとに使い分けが既に品質に対する懸念がある
    • LLMの直出しは非合意事項が含まれ、微妙に意図が違う事がある
    • 人間によるレビューは必須。自分が読まないならそもそも「記録」という目的に沿っていない
    • 「後で精読する」をしたい事もある。draft版などタグ化して公開はするが残すか削除か検討する。
      • あくまでLLMは補助
    • 変更ログは追わない。記事毎のバージョン管理など面倒。
      • 将来自動化も検討。まずは管理なしでいく。(YAGNI)
      • 変更の方法を壁打ちで決める。
        • アイデア:マークダウンで取り消し線をつけて更新を斜体にする。コメント追加は>を使う。
        • 例:AB とする。

          owner260921: Aとしていたのは誤り

        • 書き方フォーマットをLLMと壁打ちで決める。「当たり前でハルシネーション起こさない手堅い方法」採用ツールスタックの確定にする。
        • 今プレースホルダーも[[R-XXXX]]で書いているがいいのか?{{}}とか一般的な書き方はあるのだろうか。
  • 日付はあるが、時間がないのでソート上問題がある。 - [ ] 時間のフィールドも追加する。これも一般的かどうか確認する。 - 時間フィールドはこだわって入力不要。ソート用と割り切る。
  • 最後部の「これを受け取ったLLMに対する指示」自体の更新。短いやり取りで効率よく情報を抽出する方法

記事内容

  • 「じゃあ何を書こうか」決まっていない
    • 今書いているこれでいい。普段はLLMのプロンプトにしていた様な思考の整理。
    • 記事として構造化してもそんなに負担じゃない。「log」についてはこだわりは不要とする。
      • 問題点:これを生で出すか?壁打ち後を出すか?両方出すか?同じ「log」か?
      • 結論:今決めない。ただし推奨はLLMに聞いておく。
        • 理由:量が増えたときに運用性など見えてくるため。始めは「自分が何を記録したいか」という素直な気持ちに従う。運用の為の運用をしない。
          • 気づき:シンプルに「やりたい事、解決できそうな困り事」を解決する為だけにこれをやればいい。
  • schemaの内容の更新が必要
    • 時間フィールドの追加
    • logにtitleがない。対称性の確認分析
  • 問題点(本書の最下面のLLMへの指示について):ADR, referenceへのリンクをlogに含めたいが作業順はlogを先にしたい。置換しやすいように仮のプレースホルダーを置いて、生成後に置換できるか?最悪置換しなくてもリンクが存在しない事は明確にしたい。 - なんならシステムとしてリンクが存在しなかったら表示上クリックできない様にするとか表示しない様にするとか。 - ノイズ少なくしたい。「明示的にプレースホルダー」か「リンクがある」か「リンクがない」か3種類の状態があると思う。

UI

  • モバイル対応
    • markdownの表や画像など大きいフォームが挿入されても画面に合わせて折り畳みできる様にする
  • markdownやmarmaidのサンプルを作って表示を試す。Astroはデフォルトでどこまで対応しているだろうか。

4. やりたい事、解決できそうな困り事

  • 今書いている様な大量の思考の垂れ流しを構造化して管理したい
    • 今もマークダウンで保管していてそれなりに回ってはいる
  • 各思考と決定をリンクして関連付けたい
  • 決定事項をLLMとの壁打ちに再利用したい。何度も同じことを言いたくない。
    • そういうのは普通は各ベンダーからパーソナライズとして提供されているのかな?
      • ただし、コンテキストに何が残っているかは不明示。
  • 技術選定の記録
    • 結局Tailwindって何なんだ?Tanstackってなんだんだ?Astroはどういう技術なんだ?など
      • 整理のための整理はしない。「知らなくてもできる」ことは知らなくてもいい。

気づき

  • LLMとの開発時代において、必要な思考法やツールが異なると思う。
    • 重要なのはいかに純度の高いコンテキストを一貫してLLMに渡すか。それをどうやって管理するか。
    • 壁打ちにおいてもその場の理解で終わらせず「成果物」を目的に進める。
      • その上手な成果物を作るための壁打ち方法論を作る。

5. 本記事について

  • 本記事そのものをLLMに食わせて、成型して、成果物を生成しないといけない。
    • この記事なら自分で書ける。問題はこの後の品質アップや、情報の抽出。
    • まずはそのパイプラインを考える。
      • 丁寧にやるなら…それが初めの指示か。
      • アプリ開発の決定を記録する前にブログシステム開発の記録をするのがこれの目的になりそうだ。
      • 知的実験として楽しいし、結果的に役に立つからそれでいい。嫌になったらやめる。

6. これを受け取ったLLMに対する指示。

1. 要約タスク (1 turn)
- 本書の要点を羅列せよ
- 各要点に対してデータが豊富で手堅い解決方法を挙げよ
2. 壁打ち (2-5 turn)
- 必要に応じて深堀り質問をする
- userが完了を判断する
3. レポート(log) (1 turn) as markdown format
- まずは本書のschemaを生成せよ。本プロンプトも独立した`log`である
- そして、`log` としてレポートを提出する
- 技術の内容も深めて書いてよい。テーブルなど視覚的な構造化を多用すること。必要に応じて次の壁打ちに活用しreferenceとして技術切り出しをする
- LLMの意見とuserの意見を混合しないこと。userの質問を一覧にし、それに対するLLMの返答を記載する。その時に反応がなかったものは合意でも不合意でもなく「保留」として扱う。
- 後でuserが仕分けできるように確認コメント欄を用意すること(確信度などを記載する)
- 具体的手法がコマンド・コードで明確な時はそれも含めること。ただし10行以上のコードの記載は基本想定していない(その時はreferenceとして生成する)
4. (optional) レポート(reference, ADR) (1-2 turn) as markdown format
- まず `log` までを完結した一つのタスクとして完了させる。生成のturnの中で、そのセッションの内容が`ADR`や`reference`として切り出せると考えた場合は、ファイル生成後に生成を提案すること。300行, 3000文字程度であれば1 turnで4つほど出力する事を想定する。品質を保てる方法を提案すること。
- なんでもかんでもADR, reference化しない。例えばUIの変更などは些細な事である。第三者が読む価値あるか、project内で再利用可能かという観点で提案する。リストアップして上位3つを提案という方法がいいかもしれない。
# Frontmatter Schema
## Decision (ADR)
```yaml
---
id: R-XXXX
title: string
date: YYYY-MM-DD # 初回作成日
status: decided # decided | superseded | deprecated | draft
tags: [string]
related: [R-YYY]
supersedes: R-YYY | null
superseded_by: R-YYY | null
raw_log: logs/YYYY-MM-DD-*.md
llm_summary: string
---

Reference

---
id: REF-XXXX
title: string
date: YYYY-MM-DD
last_updated: YYYY-MM-DD # 必須
status: evergreen # seed | growing | evergreen
tags: [string]
related: [R-YYY, REF-YYY]
llm_summary: string
---

Page

---
id: PAGE-slug
title: string
type: info # info | legal
date: YYYY-MM-DD
last_updated: YYYY-MM-DD # info の場合
effective_date: YYYY-MM-DD # legal の場合、必須
revision: 1 # legal の場合、必須
supersedes: PAGE-slug-vN | null # legal の場合
tags: [string]
---

Log

---
id: LOG-YYYY-MM-DD-slug
date: YYYY-MM-DD
noindex: true
related: [R-YYY] # 任意、後付け可
---

Pugh Matrix 埋め込み

記事本文中に Markdown テーブルで記述。ベースライン案を明示する。

| 案 | C1 | C2 | C3 | 合計 |
|---|---|---|---|---|
| Baseline (X) | 0 | 0 | 0 | 0 |
| A | + | - | + | +1 |
| B | ++ | 0 | - | +1 |

評価記号: ++ / + / 0 / - / --