1. モデルを選ぶ前に課題を定義
引用探し、訳文比較、初心者への伝統紹介は、別のデータと基準が要る課題だ。「仏教AIを作る」という大きな約束は違いを隠し、成功を定義する前の設備投資を促してしまう。
許可されたコーパスについて限られた問いに答え、根拠文を特定するのが最初の案だ。記録した条件下で誤参照が減れば成功になる。必要資料がなければ回答を控えるのが正しい場合もある。実験で主張する前に、資料許可、独立した設問、適格な確認者が必要な研究提案である。
2. 検索が生成に加えるもの
ルイスらは外部文書集へのアクセスと生成を組み合わせるRAGを提案した。[1] 実務上、資料を探すことと回答を作ることを分ける。索引はモデルのパラメータと別に記録・更新できるが、取得資料の忠実な利用は保証されない。
ツールは短い答え、根拠文、その周囲を見せ、検索失敗も知らせられる。正しい文書を見つけたか、適切な箇所を選んだか、結論がそこから導けるかを全経路で評価する必要がある。文章だけの改善は前段の失敗を隠しうる。構成名は信頼性の証明書ではない。
- 01問い→
- 02出典検索→
- 03引用付き回答→
- 04人による確認
Matreya 編集部の模式図。研究方法を説明するための図で、実験結果ではありません。
3. 実在する参照でも誤導しうる
モデルは実在文献を引用しながら、そこにない主張を帰属させうる。否定を見落とし、慎重な提案を断定へ変えることもある。仏典では注釈と経典、一派の立場と伝統間の合意も混同しうる。
ALCEは事実の正しさと引用の質を区別して評価する。[2] 出典があるか、箇所に関連証拠があるか、主張が証拠内かの三つを確認したい。原文内容、言い換え、解釈を見分けられる回答にし、リンクで版と訳文を点検できるようにする。差のある文献を平均して合意に見せず、違いを残す。
4. 失敗できる評価を作る
分かりやすい出典の問い、翻訳比較、前提が偽の問い、資料では答えられない問いを含められる。後二者は、控えるべき時に作話するかを明らかにする。
参照解答は評価対象モデルから独立に作る。一人が設問を作り別の人が参照を確認し、相違を記録して一部を最終評価へ留保する。検索あり・なしの比較には同じ設問、モデル版の記録、明確な予算が要る。平均値と失敗分類をともに示す。伝統の混同と訳者名の綴り誤りは別問題で、同じに扱うと改善しにくい。
5. 読者が指せる文章の住所を
本全体へのリンクは検証の大半を読者に移す。LongCiteは長い文脈の質問応答で細かい引用を研究する。[3] ここでの意義は、検索を全部やり直さず主張を確かめられる精度を与える方法にある。
安定した区分ID、写本葉の表裏、巻頁を住所にでき、検索順位には依存させない。隣の文が、後で批判される反対者の立場だと示す場合もあるため、文脈を残す。便利な検索断片への分割は関係を壊しうる。評価には技術とともに文献学・伝統の専門性が必要である。
6. 索引も他者の資料を使う
読む、複写する、抜粋を表示する、外部サービスへ送るのは別の用途だ。BDRCのアクセス方針は、資料を一律無制限と考えられない理由を示す。[4]
試作前に各資料集の出典、版、保存・表示条件、削除経路、責任連絡先と許可行為を記録したい。モデル提供者への文の送信も別途検討を要する。UNESCOのAI倫理勧告は説明責任と文化的多様性の参照になる。[5] 私たちの認証ではない。善意の声明に頼らず、実際のデータの流れを理解・訂正できるようにするのが実務的責任だ。
7. 確認者の責任には範囲が必要
英訳中心のシステムは訳の解釈を受け継ぎ、電子化が進んだ伝統が検索を占める可能性がある。中立をモデルに頼んでも欠損や偏りは直らず、資料構成と限界の記録が必要だ。
ボランティアは少数の参照や文類混同を確認できるが、仏教全体の正確さの無定義な保証は求められない。訂正には手順、責任者、重要変更を知らせる経路が要る。検索補助は悟りの評価や伝統を代弁する個別指導の権威を名乗らない。通常の画面動作も含め、実際に評価した課題に範囲を合わせるべきだ。
8. 小さな結果も有用
追加学習は特定した失敗に対応すべきだ。障害がOCR、名称欠落、メタデータ不足なら、学習を増やしても解けないかもしれない。よく記録した小さな検索ツールの方が価値と明確な研究証拠を与えうる。
検証済みの文章が、指定課題で引用精度を上げるかがMatreyaの問いだ。肯定、否定、課題次第のいずれも、方法と限界が公開されれば有用である。一つの資料集で改善しても仏教文献全般での信頼性は示せない。出典を探せ、誤りを直せ、未回答を認められると信頼が育つ。流暢さと規模だけでは智慧を示せない。
要点
- RAGは検索と生成を分けるが、忠実な回答を保証しない。
- 引用ごとに存在、精確な位置、証拠としての関係を確認する。
- 試行には簡単な成功だけでなく、答えられない問いと偽の前提も含める。
出典と参考文献
リンク先は原著論文、原典、機関の公式ページです。閲覧・再利用の条件は資料によって異なります。
- Retrieval-Augmented Generation for Knowledge-Intensive NLP TasksLewis et al. / arXiv, 2020
RAG構成の原論文。結果が仏教文献へ自動的に当てはまるわけではない。
- Enabling Large Language Models to Generate Text with CitationsGao et al. / EMNLP, 2023
ALCEベンチマークと引用付き回答の評価論文。
- LongCite: Enabling LLMs to Generate Fine-grained Citations in Long-context QAZhang et al. / arXiv, 2024
長い文脈の質問応答における詳細な引用。将来の私たちのツールの信頼性の証拠ではない。
- Access PoliciesBuddhist Digital Resource Center
アクセス条件が一様でないことを示す例。
- Recommendation on the Ethics of Artificial IntelligenceUNESCO, 2021
説明責任、権利、文化的多様性に関する規範的参照。
