MITRA-lexicon：基于语料库记录梵文佛教术语在藏文、汉文和英文中的译法

发布了什么

2026 年 10 月 19 日，Sebastian Nehrdich、Kengo Harimoto、Sven Sellmer 和 Oliver Hellwig 在 arXiv 上发布预印本，介绍 MITRA-lexicon：梵文与英文、藏文、汉文之间的六个单向词典。作者报告有 218 万条词头条目和 1040 万条实证，每条实证都链接到其句对，并给出梵文词及其对应词的字符位置。义项按出现频率排序。 ^[1]

数据于同日在 GitHub 以 v1.1 版本发布，附带代码、评测数据和一个测试版网页界面。该版本新增了论文中未描述的汉—藏词典。界面声明它不是人工编纂的词典：词对由自动方法抽取，匹配可能错误、不完整或错位，应阅读完整句子。 ^{[2] [3]}

如何构建

梵—英词典来自 Mitrasaṃgraha 语料库（395,528 个句对）；梵—藏和梵—汉词典来自 MITRA-parallel v3（分别为 566,068 和 340,691 个句对）。十八部梵文全部或部分由藏译或汉译现代回译而成的文本被排除。 ^[1]

梵文一侧用 ByT5-Sanskrit 分析器进行切分和词形还原。一个商业语言模型（Gemini Flash）标注了 9,366 个训练样例；随后基于 MITRA Qwen3.5-9B 的较小模型经过微调，用于复制每句译文并标出对应每个梵文词的片段。对三个语料库的挖掘耗时约 36 GPU 小时。对齐模型单独发布，其模型卡说明其分数衡量的是与教师模型的一致程度，而非正确性。 ^{[1] [4]}

可靠程度如何

在严格匹配下与参考词典比较，排名第一的义项与词典一致的比例为：梵—藏词头 58.2%（Negi）、梵—汉词头 53.0%（Hirakawa）、梵—英词头 36.6%（Monier-Williams 合并 Apte）。作者称这些数字是下限，因为这些词典覆盖的文本范围更窄，并且本身也有错误。一致率随频率上升：对于至少有 100 条实证的词头，梵—藏首选义项在 84–90% 的情况下得到确认。 ^[1]

黄金对齐只存在于梵—英：100 个句子由三位梵文学者独立对齐，三人之间的 Krippendorff alpha 为 0.77；模型相对于他们的多数决定达到 88.4 的 F1。论文还列出其他局限：分析器和电子文本的错误会传导为错误的词目，目标语的屈折形式会把证据分散到不同义项，英文词典由少数大型史诗和往世书文本主导，罕见词头错误更多，而标注步骤依赖商业模型。代码库称论文正在接受 ISCLS 2027 的评审，因此它是预印本，而不是经同行评审的结果。 ^{[1] [2]}

许可与再利用

由于每条实证都复制了其句对，这些词典继承了来源文本的许可。梵—藏、梵—汉和汉—藏词典以 CC BY-SA 4.0 发布。梵—英词典有两个版本：一个是 CC BY-SA 4.0 版本，包含来自 CC BY-SA 文本的 92.3% 实证；另一个是完整版本，以 CC BY-NC-ND 4.0 发布，并加入来自 CC BY-NC-ND 文本以及未注明许可的语料切分的实证。黄金数据和教师数据为 CC BY-NC-ND 4.0，代码为 MIT，对齐模型为 Apache-2.0。 ^{[2] [4]}

词典的许可并不决定任何其他语料、扫描件或译本的权利。在界面中阅读一个术语，并不授予再发布来源文本的许可，也不授予超出其自身许可范围之外用其训练模型的许可。作者请求面向公众的应用注明 Dharmamitra 项目。 ^[2]

谨慎使用的方法

用梵文、藏文（Unicode 或 Wylie）或汉文检索一个术语，选择目标语言，并在句子语境中阅读实证，而不是只看词头。把频率视为译者用法的证据，而不是对正确对应词的裁定；只有一条实证的罕见义项可能是对齐错误。优先选择有多条实证的词头，注意实证所属的文集，引用条目时记录发布版本和许可。 ^{[1] [3]}

对 Matreya 而言，这是跨我们各语言核对术语的实用工具，也是一个有文档记录的、尊重许可的语料资源范例：每个文件都注明许可，构建过程可以用已发布的代码和数据复现。我们没有自行复现所报告的数字，这部词典也不能替代专家对段落的阅读。 ^{[1] [2]}

编辑说明

作者致谢 Tsadra Foundation 资助计算基础设施，并披露在编程和论文语言方面使用了生成式 AI。本文及其译文在 AI 辅助下完成；专业语言审校尚未完成。 ^[1]