MITRA-lexicon: корпусная запись того, как санскритские буддийские термины передавались по-тибетски, по-китайски и по-английски

Что выпущено

19 октября 2026 года Себастьян Нердих (Sebastian Nehrdich), Кэнго Харимото (Kengo Harimoto), Свен Зельмер (Sven Sellmer) и Оливер Хельвиг (Oliver Hellwig) разместили на arXiv препринт с описанием MITRA-lexicon — шести однонаправленных словарей между санскритом и английским, тибетским и китайским языками. Авторы сообщают о 2,18 миллиона заголовочных статей и 10,4 миллиона засвидетельствований; каждое засвидетельствование связано со своей парой предложений и позициями символов санскритского слова и его эквивалента. Значения упорядочены по частоте. ^[1]

Данные опубликованы в тот же день на GitHub как выпуск v1.1 вместе с кодом, оценочными данными и веб-интерфейсом в бета-версии. В выпуск добавлен китайско-тибетский словарь, который в статье не описан. Интерфейс сообщает, что это не словарь, составленный вручную: пары извлечены автоматически, поэтому соответствие может быть ошибочным, неполным или смещённым, и следует читать всё предложение. ^{[2] [3]}

Как он построен

Санскритско-английские словари получены из корпуса Mitrasaṃgraha (395 528 пар предложений); санскритско-тибетские и санскритско-китайские — из MITRA-parallel v3 (566 068 и 340 691 пара). Исключены восемнадцать текстов, санскрит которых полностью или частично является современной реконструкцией с тибетского или китайского перевода. ^[1]

Санскритская сторона сегментируется и лемматизируется анализатором ByT5-Sanskrit. Коммерческая языковая модель (Gemini Flash) разметила 9 366 обучающих примеров; затем меньшая модель на основе MITRA Qwen3.5-9B была дообучена копировать каждый перевод и отмечать фрагмент, передающий каждое санскритское слово. Обработка трёх корпусов заняла около 36 GPU-часов. Модель выравнивания опубликована отдельно, и в её карточке отмечено, что её показатели измеряют согласие с моделью-учителем, а не правильность. ^{[1] [4]}

Насколько он надёжен

При строгом сопоставлении со справочными словарями первое по рангу значение совпало со словарём для 58,2% санскритско-тибетских заголовочных слов (Negi), 53,0% санскритско-китайских (Hirakawa) и 36,6% санскритско-английских (Monier-Williams вместе с Apte). Авторы называют эти цифры нижними границами, поскольку словари охватывают более узкий набор текстов и содержат собственные ошибки. Согласие растёт с частотой: для заголовочных слов с не менее чем 100 засвидетельствованиями главное санскритско-тибетское значение подтверждалось в 84–90% случаев. ^[1]

Эталонные выравнивания есть только для пары санскрит–английский: 100 предложений независимо выровняли три санскритолога, альфа Криппендорфа между ними составила 0,77; модель достигла F1 88,4 относительно их решения большинством. В статье перечислены и другие ограничения: ошибки анализатора и электронных текстов превращаются в неверные леммы, словоизменительные формы целевого языка рассеивают свидетельства по разным значениям, в английском словаре преобладают несколько крупных эпических и пуранических текстов, редкие заголовочные слова содержат больше ошибок, а этап разметки зависит от коммерческой модели. В репозитории статья названа находящейся на рецензии для ISCLS 2027, то есть это препринт, а не рецензированный результат. ^{[1] [2]}

Лицензии и повторное использование

Поскольку каждое засвидетельствование воспроизводит свою пару предложений, словари наследуют лицензии исходных текстов. Санскритско-тибетский, санскритско-китайский и китайско-тибетский словари выпущены под CC BY-SA 4.0. Санскритско-английский словарь существует в двух версиях: версия CC BY-SA 4.0 с 92,3% засвидетельствований из текстов под CC BY-SA и полная версия под CC BY-NC-ND 4.0, в которую добавлены засвидетельствования из текстов под CC BY-NC-ND и из частей корпуса без указанной лицензии. Эталонные данные и данные учителя — CC BY-NC-ND 4.0, код — MIT, модель выравнивания — Apache-2.0. ^{[2] [4]}

Лицензия словаря не решает вопрос о правах на любой другой корпус, скан или перевод. Чтение термина в интерфейсе не даёт разрешения переиздавать исходные тексты или обучать на них модель сверх их собственных лицензий. Авторы просят публичные приложения указывать проект Dharmamitra. ^[2]

Как пользоваться осторожно

Найдите термин на санскрите, тибетском (Unicode или Wylie) или китайском, выберите целевой язык и читайте засвидетельствования в контексте предложения, а не только заголовочное слово. Считайте частоту свидетельством узуса переводчиков, а не вердиктом о правильном эквиваленте; редкое значение с единственным засвидетельствованием может быть ошибкой выравнивания. Отдавайте предпочтение заголовочным словам с несколькими засвидетельствованиями, отмечайте, из какого собрания взято засвидетельствование, и при цитировании записи фиксируйте версию выпуска и лицензию. ^{[1] [3]}

Для Matreya это практический инструмент проверки терминологии на наших языках и задокументированный пример корпусного ресурса, учитывающего разрешения: лицензии указаны для каждого файла, а построение можно воспроизвести по опубликованным коду и данным. Мы не воспроизводили заявленные цифры сами, и словарь не заменяет чтение отрывка специалистом. ^{[1] [2]}

Редакционная заметка

Авторы благодарят Tsadra Foundation за финансирование вычислительной инфраструктуры и раскрывают использование генеративного ИИ для программирования и для языка статьи. Эта статья и её переводы подготовлены с помощью ИИ; специализированная языковая проверка не завершена. ^[1]