ИИ и буддийские тексты: от убедительного ответа к проверяемой ссылке

1. Сначала задача, затем модель

Разговор об «обучении буддийского ИИ» часто начинается с инфраструктуры: сколько текстов собрать, какую модель выбрать, сколько вычислений купить. Однако эти вопросы имеют смысл после определения задачи. Поиск цитаты, сравнение переводов, помощь начинающему читателю и классификация рукописей требуют разных данных и разных критериев качества. Единственный показатель общей полезности скроет важные различия между ними.

Предлагаемый первый пилот «Матреи» касается точности цитирования. Он мог бы отвечать на ограниченные вопросы о разрешённом корпусе и показывать фрагменты, на которых основан ответ. Успехом станет не впечатление всезнания, а снижение числа неверных ссылок при понятных затратах. Для некоторых вопросов хорошим результатом будет отказ отвечать из-за отсутствия источника.

Это исследовательская постановка, а не описание уже проведённого эксперимента. До запуска необходимо выбрать корпус, договориться об условиях его использования, подготовить проверочные задания и привлечь людей, способных оценить язык и контекст. Модель может ускорить техническую работу, но не заменяет специалиста, который понимает, почему две внешне похожие цитаты относятся к разным аргументам.

2. Что делает поиск с генерацией

В работе Lewis и соавторов RAG объединяет генеративную модель с обращением к внешнему набору документов. ^[1] Для читателя практический смысл состоит в разделении двух операций: найти материал и сформулировать ответ на его основе. Содержимое поискового индекса можно описывать и обновлять отдельно от параметров модели. Однако наличие найденного фрагмента ещё не гарантирует, что ответ действительно следует ему.

В условном интерфейсе исследователь задаёт вопрос, система находит несколько кандидатов, затем предлагает краткое объяснение со ссылками. Читатель может открыть каждый фрагмент и увидеть его окружение. Если поиск не нашёл ничего подходящего, система сообщает об этом. Такой интерфейс делает ошибку заметнее, чем ответ, который ссылается только на неопределённую память модели.

При этом поиск тоже ошибается. Он может предпочесть популярный перевод редкому, не распознать имя или перепутать сходные термины. Поэтому оценивать нужно весь путь: найден ли нужный документ, выбран ли нужный фрагмент и соответствует ли ему вывод. Улучшение только последнего этапа иногда маскирует слабость остальных. Ни одна архитектурная аббревиатура сама по себе не является знаком достоверности.

3. Настоящая ссылка ещё не подтверждение

Система может указать реальную публикацию и всё же приписать ей мысль, которой там нет. Она также может подобрать близкий по теме абзац, пропустить отрицание или представить осторожную гипотезу как установленный факт. В буддийских материалах к этому добавляется риск смешения жанров: комментарий становится якобы словами Будды, а позднее толкование — общим мнением всех школ.

Исследование ALCE предлагает отдельно оценивать фактическую корректность и качество цитирования, а не удовлетворяться наличием ссылок. ^[2] Для будущего пилота мы предлагаем разметку трёх отношений: источник существует; указанный фрагмент содержит нужную информацию; сформулированное утверждение не выходит за её пределы. Последнее отношение часто требует чтения всего предложения и соседнего контекста.

Полезная карточка ответа могла бы различать прямое содержание источника, краткий пересказ и интерпретацию системы. Это не требование превратить экран в технический отчёт. Достаточно ясной структуры: тезис, подтверждающий фрагмент, сведения о переводе, возможность открыть полный текст. Там, где существует несколько прочтений, читатель должен видеть сам факт различия, а не синтетический ответ, стирающий его ради гладкости.

4. Как построить проверку без самообмана

Представим заранее составленный набор вопросов четырёх типов. В первых нужный ответ прямо содержится в одном фрагменте. Во вторых требуется сопоставить два разрешённых перевода. В третьих вопрос содержит ложную предпосылку. В четвёртых ответа в корпусе нет. Последние две группы особенно важны: система, которая отвечает всегда, может выглядеть деятельной и одновременно быть ненадёжной.

Для каждого задания нужен эталон, составленный независимо от проверяемой модели. Желательно, чтобы один специалист готовил вопрос, а другой проверял ожидаемый ответ. Разногласия не следует прятать: они показывают, где сама исследовательская задача неоднозначна. Часть заданий можно оставить закрытой до окончательной оценки, чтобы настройка подсказок не превратилась в запоминание теста.

Сравнение должно быть честным по условиям. Одинаковые вопросы, зафиксированные версии моделей, описанные настройки и понятный бюджет нужны обеим системам: с поиском и без него. В отчёте важно показать не только средний результат, но и типы неудач. Ошибка, отправившая читателя к неподходящей традиции, отличается от опечатки в имени переводчика и требует другого исправления.

В сравнении нужен и простой ориентир: обычный поиск по каталогу без генерации ответа. Если человек с таким инструментом находит источник быстрее и ошибается реже, сложная модель пока не доказала практического преимущества. Можно измерять время проверки, число открытых документов и необходимость дополнительных обращений к специалисту. Эти показатели не заменяют точность, но помогают понять, кому и в какой ситуации действительно удобнее предложенный интерфейс.

Отдельного внимания заслуживает стоимость ошибки для читателя. В учебной заметке неточная ссылка может задержать работу; в публичном наставлении та же ошибка способна распространить ложную атрибуцию среди многих людей. Поэтому полезно сохранять одинаковую процедуру регистрации ошибок, но обсуждать последствия конкретного сценария. Решение о публикации инструмента должно учитывать и достигнутые показатели, и возможность поддерживать его: кто исправит запись, сколько времени займёт ответ и как пользователь узнает о существенном изменении. Без этого даже хороший первоначальный тест остаётся лишь снимком состояния системы.

5. Зачем нужны точные фрагменты

Длинная ссылка на книгу оставляет основную проверку читателю. Чем шире ответ, тем легче спрятать неподтверждённый тезис среди нескольких правильных. Работа LongCite исследует более точное связывание утверждений с фрагментами в задачах длинного контекста. ^[3] Само направление напоминает о важной потребности: проверка должна быть возможной без повторного чтения всего архива.

Для буддийского текста точность означает не только номер страницы. В цифровой версии может быть устойчивый идентификатор сегмента; в скане — лист и сторона; в многотомном издании — том и раздел. Предлагаемый инструмент должен сохранять эту систему адресации, а не подменять её случайным номером поискового результата. Ссылка должна переживать перестановку результатов на экране.

Полезно также показывать границу цитаты. Соседнее предложение может объяснять, что утверждение приводится как позиция оппонента, которую автор затем критикует. Автоматическое дробление текста не должно уничтожать эту связь. Именно поэтому оценку необходимо проводить вместе с филологами и практиками соответствующих традиций, а не только с разработчиками, которым близость фрагментов в поиске кажется достаточным доказательством смысла.

6. Данные не возникают вне отношений

Подготовка поискового индекса тоже является использованием материала. Условия чтения, копирования, публикации фрагментов и передачи внешнему сервису могут различаться. BDRC указывает на неодинаковый статус объектов своей библиотеки; наличие открытого интерфейса не позволяет автоматически считать все найденные материалы единым свободным датасетом. ^[4]

Поэтому до технического прототипа нужен реестр разрешённых действий. Для каждого набора предлагается фиксировать источник, версию, условия хранения и показа, возможность удаления и ответственного человека. Если внешний поставщик модели получает фрагменты текста, это отдельное действие, которое должно быть предусмотрено разрешением. Нельзя обещать сообществу локальное хранение, а затем незаметно отправлять весь корпус в сторонний сервис.

В этической рекомендации ЮНЕСКО об ИИ подчёркивается внимание к человеческим правам, культурному многообразию и ответственности участников жизненного цикла системы. ^[5] Мы используем этот документ как ориентир для обсуждения, не как сертификат соответствия «Матреи». Собственная практика должна быть проверяема: понятные условия, минимально необходимый доступ и возможность исправить ошибочное использование важнее общего заявления о благих намерениях.

7. Кому принадлежит ответственность

Даже хороший поиск способен закрепить перекосы корпуса. Если почти все документы представлены на английском, система будет непропорционально отражать решения англоязычных переводчиков. Если одна школа оцифрована лучше другой, её объяснения чаще окажутся наверху выдачи. Эти эффекты нельзя исправить только просьбой к модели быть нейтральной: необходимо описывать состав данных и пределы охвата.

Человеческая проверка должна иметь ясную задачу и посильный объём. Волонтёру можно предложить сверить пять ссылок или отметить, где перепутаны жанры. Нельзя делать его ответственным за универсальную «буддийскую правильность» всех ответов. Исправления требуют процедуры: кто рассматривает сообщение, как меняется запись и каким образом читатель узнаёт о существенной ошибке в предыдущей версии.

При публикации следует отличать автоматическое предложение от экспертной рекомендации. Инструмент для поиска не получает право оценивать духовный уровень человека, давать индивидуальные наставления от лица традиции или обещать освобождение. Область применения должна следовать из проверенной задачи. Чем убедительнее язык интерфейса, тем важнее сохранять эту границу в поведении самой системы, а не только в примечании мелким шрифтом.

8. Посильная программа исследования

Дообучение модели имеет смысл рассматривать после того, как ясно, какую конкретную ошибку оно должно уменьшить. Возможно, проблема окажется в плохом распознавании рукописей, отсутствии словаря имён или неполных метаданных. В таком случае покупка дополнительных вычислений не решит её. Небольшой поиск с хорошей документацией может принести читателю больше пользы и дать исследователю более ясный результат.

Для «Матреи» разумный следующий вопрос звучит так: помогает ли предоставление проверенных фрагментов точнее указывать источники на заранее определённом наборе заданий? Ответ может оказаться положительным, отрицательным или зависеть от типа вопроса. Все три результата полезны, если метод описан и ограничения не скрыты. Улучшение на одном корпусе нельзя объявлять успехом для всего буддийского наследия.

Сотрудничество науки, буддийских сообществ и разработчиков проявляется здесь в общей способности проверить маленькое утверждение. Когда страница действительно находится, перевод указан верно, а система умеет признать отсутствие ответа, возникает практическое доверие. Оно строится на доступной проверке и исправлении, а не на присвоении модели образа наставника или на обещании, что масштаб обучения сам произведёт мудрость.