1. Определете задачата, преди да изберете модел
Намирането на цитат, сравняването на преводи и запознаването на начинаещ с дадена традиция са различни задачи. Те изискват различни данни и критерии. Общото обещание да се създаде „будистки ИИ“ прикрива тези различия и насърчава разходи за инфраструктура, преди някой да е определил какво означава успех.
Възможен първи пилотен проект на Матрея би отговарял на въпроси с ограничен обхват върху корпус с разрешена употреба и би посочвал подкрепящите пасажи. Успех би означавало по-малко неправилни препратки при документирани условия. Понякога правилният резултат би бил отказ да се отговори, защото необходимият материал липсва. Това е изследователско предложение: преди експериментът да може да подкрепи твърдения, тепърва трябва да се осигурят разрешения за корпуса, независимо подготвени въпроси и квалифицирани проверяващи.
2. Какво добавя извличането към генерирането
Lewis и съавтори представят формулировка на RAG, която съчетава генериране с достъп до външна колекция от документи. [1] Практическата разлика е между намирането на материал и съставянето на отговор. Индексът може да се документира и обновява отделно от параметрите на модела, но намереният материал не гарантира вярна употреба.
Инструментът за читатели би могъл да показва кратък отговор, пасажите, които го подкрепят, и заобикалящия ги източник. Той трябва също да съобщава кога извличането е неуспешно. Оценяването трябва да проследява целия път: намерен ли е правилният документ, избран ли е подходящият пасаж и следва ли заключението от него. Подобряването само на изказа може да прикрие грешки по-рано в тази верига. Наименованието на една архитектура не е удостоверение за надеждност.
- 01Въпрос→
- 02Извличане на източници→
- 03Отговор с цитати→
- 04Преглед от човек
Редакционна диаграма на Матрея: методологическа илюстрация, а не експериментален резултат.
3. Истинската препратка също може да подвежда
Моделът може да цитира съществуваща публикация, като ѝ приписва твърдение, което отсъства от нея. Той може да пропусне отрицание или да превърне предпазливо предположение в сигурност. При будистките текстове може също да обърка коментар със свещен текст или позицията на една школа със съгласие между традициите.
ALCE разглежда фактическата правилност и качеството на цитатите като отделни аспекти на оценяването. [2] Предлагаме да се проверяват три връзки: източникът съществува; цитираният пасаж съдържа относими доказателства; твърдението остава в границите на тези доказателства. Отговорът би могъл видимо да разграничава съдържанието на източника, преразказа и тълкуването. Връзката трябва да позволява на читателя да разгледа съответната версия и превод. Когато текстовете се различават, интерфейсът трябва да запазва разликата, вместо да я усреднява до привидно съгласие.
4. Изградете оценяване, при което е възможен неуспех
Полезният тестов набор би могъл да включва прости въпроси за източници, сравнения на преводи, въпроси с неверни предпоставки и въпроси, на които корпусът не дава отговор. Последните две категории разкриват дали системата измисля информация, когато трябва да се въздържи от отговор.
Очакваните отговори трябва да се подготвят независимо от изпитвания модел. Един проверяващ може да формулира въпроса, а друг да провери препратката му. Разногласията трябва да се документират, а част от въпросите да се запазят за окончателното оценяване. Сравнението със и без извличане изисква едни и същи въпроси, записани версии на моделите и ясен бюджет на ресурсите. Докладите трябва да показват категориите грешки наред със средните показатели. Смесването на традиции е различен проблем от сгрешеното име на преводач; еднаквото им третиране затруднява подобрението.
5. Дайте на читателя пасаж с точен адрес
Връзката към цяла книга прехвърля по-голямата част от проверката върху читателя. LongCite изследва цитирането с по-голяма детайлност при отговаряне на въпроси в дълъг контекст. [3] Значението му тук е методологично: читателите се нуждаят от достатъчна точност, за да проверят твърдението, без да повтарят цялото търсене.
Адресът може да е устойчив идентификатор на сегмент, страна на ръкописен лист или том и страница. Той не трябва да зависи от текущата подредба на резултатите от търсенето. Контекстът също трябва да остава достъпен: съседно изречение може да показва, че позицията принадлежи на опонент, когото авторът по-късно критикува. Разделянето на документи на удобни за търсене откъси може да наруши тези връзки. Затова оценяването се нуждае от филологическа компетентност и познаване на традициите наред със софтуерното инженерство.
6. Индексът също използва нечии материали
Четенето, копирането, показването на откъси и изпращането им към външна услуга са различни употреби. Политиката за достъп на BDRC показва защо не бива да се предполага, че всички единици в колекцията имат един и същ неограничен статут. [4]
Преди изграждането на прототип предлагаме за всяка колекция да има запис на разрешените действия: нейния източник, версия, условия за съхранение и показване, процедура за изтриване и отговорно лице за контакт. Изпращането на пасажи към доставчик на модел е отделно действие, което също изисква преценка. Препоръката на ЮНЕСКО за етиката на ИИ дава ориентир за обсъждане на отчетността и културното многообразие. [5] Тя не удостоверява качеството на нашия собствен проект. Практическата отговорност означава действителните потоци от данни да са разбираеми и да позволяват корекции, вместо да се разчита на декларации за добри намерения.
7. Проверяващите се нуждаят от ясно ограничени отговорности
Система, изградена предимно от английски преводи, може да наследи тълкувателните им решения. По-добре дигитализираните традиции могат да доминират при извличането. Молбата към модела да бъде неутрален не може да поправи липсващи или неравномерни данни; съставът и ограниченията на колекцията трябва да се документират.
Доброволците биха могли да проверяват малък набор от препратки или да откриват смесване на жанрове. Не бива да им се възлага неопределено задължение да гарантират всеобща будистка правилност. Поправките се нуждаят от процедура, отговорни хора и начин читателите да бъдат уведомявани за съществени промени. Помощникът за търсене не трябва да претендира за право да оценява духовни постижения или да дава лични наставления от името на традиция. Обхватът му трябва да следва задачата, която действително е оценена, включително в обичайното поведение на интерфейса.
8. Малкият резултат може да бъде полезен
Допълнителното обучение трябва да решава установен проблем. Ако действителната пречка е некачествено OCR, липсващи имена или непълни метаданни, още обучение на модела може да не я отстрани. Скромен инструмент за извличане с добра документация може да предложи повече полза и по-ясни изследователски доказателства.
Предложеният от Матрея въпрос е дали проверените пасажи подобряват точността на цитиране при определен набор от задачи. Отговорът може да е положителен, отрицателен или да зависи от вида на въпроса. Всеки резултат е полезен, когато методите и ограниченията са публични. Подобрението върху една колекция не доказва надеждност за цялата будистка литература. Доверието нараства, когато източниците могат да бъдат намерени, грешките — поправени, а системата може да признае, че въпросът остава без отговор; гладкото изразяване и мащабът сами по себе си не установяват мъдрост.
Основни моменти
- RAG разграничава извличането на информация от генерирането, без да гарантира вярно представяне в отговора.
- Проверявайте съществуването, точното местоположение и доказателствената относимост на всеки цитат.
- Пилотен проект с управляем обхват трябва да включва въпроси без отговор и неверни предпоставки, а не само лесни успехи.
Източници и допълнително четене
Връзките водят към оригинални публикации, текстове или официални страници на институции. Условията за достъп и повторно използване може да се различават.
- Retrieval-Augmented Generation for Knowledge-Intensive NLP TasksLewis et al. / arXiv, 2020
Оригиналната статия за архитектурата RAG; резултатите ѝ не се пренасят автоматично върху будистки текстове.
- Enabling Large Language Models to Generate Text with CitationsGao et al. / EMNLP, 2023
Наборът за оценяване ALCE и статията за оценяване на отговори с цитати.
- LongCite: Enabling LLMs to Generate Fine-grained Citations in Long-context QAZhang et al. / arXiv, 2024
Прецизни позовавания в задачи с въпроси и отговори при дълъг контекст, а не доказателство за надеждността на бъдещия ни инструмент.
- Access PoliciesBuddhist Digital Resource Center
Пример за диференцирани условия за достъп.
- Recommendation on the Ethics of Artificial IntelligenceUNESCO, 2021
Нормативна отправна точка за отчетност, права и културно многообразие.
Редакционна статия, подготвена от Матрея с помощта на ИИ. Тя не е преминала външно научно рецензиране. Източниците са предоставени за независима проверка.
Редакционна политика · Съобщете за грешка или предложете допълнение
