MITRA-lexicon: 산스크리트 불교 용어가 티베트어·중국어·영어로 어떻게 번역되었는지 말뭉치로 기록하다

무엇이 공개되었나

2026년 10월 19일, Sebastian Nehrdich, Kengo Harimoto, Sven Sellmer, Oliver Hellwig는 산스크리트와 영어·티베트어·중국어 사이의 단방향 사전 여섯 개로 이루어진 MITRA-lexicon을 설명하는 프리프린트를 arXiv에 올렸습니다. 저자들은 218만 개의 표제어 항목과 1,040만 건의 용례를 보고하며, 각 용례는 산스크리트 단어와 그 대응어의 문자 위치와 함께 해당 문장 쌍에 연결되어 있습니다. 의미는 출현 빈도순으로 정렬됩니다. ^[1]

데이터는 같은 날 GitHub에 릴리스 v1.1로, 코드와 평가 데이터, 베타 버전 웹 인터페이스와 함께 공개되었습니다. 이 릴리스에는 논문에 기술되지 않은 중국어–티베트어 사전이 추가되었습니다. 인터페이스는 이것이 사람이 손수 편찬한 사전이 아니라고 밝힙니다. 쌍이 자동으로 추출되었으므로 대응이 틀리거나 부분적이거나 어긋날 수 있으며, 문장 전체를 읽어야 한다는 것입니다. ^{[2] [3]}

어떻게 만들어졌나

산스크리트–영어 사전은 Mitrasaṃgraha 말뭉치(395,528개 문장 쌍)에서, 산스크리트–티베트어와 산스크리트–중국어 사전은 MITRA-parallel v3(566,068개와 340,691개 문장 쌍)에서 만들어졌습니다. 산스크리트가 전부 또는 일부 티베트어나 중국어 번역에서 현대에 복원된 열여덟 개 텍스트는 제외되었습니다. ^[1]

산스크리트 쪽은 ByT5-Sanskrit 분석기로 분절하고 표제어화합니다. 상용 언어 모델(Gemini Flash)이 9,366개의 학습 예시에 레이블을 붙였고, 이어서 MITRA Qwen3.5-9B에 기반한 더 작은 모델이 각 번역문을 복사하고 각 산스크리트 단어에 해당하는 구간을 표시하도록 미세 조정되었습니다. 세 말뭉치를 채굴하는 데 약 36 GPU 시간이 걸렸습니다. 정렬 모델은 별도로 공개되었으며, 모델 카드는 점수가 정확성이 아니라 교사 모델과의 일치도를 측정한다고 밝힙니다. ^{[1] [4]}

얼마나 신뢰할 수 있나

참조 사전과 엄격 일치 기준으로 비교했을 때, 1순위 의미가 사전과 일치한 비율은 산스크리트–티베트어 표제어의 58.2%(Negi), 산스크리트–중국어의 53.0%(Hirakawa), 산스크리트–영어의 36.6%(Monier-Williams와 Apte 병합)였습니다. 저자들은 사전들이 더 좁은 텍스트 범위를 다루고 자체 오류도 있으므로 이 수치가 하한이라고 말합니다. 일치율은 빈도와 함께 높아져, 용례가 100건 이상인 표제어에서는 산스크리트–티베트어 최상위 의미가 84–90%의 경우에 확인되었습니다. ^[1]

골드 정렬은 산스크리트–영어에만 있습니다. 100개 문장을 산스크리트 학자 세 명이 독립적으로 정렬했고, 세 사람 사이의 Krippendorff 알파는 0.77이었으며, 모델은 다수결 결정에 대해 F1 88.4에 도달했습니다. 논문은 그 밖의 한계도 열거합니다. 분석기와 전자 텍스트의 오류가 잘못된 표제어로 전파되고, 목표 언어의 굴절형이 증거를 여러 의미로 분산시키며, 영어 사전은 소수의 대형 서사시·푸라나 문헌에 치우치고, 드문 표제어에는 오류가 더 많으며, 레이블링 단계는 상용 모델에 의존한다는 것입니다. 저장소는 이 논문이 ISCLS 2027 심사 중이라고 설명하므로, 이는 동료 심사를 거친 결과가 아니라 프리프린트입니다. ^{[1] [2]}

라이선스와 재사용

각 용례가 해당 문장 쌍을 재현하므로 사전은 원문 텍스트의 라이선스를 물려받습니다. 산스크리트–티베트어, 산스크리트–중국어, 중국어–티베트어 사전은 CC BY-SA 4.0으로 공개되었습니다. 산스크리트–영어 사전은 두 가지 버전이 있습니다. CC BY-SA 텍스트에서 나온 용례 92.3%를 담은 CC BY-SA 4.0 버전과, CC BY-NC-ND 텍스트 및 라이선스가 명시되지 않은 말뭉치 분할에서 나온 용례를 더한 CC BY-NC-ND 4.0 완전판입니다. 골드 데이터와 교사 데이터는 CC BY-NC-ND 4.0, 코드는 MIT, 정렬 모델은 Apache-2.0입니다. ^{[2] [4]}

사전의 라이선스가 다른 말뭉치, 스캔본, 번역의 권리를 정하지는 않습니다. 인터페이스에서 용어를 읽는다고 해서 원문 텍스트를 다시 출판하거나 그 자체 라이선스를 넘어 모델을 학습할 권한이 생기지는 않습니다. 저자들은 공개용 응용 프로그램에서 Dharmamitra 프로젝트를 밝혀 달라고 요청합니다. ^[2]

신중하게 사용하는 방법

산스크리트, 티베트어(유니코드 또는 Wylie), 중국어로 용어를 검색하고 목표 언어를 고른 뒤, 표제어만이 아니라 문장 맥락 속에서 용례를 읽으십시오. 빈도는 번역자들의 용법에 대한 증거이지 올바른 대응어에 대한 판정이 아닙니다. 용례가 하나뿐인 드문 의미는 정렬 오류일 수 있습니다. 용례가 여럿인 표제어를 우선하고, 용례가 어느 총서에서 왔는지 확인하며, 항목을 인용할 때는 릴리스 버전과 라이선스를 기록하십시오. ^{[1] [3]}

Matreya에게 이것은 우리 여러 언어에 걸친 용어를 점검하는 실용적인 수단이자, 허가를 존중하는 말뭉치 자원의 문서화된 사례입니다. 라이선스는 파일마다 명시되어 있고, 구축 과정은 공개된 코드와 데이터로 재현할 수 있습니다. 우리는 보고된 수치를 직접 재현하지 않았으며, 이 사전은 전문가가 구절을 직접 읽는 일을 대신하지 못합니다. ^{[1] [2]}

편집자 주

저자들은 컴퓨팅 인프라 자금을 지원한 Tsadra Foundation에 감사를 표하고, 프로그래밍과 논문 문장에 생성형 AI를 사용했음을 밝힙니다. 이 글과 번역은 AI의 도움을 받아 준비되었으며, 전문가의 언어 검토는 완료되지 않았습니다. ^[1]