1. กำหนดงานก่อนเลือกโมเดล
การค้นคำอ้าง เทียบคำแปล และแนะนำประเพณีแก่ผู้เริ่มต้นเป็นคนละงาน ต้องใช้ข้อมูลกับเกณฑ์ต่าง คำมั่นกว้างว่าจะสร้าง “ปัญญาประดิษฐ์พุทธ” ซ่อนความต่างและชวนใช้จ่ายโครงสร้างพื้นฐานก่อนใครนิยามความสำเร็จ
โครงการนำร่องแรกที่เป็นไปได้ของ Matreya จะตอบคำถามจำกัดเกี่ยวกับคลังที่อนุญาตและระบุข้อความรองรับ ความสำเร็จคือคำอ้างผิดน้อยลงในเงื่อนไขที่บันทึก บางครั้งผลที่ถูกคือปฏิเสธตอบเพราะไม่มีวัสดุจำเป็น นี่เป็นข้อเสนอวิจัย ยังต้องจัดการสิทธิคลัง คำถามอิสระ และผู้ทบทวนมีคุณสมบัติก่อนการทดลองรองรับข้อกล่าวอ้างได้
2. การค้นคืนเพิ่มอะไรให้การสร้างข้อความ
ลูอิสและคณะเสนอรูปแบบ RAG ที่รวมการสร้างข้อความกับการเข้าถึงคอลเลกชันเอกสารภายนอก [1] ความต่างปฏิบัติคือการหาวัสดุกับการแต่งคำตอบ ดัชนีบันทึกและปรับได้แยกจากพารามิเตอร์โมเดล แต่วัสดุค้นคืนไม่รับประกันว่าจะใช้ตรง
เครื่องมือสำหรับผู้อ่านแสดงคำตอบสั้น ข้อความรองรับ และบริบทแหล่งได้ ควรรายงานเมื่อค้นคืนล้มเหลวด้วย การประเมินต้องตรวจตลอดทาง: พบเอกสารถูกหรือไม่ เลือกข้อความถูกหรือไม่ และข้อสรุปตามหลักฐานหรือไม่ การปรับสำนวนอย่างเดียวอาจซ่อนความล้มเหลวก่อนหน้าในห่วงโซ่ ชื่อสถาปัตยกรรมไม่ใช่ใบรับรองความน่าเชื่อถือ
- 01คำถาม→
- 02ค้นแหล่งข้อมูล→
- 03คำตอบพร้อมอ้างอิง→
- 04มนุษย์ตรวจทาน
แผนภาพบรรณาธิการของ Matreya เป็นภาพอธิบายระเบียบวิธี ไม่ใช่ผลการทดลอง
3. แหล่งอ้างอิงจริงก็ทำให้เข้าใจผิดได้
โมเดลอาจอ้างสิ่งพิมพ์ที่มีจริงแต่ยกข้อกล่าวอ้างที่ไม่มีในนั้น อาจมองข้ามคำปฏิเสธหรือเปลี่ยนข้อเสนอระมัดระวังเป็นความแน่นอน ในคัมภีร์พุทธอาจสับสนอรรถกถากับพระสูตร หรือจุดยืนสำนักหนึ่งกับข้อตกลงข้ามประเพณี
ALCE แยกความถูกต้องข้อเท็จจริงกับคุณภาพคำอ้างเป็นประเด็นประเมินต่างกัน [2] เราเสนอให้ตรวจสามความสัมพันธ์: แหล่งมีจริง ข้อความที่อ้างมีหลักฐานเกี่ยวข้อง และข้อกล่าวอ้างไม่เกินหลักฐาน คำตอบอาจแยกเนื้อหาแหล่ง การถอดความ และการตีความให้เห็น ลิงก์ควรเปิดให้ตรวจฉบับกับคำแปลที่เกี่ยวข้อง เมื่อคัมภีร์ต่าง ส่วนต่อประสานควรรักษาความต่าง ไม่เฉลี่ยจนดูเหมือนเห็นพ้อง
4. สร้างการประเมินที่ล้มเหลวได้
ชุดทดสอบที่มีประโยชน์อาจมีคำถามแหล่งตรงไปตรงมา การเทียบคำแปล คำถามเงื่อนไขตั้งต้นเท็จ และคำถามที่คลังตอบไม่ได้ สองประเภทท้ายเผยว่าระบบแต่งข้อมูลเมื่อควรงดตอบหรือไม่
ควรเตรียมคำตอบคาดหมายอย่างอิสระจากโมเดลที่ทดสอบ ผู้ทบทวนหนึ่งอาจตั้งคำถาม อีกคนตรวจแหล่ง ต้องบันทึกความเห็นต่างและเก็บบางคำถามไว้ประเมินสุดท้าย การเทียบมีและไม่มีค้นคืนต้องใช้คำถามตรงกัน บันทึกรุ่นโมเดล และงบทรัพยากรชัด รายงานควรแสดงประเภทความล้มเหลวพร้อมค่าเฉลี่ย การสับสนประเพณีเป็นคนละปัญหากับสะกดชื่อผู้แปลผิด การนับเหมือนกันทำให้ปรับปรุงยาก
5. ให้ตำแหน่งข้อความที่เข้าถึงได้แก่ผู้อ่าน
ลิงก์ทั้งเล่มโยนงานตรวจส่วนใหญ่ให้ผู้อ่าน LongCite ศึกษาคำอ้างละเอียดขึ้นในการถามตอบบริบทยาว [3] ความเกี่ยวข้องที่นี่เป็นระเบียบวิธี: ผู้อ่านต้องได้ความแม่นพอให้ตรวจข้อกล่าวอ้างโดยไม่ต้องค้นทั้งหมดใหม่
ตำแหน่งอาจเป็นรหัสช่วงคงที่ ด้านใบคัมภีร์ หรือเล่มกับหน้า ไม่ควรขึ้นกับลำดับผลค้นปัจจุบัน ต้องยังเข้าถึงบริบท: ประโยคติดกันอาจแสดงว่าจุดยืนเป็นของคู่โต้แย้งที่ผู้แต่งวิจารณ์ภายหลัง การแบ่งเอกสารเป็นชิ้นค้นสะดวกอาจตัดความสัมพันธ์ จึงต้องมีความเชี่ยวชาญอักษรศาสตร์และประเพณีควบคู่วิศวกรรมซอฟต์แวร์ในการประเมิน
6. ดัชนีก็ใช้วัสดุของผู้อื่น
การอ่าน คัดลอก แสดงข้อความสั้น และส่งให้บริการภายนอกเป็นการใช้ต่างกัน นโยบายเข้าถึง BDRC แสดงเหตุที่ไม่ควรถือว่าทุกชิ้นในคอลเลกชันมีสถานะไร้ข้อจำกัดเดียวกัน [4]
ก่อนทำต้นแบบ เราเสนอให้บันทึกการกระทำที่อนุญาตของแต่ละคอลเลกชัน: แหล่ง ฉบับ เงื่อนไขเก็บกับแสดง ช่องทางลบ และผู้ติดต่อรับผิดชอบ การส่งข้อความให้ผู้ให้บริการโมเดลเป็นอีกการกระทำที่ต้องพิจารณา ข้อเสนอแนะจริยธรรมปัญญาประดิษฐ์ของ UNESCO เป็นแหล่งอภิปรายความรับผิดชอบกับความหลากหลายวัฒนธรรม [5] ไม่ใช่การรับรองโครงการเรา ความรับผิดชอบปฏิบัติคือทำการไหลข้อมูลจริงให้เข้าใจและแก้ได้ แทนพึ่งคำประกาศเจตนาดี
7. ผู้ทบทวนต้องมีหน้าที่จำกัดขอบเขต
ระบบที่สร้างจากคำแปลอังกฤษเป็นหลักอาจรับทางเลือกตีความเหล่านั้น ประเพณีที่แปลงดิจิทัลดีกว่าอาจครองการค้นคืน การสั่งโมเดลให้เป็นกลางซ่อมข้อมูลขาดหรือไม่สม่ำเสมอไม่ได้ ต้องบันทึกองค์ประกอบกับขอบเขตคอลเลกชัน
อาสาอาจตรวจคำอ้างชุดเล็กหรือชี้การสับสนประเภท ไม่ควรมอบหน้าที่ไร้นิยามให้รับประกันความถูกพุทธทั่วโลก การแก้ต้องมีกระบวนการ ผู้รับผิดชอบ และวิธีแจ้งผู้อ่านเมื่อเปลี่ยนสำคัญ ผู้ช่วยค้นไม่ควรอ้างอำนาจประเมินการบรรลุธรรม หรือให้คำสอนส่วนบุคคลแทนประเพณี ขอบเขตควรตามงานที่ประเมินจริง รวมพฤติกรรมปกติของส่วนต่อประสานด้วย
8. ผลเล็กก็เป็นผลมีประโยชน์ได้
การปรับจูนควรแก้ความล้มเหลวที่ระบุ หากอุปสรรคจริงคือ OCR แย่ ชื่อหาย หรือเมทาดาทาไม่ครบ การฝึกเพิ่มอาจไม่แก้ เครื่องมือค้นคืนพอดีพร้อมเอกสารดีอาจให้คุณค่าและหลักฐานวิจัยชัดกว่า
คำถามที่ Matreya เสนอคือข้อความที่ตรวจแล้วเพิ่มความถูกต้องคำอ้างในงานชุดที่ระบุหรือไม่ คำตอบอาจบวก ลบ หรือขึ้นกับประเภทคำถาม ทุกผลมีค่าเมื่อวิธีกับข้อจำกัดสาธารณะ การดีขึ้นในคอลเลกชันหนึ่งไม่ยืนยันความเชื่อถือทั่ววรรณกรรมพุทธ ความไว้วางใจโตเมื่อหาแหล่งได้ แก้ข้อผิดพลาดได้ และระบบยอมรับคำถามที่ตอบไม่ได้ ความลื่นไหลกับขนาดอย่างเดียวไม่ยืนยันปัญญา
ประเด็นสำคัญ
- RAG แยกการค้นคืนกับสร้างข้อความ แต่ไม่รับประกันคำตอบตรงแหล่ง
- ตรวจว่าทุกคำอ้างมีอยู่จริง อยู่ที่ใดอย่างแม่นยำ และเป็นหลักฐานเกี่ยวข้องหรือไม่
- โครงการนำร่องที่จัดการไหวควรรวมคำถามตอบไม่ได้กับเงื่อนไขตั้งต้นเท็จ ไม่ใช่เพียงความสำเร็จง่าย
แหล่งอ้างอิงและอ่านเพิ่มเติม
ลิงก์นำไปยังสิ่งพิมพ์ต้นฉบับ คัมภีร์ หรือหน้าเว็บไซต์ทางการของสถาบัน เงื่อนไขการเข้าถึงและการนำกลับมาใช้อาจต่างกัน
- Retrieval-Augmented Generation for Knowledge-Intensive NLP TasksLewis et al. / arXiv, 2020
บทความสถาปัตยกรรม RAG ต้นฉบับ ผลไม่ถ่ายโอนสู่คัมภีร์พุทธโดยอัตโนมัติ
- Enabling Large Language Models to Generate Text with CitationsGao et al. / EMNLP, 2023
เกณฑ์ทดสอบ ALCE และบทความประเมินคำตอบที่มีอ้างอิง
- LongCite: Enabling LLMs to Generate Fine-grained Citations in Long-context QAZhang et al. / arXiv, 2024
คำอ้างละเอียดในงานถามตอบบริบทยาว ไม่ใช่หลักฐานความน่าเชื่อถือเครื่องมือในอนาคตของเรา
- Access PoliciesBuddhist Digital Resource Center
ตัวอย่างเงื่อนไขเข้าถึงที่แตกต่างกัน
- Recommendation on the Ethics of Artificial IntelligenceUNESCO, 2021
เอกสารเชิงบรรทัดฐานว่าด้วยความรับผิดชอบ สิทธิ และความหลากหลายทางวัฒนธรรม
บทความบรรณาธิการของ Matreya จัดทำด้วยความช่วยเหลือจากปัญญาประดิษฐ์ ยังไม่ผ่านการประเมินทางวิทยาศาสตร์จากผู้ทรงคุณวุฒิภายนอก มีแหล่งอ้างอิงให้ตรวจสอบอย่างอิสระ
นโยบายบรรณาธิการ · แจ้งข้อผิดพลาดหรือเสนอเนื้อหาเพิ่มเติม
