ผู้ช่วย RAG ท้องถิ่นสำหรับเอกสารส่วนตัว Q&A บน Windows
สัมผัสการผสมผสานของการจัดทำดัชนีเอกสารท้องถิ่น โมเดลภาษาบนอุปกรณ์ และคำตอบที่อ้างอิงแหล่งข้อมูลในยูทิลิตี้ Windows ตัวหนึ่ง SWX KI-Assistent จาก Daniel Kreutz ทำงานแบบออฟไลน์ทั้งหมดและจัดทำดัชนีไฟล์ส่วนบุคคลและไฟล์ภายในสำหรับการทำงานแบบถาม-ตอบ มันมีอินเทอร์เฟซแบบสองภาษา การเลือกโมเดล และการจัดอันดับความแม่นยำใหม่ ซึ่งมุ่งเป้าไปที่มืออาชีพที่ใส่ใจในความเป็นส่วนตัวและผู้ใช้การบริหารงานสาธารณะที่ต้องการคำตอบที่สามารถตรวจสอบได้โดยไม่ต้องส่งข้อมูลไปยังบริการภายนอก.
สิ่งที่ผู้ช่วยทำจริงสำหรับคำถามเอกสารส่วนตัว
SWX ใช้กระบวนการ Retrieval-Augmented Generation ที่ค้นหาเอกสารในเครื่องของคุณเพื่อหาข้อความที่เกี่ยวข้องและใช้โมเดลภาษาในการสร้างคำตอบที่เชื่อมโยงกับข้อความเหล่านั้น แอพจะทำการจัดทำดัชนีไฟล์ที่เก็บไว้ในเครื่อง ทำการค้นหาคำสำคัญแบบผสมผสานและการค้นหาความหมาย และแนบการอ้างอิงแหล่งข้อมูลอัตโนมัติไปยังแต่ละคำตอบ ส่วนติดต่อผู้ใช้รองรับภาษาเยอรมันและภาษาอังกฤษ ซึ่งช่วยให้ทีมที่พูดได้สองภาษาสามารถปรึกษาฐานข้อมูลที่จัดทำดัชนีได้โดยตรง
มันทำงานอย่างไรบนฮาร์ดแวร์เดสก์ท็อปมาตรฐาน
เครื่องมือนี้ได้รับการปรับให้ทำงานบน CPU มาตรฐานและไม่ต้องการการ์ดกราฟิกเฉพาะ แม้ว่าการใช้ GPU จะช่วยเพิ่มความเร็วในการประมวลผล การติดตั้งรองรับการตั้งค่าแบบดั้งเดิมหรือ Windows Package Manager ทำให้การติดตั้งบนเดสก์ท็อปสำนักงานทำได้ง่าย เพราะการดำเนินการของโมเดลเกิดขึ้นในเครื่อง เวลาการประมวลผลขึ้นอยู่กับขนาดโมเดลที่เลือกและ CPU ของโฮสต์มากกว่าความล่าช้าของเครือข่าย
มันจัดการความปลอดภัย ความโปร่งใส และความถูกต้องของผลลัพธ์อย่างไร
การประมวลผลทั้งหมดเกิดขึ้นในเครื่อง ดังนั้นข้อมูลเอกสารจึงไม่ออกจากคอมพิวเตอร์และคำตอบรวมถึงการอ้างอิงแหล่งข้อมูลที่จำเป็นสำหรับการติดตาม ระยะการจัดอันดับความแม่นยำช่วยปรับปรุงความเกี่ยวข้องของข้อความที่ดึงมาก่อนการสร้าง และความสามารถในการเลือกโมเดลในเครื่องที่แตกต่างกันช่วยให้ทีมแลกเปลี่ยนความเร็วกับความถูกต้อง องค์ประกอบเหล่านี้รวมกันเพื่อผลิตคำตอบที่สามารถตรวจสอบได้ซึ่งสามารถติดตามกลับไปยังเอกสารที่จัดทำดัชนีได้
เหมาะที่สุดสำหรับทีมที่มุ่งเน้นความเป็นส่วนตัวที่สามารถจัดการโมเดลในท้องถิ่น
SWX KI-Assistent เหมาะสำหรับองค์กรและมืออาชีพที่ต้องการ AI ในสถานที่สำหรับเอกสารที่ละเอียดอ่อนและสามารถจัดการการเลือกโมเดลและการบำรุงรักษาท้องถิ่นได้ ข้อแลกเปลี่ยนหลักคือการอยู่แบบออฟไลน์ทั้งหมดจะเปลี่ยนความพยายามในการจัดการโมเดลและการปรับแต่งฮาร์ดแวร์ไปยังผู้ใช้ ดังนั้นจึงเหมาะสำหรับผู้ที่ยินดีที่จะรันและอัปเดตโมเดลในท้องถิ่นแทนที่จะพึ่งพาบริการคลาวด์.
