9 หลักสูตร LLM ท้องถิ่น/ออฟไลน์ที่ดีที่สุดที่คุณสามารถลองเรียนได้ทันที

ตอนนี้ LLM แบบควอนตัมพร้อมใช้งานแล้วบน HuggingFace และระบบนิเวศ AI เช่น H20, Text Gen และ GPT4All ช่วยให้คุณโหลด น้ำหนัก LLMลงในคอมพิวเตอร์ได้ ตอนนี้คุณมีตัวเลือกสำหรับ AI ที่ฟรี ยืดหยุ่น และปลอดภัย นี่คือหลักสูตร LLM ท้องถิ่น/ออฟไลน์ที่ดีที่สุด 9 หลักสูตรที่คุณสามารถลองเรียนได้ทันที!

สารบัญ

• 1.เฮอร์เมส 2 โปร GPTQ
• 2. เซเฟอร์ 7บี เบต้า
• 3. ฟอลคอน อินสทรูเม้นต์ GPTQ
• 4. GPT4ALL-J กรูวี่
• 5. คำสั่ง DeepSeek Coder V2
• 6. มิกซ์ทรัล-8x7B
• 7. ตัวช่วยสร้าง Vicuna Uncensored-GPTQ
• 8. ออร์ก้า มินิ-จีพีทีคิว
• 9. ลามะ 2 13B แชท GPTQ

1. เฮอร์เมส 2 โปร GPTQ

Hermes 2 Pro เป็นโมเดลภาษาขั้นสูงที่ได้รับการปรับปรุงโดย Nous Research โดยใช้ชุดข้อมูล OpenHermes 2.5 เวอร์ชันอัพเดตและปรับลดขนาดใหม่ พร้อมด้วยชุดข้อมูลการเรียกฟังก์ชันและ JSON ที่เพิ่งเปิดตัวใหม่ที่พัฒนาโดยบริษัทเอง โมเดลนี้ใช้สถาปัตยกรรม Mistral 7B และได้รับการฝึกด้วยคำสั่ง/การสนทนาคุณภาพ GPT-4 ขึ้นไป จำนวน 1,000,000 รายการ ซึ่งส่วนใหญ่เป็นข้อมูลสังเคราะห์

Hermes 2 Pro บน Mistral 7B คือรุ่นเรือธงใหม่ของ Hermes 7B ที่ให้ประสิทธิภาพที่ได้รับการปรับปรุงในเกณฑ์มาตรฐานต่างๆ รวมถึง AGIEval, BigBench Reasoning, GPT4All และ TruthfulQA ความสามารถขั้นสูงทำให้เหมาะกับงานการประมวลผลภาษาธรรมชาติ (NLP) มากมาย เช่น การสร้างรหัส การสร้างเนื้อหา และแอปพลิเคชัน AI เชิงสนทนา

2. เซเฟอร์ 7บี เบต้า

Zephyr เป็นชุดโมเดลภาษาที่ได้รับการฝึกฝนให้ทำหน้าที่เป็นผู้ช่วยที่เป็นประโยชน์ Zephyr-7B-Beta เป็นโมเดลที่สองในซีรีส์ ซึ่งปรับปรุงมาจาก Mistral-7B-v0.1 โดยใช้ Direct Preference Optimization (DPO) บนชุดข้อมูลสังเคราะห์ที่มีให้ใช้งานสาธารณะแบบผสม

Zephyr-7B-Beta แสดงให้เห็นประสิทธิภาพที่ได้รับการปรับปรุงบนเกณฑ์มาตรฐาน เช่น MT-Bench โดยการกำจัดการจัดตำแหน่งชุดข้อมูลการฝึกอบรมในตัว ทำให้สามารถใช้งานได้หลากหลายมากขึ้น อย่างไรก็ตาม การปรับเปลี่ยนนี้สามารถนำไปสู่การสร้างข้อความที่มีปัญหาเมื่อได้รับการแจ้งเตือนในบางวิธี

3. ฟอลคอน อินสตั๊นท์ GPTQ

Falcon เวอร์ชันควอนไทซ์นี้ใช้สถาปัตยกรรมตัวถอดรหัสเพียงอย่างเดียวที่ได้รับการปรับปรุงจากโมเดล Falcon-7b แบบดิบของ TII โมเดล Falcon พื้นฐานได้รับการฝึกด้วยโทเค็นที่โดดเด่นจำนวน 1.5 ล้านล้านรายการจากอินเทอร์เน็ตสาธารณะ เนื่องจากเป็นโมเดลตัวถอดรหัสตามคำสั่งที่ได้รับอนุญาตสิทธิ์ใช้งาน Apache 2 เท่านั้น Falcon Instruct จึงเหมาะอย่างยิ่งสำหรับธุรกิจขนาดเล็กที่กำลังมองหาโมเดลที่จะใช้ในการแปลภาษาและการนำเข้าข้อมูล

อย่างไรก็ตาม Falcon เวอร์ชันนี้ไม่เหมาะสำหรับการปรับแต่งละเอียดและมีไว้ใช้เพื่ออนุมานเท่านั้น หากคุณต้องการปรับแต่ง Falcon คุณจะต้องใช้โมเดลแบบดิบ ซึ่งอาจต้องเข้าถึงฮาร์ดแวร์การฝึกอบรมระดับองค์กร เช่น NVIDIA DGX หรือ AMD Instinct AI Accelerators

4. GPT4ALL-J กรูวี่

GPT4All-J Groovy เป็นโมเดลตัวถอดรหัสเท่านั้นที่ปรับแต่งโดย Nomic AI และได้รับอนุญาตภายใต้ Apache 2.0 GPT4ALL-J Groovy มีพื้นฐานมาจากโมเดล GPT-J ดั้งเดิม ซึ่งรู้จักกันดีว่ามีประสิทธิภาพในการสร้างข้อความจากพรอมต์ GPT4ALL -J Groovy ได้รับการปรับแต่งให้เป็นโมเดลสนทนา ซึ่งยอดเยี่ยมสำหรับแอปพลิเคชันการสร้างข้อความที่รวดเร็วและสร้างสรรค์ ซึ่งทำให้ GPT4All-J Groovy เหมาะอย่างยิ่งสำหรับผู้สร้างคอนเทนต์ในการช่วยเขียนและเรียบเรียง ไม่ว่าจะเป็นบทกวี ดนตรี หรือเรื่องราวต่างๆ

น่าเสียดายที่โมเดล GPT-J พื้นฐานได้รับการฝึกอบรมบนชุดข้อมูลภาษาอังกฤษเท่านั้น ซึ่งหมายความว่าแม้แต่โมเดล GPT4ALL-J ที่ปรับแต่งละเอียดแล้วนี้ก็สามารถสนทนาและดำเนินการสร้างข้อความเป็นภาษาอังกฤษเท่านั้น

5. คำสั่ง DeepSeek Coder V2

DeepSeek Coder V2 เป็นโมเดลภาษาขั้นสูงที่ช่วยเพิ่มประสิทธิภาพในการเขียนโปรแกรมและการใช้เหตุผลทางคณิตศาสตร์ DeepSeek Coder V2 รองรับภาษาการเขียนโปรแกรมหลายภาษาและให้ความยาวบริบทที่ขยายออกไป ทำให้เป็นเครื่องมืออเนกประสงค์สำหรับนักพัฒนา

เมื่อเทียบกับรุ่นก่อนหน้า DeepSeek Coder V2 แสดงให้เห็นถึงการปรับปรุงที่สำคัญในงานที่เกี่ยวข้องกับโค้ด การให้เหตุผล และความสามารถทั่วไป ขยายการรองรับภาษาการเขียนโปรแกรมจาก 86 เป็น 338 และขยายความยาวบริบทจาก 16K เป็น 128K โทเค็น ในการประเมินประสิทธิภาพ พบว่ารุ่นต่างๆ เช่น GPT-4 Turbo, Claude 3 Opus และ Gemini 1.5 Pro มีประสิทธิภาพเหนือกว่ารุ่นอื่นๆ เช่น GPT-4 Turbo, Claude 3 Opus และ Gemini 1.5 Pro ในการประเมินประสิทธิภาพทางด้านการเข้ารหัสและคณิตศาสตร์

6. มิกซ์ทรัล-8x7B

Mixtral-8x7B เป็นส่วนผสมของโมเดลผู้เชี่ยวชาญ (MoE) ที่พัฒนาโดย Mistral AI มีผู้เชี่ยวชาญ 8 คนต่อ MLP รวมเป็นพารามิเตอร์ 45 พันล้านรายการ อย่างไรก็ตาม มีผู้เชี่ยวชาญเพียง 2 คนเท่านั้นที่ได้รับการเปิดใช้งานต่อโทเค็นในระหว่างการอนุมาน ซึ่งทำให้มีประสิทธิภาพในการคำนวณ โดยมีความเร็วและต้นทุนที่เปรียบเทียบได้กับแบบจำลองพารามิเตอร์ 12 พันล้านตัว

Mixtral รองรับความยาวบริบท 32,000 โทเค็นและเหนือกว่า Llama 2 ถึง 70 พันล้านในเกณฑ์มาตรฐานส่วนใหญ่ โดยตรงกันหรือเกินประสิทธิภาพของ GPT-3.5 สามารถใช้งานภาษาต่างๆ ได้อย่างคล่องแคล่ว รวมทั้งภาษาอังกฤษ ฝรั่งเศส เยอรมัน สเปน และอิตาลี ทำให้เป็นตัวเลือกที่หลากหลายสำหรับงาน NLP ที่หลากหลาย

7. ตัวช่วยสร้าง Vicuna Uncensored-GPTQ

Wizard-Vicuna GPTQ คือเวอร์ชันควอนตัมของ Wizard Vicuna ที่ใช้พื้นฐานของโมเดล LlaMA ไม่เหมือนกับ LLM ส่วนใหญ่ที่เผยแพร่สู่สาธารณะ Wizard-Vicuna เป็นโมเดลที่ไม่มีการเซ็นเซอร์โดยเอาความเกี่ยวข้องออกไป นั่นหมายความว่ารุ่นนี้ไม่มีมาตรฐานความปลอดภัยและจริยธรรมเท่ากับรุ่นอื่นๆ ส่วนใหญ่

แม้ว่ามันอาจก่อให้เกิดปัญหาสำหรับการควบคุมการจัดตำแหน่งของ AI แต่การมี LLM ที่ไม่มีการเซ็นเซอร์ก็ช่วยนำสิ่งที่ดีที่สุดออกมาในโมเดลด้วยการช่วยให้โมเดลสามารถตอบคำถามได้โดยไม่มีข้อจำกัดใดๆ นอกจากนี้ยังช่วยให้ผู้ใช้สามารถเพิ่มการจัดตำแหน่งแบบกำหนดเองเกี่ยวกับวิธีที่ AI ควรกระทำหรือตอบสนองตามคำแจ้งเตือนที่กำหนดให้

8. ออร์ก้า มินิ-จีพีทีคิว

คุณกำลังมองหาการทดสอบโมเดลที่ได้รับการฝึกอบรมโดยใช้วิธีการเรียนรู้ที่ไม่ซ้ำใครหรือไม่ Orca Mini เป็นการนำเอกสารการวิจัย Orca ของ Microsoft มาใช้งานอย่างไม่เป็นทางการ โมเดลนี้ได้รับการฝึกอบรมโดยใช้แนวทางการเรียนรู้แบบครู-นักเรียน โดยชุดข้อมูลจะเต็มไปด้วยคำอธิบายแทนที่จะมีเพียงคำแนะนำและคำตอบเท่านั้น ในทางทฤษฎี สิ่งนี้ควรทำให้เด็กนักเรียนฉลาดขึ้น เพราะโมเดลนี้สามารถเข้าใจปัญหาได้แทนที่จะแค่ค้นหาคู่ข้อมูลอินพุตและเอาต์พุตตามที่หลักสูตร LLM ทั่วไปใช้

9. ลามะ 2 13B แชท GPTQ

Llama 2คือภาคต่อของ Llama LLM ดั้งเดิม ซึ่งให้ประสิทธิภาพและความคล่องตัวที่ได้รับการปรับปรุง เวอร์ชัน GPTQ ของ 13B Chat ได้รับการปรับแต่งมาสำหรับแอปพลิเคชัน AI เชิงสนทนาที่ปรับให้เหมาะสมสำหรับบทสนทนาภาษาอังกฤษ

รุ่นบางรุ่นที่ระบุไว้ด้านบนมีหลายรุ่นในแง่ของรายละเอียดจำเพาะ โดยทั่วไปแล้วเวอร์ชันที่มีคุณสมบัติสูงกว่าจะให้ผลลัพธ์ที่ดีกว่า แต่ต้องใช้ฮาร์ดแวร์ที่มีประสิทธิภาพสูงกว่า ในขณะที่เวอร์ชันที่มีคุณสมบัติต่ำกว่าจะให้ผลลัพธ์ที่มีคุณภาพต่ำกว่า แต่สามารถทำงานบนฮาร์ดแวร์ระดับล่างได้ หากคุณไม่แน่ใจว่าพีซีของคุณสามารถรันรุ่นนี้ได้หรือไม่ ให้ลองใช้รุ่นที่มีคุณสมบัติต่ำกว่าก่อน จากนั้นดำเนินการต่อจนกว่าคุณจะรู้สึกว่าประสิทธิภาพที่ลดลงนั้นไม่สามารถยอมรับได้อีกต่อไป