โมเดล Llama ของ Meta ที่ใช้ตัวเครื่องเองบน NVIDIA Tesla P40 (24 GB VRAM, สถาปัตยกรรม Pascal) เหมาะกับโมเดล 8B ที่มีความแม่นยำเต็มที่ และโมเดลที่ใหญ่กว่าเมื่อควอนตัม เซิร์ฟเวอร์ GPU ยังไม่สามารถสั่งซื้อได้ ติดต่อเราเพื่อแจ้งเมื่อสั่งซื้อได้
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# คำสั่งติดตั้งตัวอย่าง
Llama คือครอบครัวของ Meta ที่มีโมเดลภาษาขนาดใหญ่ที่เปิดใช้งานได้ หากคุณใช้ Llama บนเซิร์ฟเวอร์ GPU ของตัวเอง จะทำให้การถามคำถามและข้อมูลเป็นส่วนตัว
ใช้รุ่น 8B บน VRAM 24 GB รุ่น 70B ไม่ได้วางบนแผ่น 24 GB เดียว ระดับควอนตัมที่ใช้กันทั่วไป
คำสั่งและข้อมูลของคุณ ยังคงอยู่บนเซิร์ฟเวอร์ของคุณ ไม่มี API เรียกใช้จากบุคคลที่สาม
ใช้ GGUF กับ lama. cpp หรือ Ollama หรือค่าน้ำหนักของ PyTorch แบบพื้นฐาน
บริการโมเดลด้วย Ollama หรือ เซิร์ฟเวอร์ llama.cpp สำหรับจุดจบที่เข้ากันได้กับ OpenAI
LLaMA สามารถใช้ GPU NVIDIA เพื่อเพิ่มความเร็วในการทำงานได้ เซิร์ฟเวอร์ GPU VPS.org ยังไม่สามารถสั่งซื้อได้ โปรดติดต่อเราเพื่อทราบเมื่อมีการสั่งซื้อ LLaMA เป็นงานที่เร่งความเร็วโดยใช้ GPU ทั่วไป โปรดตรวจสอบว่าซอฟต์แวร์ของคุณรองรับ CUDA และรุ่นไดรเวอร์/ Runtime ของคุณตรงกับความต้องการของงานสำหรับ LLaMA
ยังไม่สามารถสั่งซื้อเซิร์ฟเวอร์ GPU ได้ วันนี้คุณสามารถใช้ LLaMA บน CPU ทั่วไปได้ ซึ่งมันจะทำงานช้ากว่าบน GPU มาก: เข้าใช้ SSH และใช้ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
ความจำที่จำเป็นสำหรับ LLaMA ขึ้นอยู่กับรุ่นและขนาดของแบต; ตรวจสอบเอกสารโครงการเพื่อดูตัวเลขปัจจุบัน
ค่า GPU จะถูกประกาศเมื่อเซิร์ฟเวอร์ GPU สามารถสั่งซื้อได้ โปรดติดต่อเรา หากคุณต้องการทราบเมื่อมันเกิดขึ้น
ใช่ เซิร์ฟเวอร์ VPS.org ทุกตัวมาพร้อมกับการเข้าถึง root เต็มรูปแบบ ดังนั้นคุณสามารถทำงาน เครื่องมืออื่น ๆ ร่วมกับ LLaMA ใน RAM และพื้นที่เก็บข้อมูลของเซิร์ฟเวอร์
เซิร์ฟเวอร์ VPS.org ทุกตัวมาพร้อมกับการเข้าถึง SSH แบบ root เต็มรูปแบบ ดังนั้นคุณสามารถติดตั้งไดรเวอร์ ไลบรารี และ LLaMA ได้ตามที่คุณต้องการ
ไม่ ไม่มีเซิร์ฟเวอร์ที่มาพร้อมกับ Runtime CUDA หรือไดรเวอร์ NVIDIA ที่ติดตั้งไว้ก่อน และเซิร์ฟเวอร์ GPU ยังไม่สามารถสั่งซื้อได้ คุณต้องติดตั้งรุ่นที่ LLaMA ต้องการด้วยตัวเอง
ใช่ เซิร์ฟเวอร์ VPS.org เป็นเครื่องเสมือนจริงที่อยู่ตลอดเวลา ไม่ใช่ตัวอย่างที่หายไป: โมเดล LLaMA ตั้งค่าและข้อมูลจะอยู่บน SSD ของเซิร์ฟเวอร์จนกว่าคุณจะลบมันออก
เก็บข้อมูลที่ทำงานอยู่บน SSD ของเซิร์ฟเวอร์ เพื่อเข้าถึงได้อย่างรวดเร็ว ระหว่างการทำงานของ LLaMA และคัดลอกผลงานที่เสร็จสมบูรณ์ (น้ำหนัก, รุ่น, การฝัง) ไปยังพื้นที่เก็บข้อมูลนอก VPS.org; สแนปช็อตและบัฟเฟอร์จะยังคงอยู่ในคลัสเตอร์พื้นที่เก็บข้อมูลเดียวกัน
คุณสามารถปรับระดับเซิร์ฟเวอร์ VPS.org ใดๆ ไปเป็นแพลนที่ใหญ่กว่าได้จากพาเนลควบคุม การปรับขนาดจะเริ่มการทำงานใหม่ และการติดตั้ง LLaMA จะถูกนำไปใช้ต่อไป เซิร์ฟเวอร์ GPU ยังไม่สามารถใช้งานได้
ใช่ การสำรองข้อมูลเป็นบริการที่ต้องจ่ายค่าเพิ่ม (ทุกวัน +30% ของราคาแผน, เก็บไว้7วัน; ทุกสัปดาห์ +20%, เก็บไว้ 28 วัน) และภาพถ่ายสแนปช็อตเป็นบริการฟรี ซึ่งมีประโยชน์ก่อนการทำงาน LLaMA อย่างยาวนาน ทั้งสองบริการจะอยู่บนคลัสเตอร์การเก็บข้อมูลเดียวกันกับเซิร์ฟเวอร์
ติดต่อฝ่ายสนับสนุนภายใน 30 วันหลังจากซื้อครั้งแรกเพื่อขอคืนเงิน เซิร์ฟเวอร์ GPU ยังไม่ได้ขาย ดังนั้นจึงไม่มีคำสั่ง GPU ที่เกี่ยวข้อง
ความจุของ GPU มีจำกัด บอกเราเกี่ยวกับความจุงานของคุณ และเราจะตอบกลับด้วยความพร้อมและราคา