เรากำลังเตรียมเซิร์ฟเวอร์ GPU ด้วย NVIDIA Tesla P40 (24 GB VRAM, สถาปัตยกรรม Pascal) เพื่อใช้ในการทำงาน Open Source LLMs เช่น Llama, Mistral และ Gemma ด้วย Ollama เซิร์ฟเวอร์ GPU ยังไม่สามารถสั่งซื้อได้ โปรดติดต่อเราเพื่อแจ้งให้ทราบเมื่อสั่งซื้อได้แล้ว
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# คำสั่งติดตั้งตัวอย่าง
Ollama เป็นเครื่องมือที่ใช้แรงน้อย สำหรับทำงานแบบจำลองภาษาขนาดใหญ่บนเครื่องของคุณเอง ในเซิร์ฟเวอร์ GPU แบบจำลองจะทำงานบน GPU แทนที่จะเป็น CPU ซึ่งจะทำให้การตอบสนองเร็วขึ้นมาก
ดึงลาม่า มิสทรัล เจนมา ฟาย ควน และโมเดลอื่นๆ ด้วยคำสั่งเดียว
เหมาะสำหรับรุ่น 7B ถึง 13B และรุ่น 30B เมื่อควอนตัม รุ่น 70B ไม่ได้เหมาะกับการ์ด 24GB ระดับควอนตัมทั่วไป
คำถามและข้อมูลจะอยู่บนเซิร์ฟเวอร์ของคุณ ไม่มี API เรียกใช้จากบุคคลที่สาม
Ollama เปิดเผยจุดจบที่เข้ากันได้กับ OpenAI ที่ลูกค้าหลายคนที่อยู่แล้วสามารถใช้ได้
Ollama สามารถใช้ GPU NVIDIA เพื่อเพิ่มความเร็วในการทำงานได้ เซิร์ฟเวอร์ GPU VPS.org ยังไม่สามารถสั่งซื้อได้ โปรดติดต่อเราเพื่อทราบเมื่อได้สั่งซื้อ Ollama ใช้ได้เฉพาะกับ LLM-inference / chat workload คุณต้องการการอ่านแบบสุ่มจากแผ่นไปยังหน่วยความจำอย่างรวดเร็ว และ VRAM เพียงพอสำหรับโมเดลและหน้าต่างคอนเท็กซ์
ยังไม่สามารถสั่งซื้อเซิร์ฟเวอร์ GPU ได้ วันนี้คุณสามารถใช้ Ollama บน CPU ทั่วไปได้ ซึ่งมันจะทำงานช้ากว่าบน GPU มาก: เข้าใช้ SSH และใช้ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
LLM inference VRAM scales with model parameters: โมเดล 7B ต้องการประมาณ 5-8 GB ของ VRAM และโมเดล 13B ประมาณ 10-14 GB ในขณะที่โมเดล 70B-class ต้องการ GPU หลายตัวหรือควอนตัมที่หนัก
ค่า GPU จะถูกประกาศเมื่อเซิร์ฟเวอร์ GPU สามารถสั่งซื้อได้ โปรดติดต่อเรา หากคุณต้องการทราบเมื่อมันเกิดขึ้น
ใช่ เซิร์ฟเวอร์ VPS.org ทุกตัวมาพร้อมกับการเข้าถึง root เต็มรูปแบบ ดังนั้นคุณสามารถทำงาน เครื่องมืออื่น ๆ ร่วมกับ Ollama ใน RAM และพื้นที่เก็บข้อมูลของเซิร์ฟเวอร์
เซิร์ฟเวอร์ VPS.org ทุกตัวมาพร้อมกับการเข้าถึง SSH แบบ root เต็มรูปแบบ ดังนั้นคุณสามารถติดตั้งไดรเวอร์ ไลบรารี และ Ollama ได้ตามที่คุณต้องการ
ไม่ ไม่มีเซิร์ฟเวอร์ที่มาพร้อมกับ Runtime CUDA หรือไดรเวอร์ NVIDIA ที่ติดตั้งไว้ก่อน และเซิร์ฟเวอร์ GPU ยังไม่สามารถสั่งซื้อได้ คุณต้องติดตั้งรุ่นที่ Ollama ต้องการด้วยตัวเอง
ใช่ เซิร์ฟเวอร์ VPS.org เป็นเครื่องเสมือนจริงที่อยู่ตลอดเวลา ไม่ใช่ตัวอย่างที่หายไป: โมเดล Ollama ตั้งค่าและข้อมูลจะอยู่บน SSD ของเซิร์ฟเวอร์จนกว่าคุณจะลบมันออก
เก็บข้อมูลที่ทำงานอยู่บน SSD ของเซิร์ฟเวอร์ เพื่อเข้าถึงได้อย่างรวดเร็ว ระหว่างการทำงานของ Ollama และคัดลอกผลงานที่เสร็จสมบูรณ์ (น้ำหนัก, รุ่น, การฝัง) ไปยังพื้นที่เก็บข้อมูลนอก VPS.org; สแนปช็อตและบัฟเฟอร์จะยังคงอยู่ในคลัสเตอร์พื้นที่เก็บข้อมูลเดียวกัน
คุณสามารถปรับระดับเซิร์ฟเวอร์ VPS.org ใดๆ ไปเป็นแพลนที่ใหญ่กว่าได้จากพาเนลควบคุม การปรับขนาดจะเริ่มการทำงานใหม่ และการติดตั้ง Ollama จะถูกนำไปใช้ต่อไป เซิร์ฟเวอร์ GPU ยังไม่สามารถใช้งานได้
ใช่ การสำรองข้อมูลเป็นบริการที่ต้องจ่ายค่าเพิ่ม (ทุกวัน +30% ของราคาแผน, เก็บไว้7วัน; ทุกสัปดาห์ +20%, เก็บไว้ 28 วัน) และภาพถ่ายสแนปช็อตเป็นบริการฟรี ซึ่งมีประโยชน์ก่อนการทำงาน Ollama อย่างยาวนาน ทั้งสองบริการจะอยู่บนคลัสเตอร์การเก็บข้อมูลเดียวกันกับเซิร์ฟเวอร์
ติดต่อฝ่ายสนับสนุนภายใน 30 วันหลังจากซื้อครั้งแรกเพื่อขอคืนเงิน เซิร์ฟเวอร์ GPU ยังไม่ได้ขาย ดังนั้นจึงไม่มีคำสั่ง GPU ที่เกี่ยวข้อง
ความจุของ GPU มีจำกัด บอกเราเกี่ยวกับความจุงานของคุณ และเราจะตอบกลับด้วยความพร้อมและราคา