บริการโมเดล AI จาก NVIDIA Tesla P40 (24 GB VRAM, Pascal architecture): LLMs, โมเดลภาพและการคาดการณ์อื่น ๆ เซิร์ฟเวอร์ GPU ยังไม่สามารถสั่งซื้อได้ ติดต่อเราเพื่อแจ้งเมื่อพวกเขามี
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# คำสั่งติดตั้งตัวอย่าง
การสรุปผลทางอินเทอร์เน็ตหมายถึงการทำงานของโมเดลที่ฝึกมาเพื่อทำการคาดการณ์ เซิร์ฟเวอร์สรุปผล GPU เก็บโมเดลไว้บน GPU และตอบคำถามที่ร้องขอเร็วกว่า CPU มาก
GPU จะถูกส่งผ่านไปยังเซิร์ฟเวอร์ของคุณเท่านั้น ดังนั้นความล่าช้าจะไม่ได้รับผลกระทบจากงาน GPU ของลูกค้าอื่น
ใช้ Ollama, llama. cpp, Triton หรือ API ของตัวคุณเอง บางฟราวแวร์ เช่น vLLM ต้องการ GPU รุ่นใหม่กว่า Pascal P40
ทำงานเซิร์ฟเวอร์หลายตัว หลังตัวแบ่งความจุของตัวคุณเอง หาก GPU ตัวเดียวไม่เพียงพอ
บริการแบบจำลองขนาดกลางหนึ่งตัว หรือขนาดเล็กหลายตัว
AI Inference สามารถใช้ GPU NVIDIA เพื่อเพิ่มความเร็วในการทำงานได้ เซิร์ฟเวอร์ GPU VPS.org ยังไม่สามารถสั่งซื้อได้ โปรดติดต่อเราเพื่อทราบเมื่อมีการสั่งซื้อ AI Inference เป็นงานที่เร่งความเร็วโดยใช้ GPU ทั่วไป โปรดตรวจสอบว่าซอฟต์แวร์ของคุณรองรับ CUDA และรุ่นไดรเวอร์/ Runtime ของคุณตรงกับความต้องการของงานสำหรับ AI Inference
ยังไม่สามารถสั่งซื้อเซิร์ฟเวอร์ GPU ได้ วันนี้คุณสามารถใช้ AI Inference บน CPU ทั่วไปได้ ซึ่งมันจะทำงานช้ากว่าบน GPU มาก: เข้าใช้ SSH และใช้ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
ความจำที่จำเป็นสำหรับ AI Inference ขึ้นอยู่กับรุ่นและขนาดของแบต; ตรวจสอบเอกสารโครงการเพื่อดูตัวเลขปัจจุบัน
ค่า GPU จะถูกประกาศเมื่อเซิร์ฟเวอร์ GPU สามารถสั่งซื้อได้ โปรดติดต่อเรา หากคุณต้องการทราบเมื่อมันเกิดขึ้น
ใช่ เซิร์ฟเวอร์ VPS.org ทุกตัวมาพร้อมกับการเข้าถึง root เต็มรูปแบบ ดังนั้นคุณสามารถทำงาน เครื่องมืออื่น ๆ ร่วมกับ AI Inference ใน RAM และพื้นที่เก็บข้อมูลของเซิร์ฟเวอร์
เซิร์ฟเวอร์ VPS.org ทุกตัวมาพร้อมกับการเข้าถึง SSH แบบ root เต็มรูปแบบ ดังนั้นคุณสามารถติดตั้งไดรเวอร์ ไลบรารี และ AI Inference ได้ตามที่คุณต้องการ
ไม่ ไม่มีเซิร์ฟเวอร์ที่มาพร้อมกับ Runtime CUDA หรือไดรเวอร์ NVIDIA ที่ติดตั้งไว้ก่อน และเซิร์ฟเวอร์ GPU ยังไม่สามารถสั่งซื้อได้ คุณต้องติดตั้งรุ่นที่ AI Inference ต้องการด้วยตัวเอง
ใช่ เซิร์ฟเวอร์ VPS.org เป็นเครื่องเสมือนจริงที่อยู่ตลอดเวลา ไม่ใช่ตัวอย่างที่หายไป: โมเดล AI Inference ตั้งค่าและข้อมูลจะอยู่บน SSD ของเซิร์ฟเวอร์จนกว่าคุณจะลบมันออก
เก็บข้อมูลที่ทำงานอยู่บน SSD ของเซิร์ฟเวอร์ เพื่อเข้าถึงได้อย่างรวดเร็ว ระหว่างการทำงานของ AI Inference และคัดลอกผลงานที่เสร็จสมบูรณ์ (น้ำหนัก, รุ่น, การฝัง) ไปยังพื้นที่เก็บข้อมูลนอก VPS.org; สแนปช็อตและบัฟเฟอร์จะยังคงอยู่ในคลัสเตอร์พื้นที่เก็บข้อมูลเดียวกัน
คุณสามารถปรับระดับเซิร์ฟเวอร์ VPS.org ใดๆ ไปเป็นแพลนที่ใหญ่กว่าได้จากพาเนลควบคุม การปรับขนาดจะเริ่มการทำงานใหม่ และการติดตั้ง AI Inference จะถูกนำไปใช้ต่อไป เซิร์ฟเวอร์ GPU ยังไม่สามารถใช้งานได้
ใช่ การสำรองข้อมูลเป็นบริการที่ต้องจ่ายค่าเพิ่ม (ทุกวัน +30% ของราคาแผน, เก็บไว้7วัน; ทุกสัปดาห์ +20%, เก็บไว้ 28 วัน) และภาพถ่ายสแนปช็อตเป็นบริการฟรี ซึ่งมีประโยชน์ก่อนการทำงาน AI Inference อย่างยาวนาน ทั้งสองบริการจะอยู่บนคลัสเตอร์การเก็บข้อมูลเดียวกันกับเซิร์ฟเวอร์
ติดต่อฝ่ายสนับสนุนภายใน 30 วันหลังจากซื้อครั้งแรกเพื่อขอคืนเงิน เซิร์ฟเวอร์ GPU ยังไม่ได้ขาย ดังนั้นจึงไม่มีคำสั่ง GPU ที่เกี่ยวข้อง
ความจุของ GPU มีจำกัด บอกเราเกี่ยวกับความจุงานของคุณ และเราจะตอบกลับด้วยความพร้อมและราคา