მოდელის მომსახურება NVIDIA Tesla P40-დან (24 GB VRAM, Pascal არქიტექტურა): LLM-ები, სურათის მოდელი და სხვა წინასწარმეტყველებები. GPU სერვერები ჯერ არ არის შესაძლებელი შეკვეთა; დაგვიკავშირდით, რომ გაიგოთ, თუ როდის იქნება შესაძლებელი მათი შეკვეთა.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# დაყენების ბრძანების მაგალითი
AI- ს დასკვნა ნიშნავს მომზადებული მოდელების გამოყენებას წინასწარმეტყველების შესაქმნელად. GPU- ს დასკვნის სერვერი მოდელს GPU- ზე იტვირთება და CPU- სგან ბევრად სწრაფად პასუხობს მოთხოვნებს.
GPU მხოლოდ თქვენი სერვერისკენ გადაეცემა, ასე რომ სხვა კლიენტების GPU დავალებები არ მოქმედებს ლოდინზე.
Ollama, llama.cpp, Triton ან თქვენი API-ს გამოყენება. ზოგიერთ ბლოკს, როგორიცაა vLLM, Pascal P40-ზე უფრო ახალი გრაფიკული პროცესორი სჭირდება.
რამდენიმე სერვერის მუშაობა თქვენი საკუთარი დატვირთვის ბალანსერის უკან, თუ ერთი გრაფიკული პროცესორი არ არის საკმარისი.
Serve one mid-sized model or several smaller ones.
AI Inference- მა შეუძლია NVIDIA გრაფიკული პროცესორის გამოყენება მისი მუშაობის გასასწრაფებლად. VPS.org გრაფიკული სერვერები ჯერ არ არის ხელმისაწვდომი; დაგვიკავშირდით, რომ გაიგოთ, როდის იქნება ხელმისაწვდომი. AI Inference არის გრაფიკული პროცესორის მიერ დააჩქარებული სამუშაო დატვირთვა. დარწმუნდით, რომ თქვენი პროგრამა CUDA- ს მხარდაჭერას ფლობს და რომ თქვენი დრაივერის/ წარმადობის ვერსიები შეესაბამება AI Inference- ს სამუშაო დატვირთვის მოთხოვნებს.
GPU სერვერები ჯერ არ არის ხელმისაწვდომი. დღეს თქვენ შეგიძლიათ AI Inference- ის გაშვება ჩვეულებრივ CPU გეგმაზე, სადაც ის მუშაობს უფრო ნელა ვიდრე GPU- ზე: შედით SSH- ში და გაუშვით pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct.
AI Inference-ის VRAM-ის მოთხოვნილება დამოკიდებულია მოდელსა და ბატის ზომაზე; მიმდინარე მონაცემებისთვის შეამოწმეთ პროექტის დოკუმენტაცია.
GPU- ს ფასები გამოქვეყნდება, როდესაც GPU სერვერები შეძლებენ შეკვეთას. დაგვიკავშირდით, თუ გსურთ გაიგოთ, თუ როდის მოხდება ეს.
Yes. Every VPS.org server comes with full root access, so you can run other tools alongside AI Inference within the server's RAM and storage.
ყველა VPS.org სერვერი მოდის სრული root SSH წვდომით, ასე რომ შეგიძლიათ დააყენოთ დრაფიტები, ბიბლიოთეკები და AI Inference როგორც გსურთ.
არა. სერვერები არ მოდის CUDA- ს ან NVIDIA- ს დრაივერის წინასწარ დაყენებული ვერსიით და GPU სერვერები ჯერ არ არის ხელმისაწვდომი. თქვენ უნდა დააყენოთ AI Inference- ს საჭირო ვერსიები.
VPS.org სერვერები მუდმივი ვირტუალური მანქანებია, არა ეპემერიული ინდექსები: AI Inference მოდელი, კონფიგურაცია და მონაცემები სერვერის SSD მეხსიერებაზე რჩება სანამ არ წაშლით მათ.
Keep working data on the server's SSD for fast access during AI Inference runs, and copy finished artifacts (weights, generations, embeddings) to storage outside VPS.org; snapshots and backups stay on the same storage cluster.
ნებისმიერი VPS.org სერვერის გაუმჯობესება უფრო დიდი გეგმის გამოყენებით შესაძლებელია კონტროლის პანელიდან; ზომის შეცვლა მას გადაამოწმებს და თქვენი AI Inference დაყენება გადავა. GPU სერვერები ჯერ არ არის ხელმისაწვდომი.
დიახ. სარეზერვო ასლები ფასიანი დამატებაა (დღეში +30% ფასის, 7 დღის განმავლობაში დაცული; კვირაში +20%, 28 დღის განმავლობაში დაცული) და სურათები უფასოა, რაც სასარგებლოა AI Inference- ის ხანგრძლივი მუშაობის წინ. ორივე რჩება იმავე შენახვის კლასტერზე, როგორც სერვერი.
დახმარების ცენტრთან დაკავშირება 30 დღის განმავლობაში პირველი შეძენის შემდეგ, თანხის დაბრუნების მოთხოვნით. GPU სერვერები ჯერ არ არის გაყიდული, ამიტომ GPU შეკვეთა არ შედის.
გრაფიკული პროცესორის მოცულობა შეზღუდულია. მოგვწერეთ თქვენი სამუშაოს დატვირთვის შესახებ და ჩვენ მოგაწვდით ხელმისაწვდომობასა და ფასებს.