ჩვენ ვმზადებთ გრაფიკული პროცესორის სერვერებს NVIDIA Tesla P40- ით (24 GB VRAM, Pascal არქიტექტურა) ღია კოდის LLM- ების, როგორიცაა Llama, Mistral და Gemma Ollama- სთან მუშაობისთვის. გრაფიკული პროცესორის სერვერები ჯერ არ არის შესაძლებელი შეკვეთა; დაგვიკავშირდით, რომ გაიგოთ, თუ როდის იქნება შესაძლებელი მათი შეკვეთა.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# დაყენების ბრძანების მაგალითი
Ollama არის მსუბუქი პროგრამა, რომელიც საშუალებას გაძლევთ თქვენი კომპიუტერზე დიდი ენის მოდელის გამოყენება. GPU სერვერზე მოდელი CPU- ს ნაცვლად GPU- ს იყენებს, რაც პასუხებს უფრო სწრაფად ახდენს.
Pull Llama, Mistral, Gemma, Phi, Qwen and many other models with one command.
7B-დან 13B-მდე მოდელებისთვის კომფორტულად თავსდება და 30B-მდე მოდელის გარშემო, როდესაც კვანტურია. 70B მოდელი არ თავსდება ერთ 24 GB ბარათზე ჩვეულებრივი კვანტური დონეების დროს.
Prompts and data stay on your server, with no third-party API calls.
OpenGL-ის ოფიციალური საიტი OpenGL-ის ოფიციალური საიტი OpenGL-ის ოფიციალური საიტი
Ollama- ს შეუძლია NVIDIA გრაფიკული პროცესორის გამოყენება მისი მუშაობის გასასწრაფებლად. VPS.org გრაფიკული სერვერები ჯერ არ არის ხელმისაწვდომი შეკვეთისთვის; დაგვიკავშირდით, რომ გაიგოთ, როდის იქნება ხელმისაწვდომი. Ollama ძირითადად LLM- ის გამოთქმის / საუბრის სამუშაო დატვირთვაა. გსურთ დისკის მეხსიერებაში სწრაფი შემთხვევითი წვდომა და საკმარისი VRAM მოდელის და კონტექსტური ფანჯრისთვის.
GPU სერვერები ჯერ არ არის ხელმისაწვდომი. დღეს თქვენ შეგიძლიათ Ollama- ის გაშვება ჩვეულებრივ CPU გეგმაზე, სადაც ის მუშაობს უფრო ნელა ვიდრე GPU- ზე: შედით SSH- ში და გაუშვით curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
LLM inference VRAM scales with model parameters: 7B მოდელს სჭირდება დაახლოებით 5-8 GB VRAM და 13B მოდელს დაახლოებით 10-14 GB, ხოლო 70B-class მოდელს სჭირდება რამდენიმე GPU ან ძლიერი კვანტური.
GPU- ს ფასები გამოქვეყნდება, როდესაც GPU სერვერები შეძლებენ შეკვეთას. დაგვიკავშირდით, თუ გსურთ გაიგოთ, თუ როდის მოხდება ეს.
Yes. Every VPS.org server comes with full root access, so you can run other tools alongside Ollama within the server's RAM and storage.
ყველა VPS.org სერვერი მოდის სრული root SSH წვდომით, ასე რომ შეგიძლიათ დააყენოთ დრაფიტები, ბიბლიოთეკები და Ollama როგორც გსურთ.
არა. სერვერები არ მოდის CUDA- ს ან NVIDIA- ს დრაივერის წინასწარ დაყენებული ვერსიით და GPU სერვერები ჯერ არ არის ხელმისაწვდომი. თქვენ უნდა დააყენოთ Ollama- ს საჭირო ვერსიები.
VPS.org სერვერები მუდმივი ვირტუალური მანქანებია, არა ეპემერიული ინდექსები: Ollama მოდელი, კონფიგურაცია და მონაცემები სერვერის SSD მეხსიერებაზე რჩება სანამ არ წაშლით მათ.
Keep working data on the server's SSD for fast access during Ollama runs, and copy finished artifacts (weights, generations, embeddings) to storage outside VPS.org; snapshots and backups stay on the same storage cluster.
ნებისმიერი VPS.org სერვერის გაუმჯობესება უფრო დიდი გეგმის გამოყენებით შესაძლებელია კონტროლის პანელიდან; ზომის შეცვლა მას გადაამოწმებს და თქვენი Ollama დაყენება გადავა. GPU სერვერები ჯერ არ არის ხელმისაწვდომი.
დიახ. სარეზერვო ასლები ფასიანი დამატებაა (დღეში +30% ფასის, 7 დღის განმავლობაში დაცული; კვირაში +20%, 28 დღის განმავლობაში დაცული) და სურათები უფასოა, რაც სასარგებლოა Ollama- ის ხანგრძლივი მუშაობის წინ. ორივე რჩება იმავე შენახვის კლასტერზე, როგორც სერვერი.
დახმარების ცენტრთან დაკავშირება 30 დღის განმავლობაში პირველი შეძენის შემდეგ, თანხის დაბრუნების მოთხოვნით. GPU სერვერები ჯერ არ არის გაყიდული, ამიტომ GPU შეკვეთა არ შედის.
გრაფიკული პროცესორის მოცულობა შეზღუდულია. მოგვწერეთ თქვენი სამუშაოს დატვირთვის შესახებ და ჩვენ მოგაწვდით ხელმისაწვდომობასა და ფასებს.