Meta-ს ლამა მოდელის თვით-ჰოსტი NVIDIA Tesla P40-ზე (24 GB VRAM, Pascal არქიტექტურა). 8B მოდელის სრული სიზუსტისა და უფრო დიდი მოდელის კვანტური მოდელის შესაფერისი. GPU სერვერები ჯერ არ არის შესაძლებელი შეკვეთა; დაგვიკავშირდით, რომ მოგახსენოთ, როდესაც ისინი იქნება.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# დაყენების ბრძანების მაგალითი
Llama არის Meta-ს ოჯახი ღია ხელმისაწვდომი დიდი ენის მოდელის. Llama-ს მუშაობა თქვენს GPU სერვერზე დაცავს თხოვნებს და მონაცემებს.
8B მოდელის 24 GB VRAM- ზე მუშაობა. 70B მოდელი არ ხვდება ერთ 24 GB ბარათზე ჩვეულებრივი კვანტური დონეების დროს.
Your prompts and data stay on your server, with no third-party API calls.
GGUF-ის გამოყენება llama.cpp ან Ollama-სთან, ან PyTorch-ის ნამდვილი წონა.
OpenAI-სთვის შესაფერისი ბოლო პუნქტის მოდელის მომსახურება Ollama-ს ან llama.cpp სერვერის საშუალებით.
LLaMA- მა შეუძლია NVIDIA გრაფიკული პროცესორის გამოყენება მისი მუშაობის გასასწრაფებლად. VPS.org გრაფიკული სერვერები ჯერ არ არის ხელმისაწვდომი; დაგვიკავშირდით, რომ გაიგოთ, როდის იქნება ხელმისაწვდომი. LLaMA არის გრაფიკული პროცესორის მიერ დააჩქარებული სამუშაო დატვირთვა. დარწმუნდით, რომ თქვენი პროგრამა CUDA- ს მხარდაჭერას ფლობს და რომ თქვენი დრაივერის/ წარმადობის ვერსიები შეესაბამება LLaMA- ს სამუშაო დატვირთვის მოთხოვნებს.
GPU სერვერები ჯერ არ არის ხელმისაწვდომი. დღეს თქვენ შეგიძლიათ LLaMA- ის გაშვება ჩვეულებრივ CPU გეგმაზე, სადაც ის მუშაობს უფრო ნელა ვიდრე GPU- ზე: შედით SSH- ში და გაუშვით curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
LLaMA-ის VRAM-ის მოთხოვნილება დამოკიდებულია მოდელსა და ბატის ზომაზე; მიმდინარე მონაცემებისთვის შეამოწმეთ პროექტის დოკუმენტაცია.
GPU- ს ფასები გამოქვეყნდება, როდესაც GPU სერვერები შეძლებენ შეკვეთას. დაგვიკავშირდით, თუ გსურთ გაიგოთ, თუ როდის მოხდება ეს.
Yes. Every VPS.org server comes with full root access, so you can run other tools alongside LLaMA within the server's RAM and storage.
ყველა VPS.org სერვერი მოდის სრული root SSH წვდომით, ასე რომ შეგიძლიათ დააყენოთ დრაფიტები, ბიბლიოთეკები და LLaMA როგორც გსურთ.
არა. სერვერები არ მოდის CUDA- ს ან NVIDIA- ს დრაივერის წინასწარ დაყენებული ვერსიით და GPU სერვერები ჯერ არ არის ხელმისაწვდომი. თქვენ უნდა დააყენოთ LLaMA- ს საჭირო ვერსიები.
VPS.org სერვერები მუდმივი ვირტუალური მანქანებია, არა ეპემერიული ინდექსები: LLaMA მოდელი, კონფიგურაცია და მონაცემები სერვერის SSD მეხსიერებაზე რჩება სანამ არ წაშლით მათ.
Keep working data on the server's SSD for fast access during LLaMA runs, and copy finished artifacts (weights, generations, embeddings) to storage outside VPS.org; snapshots and backups stay on the same storage cluster.
ნებისმიერი VPS.org სერვერის გაუმჯობესება უფრო დიდი გეგმის გამოყენებით შესაძლებელია კონტროლის პანელიდან; ზომის შეცვლა მას გადაამოწმებს და თქვენი LLaMA დაყენება გადავა. GPU სერვერები ჯერ არ არის ხელმისაწვდომი.
დიახ. სარეზერვო ასლები ფასიანი დამატებაა (დღეში +30% ფასის, 7 დღის განმავლობაში დაცული; კვირაში +20%, 28 დღის განმავლობაში დაცული) და სურათები უფასოა, რაც სასარგებლოა LLaMA- ის ხანგრძლივი მუშაობის წინ. ორივე რჩება იმავე შენახვის კლასტერზე, როგორც სერვერი.
დახმარების ცენტრთან დაკავშირება 30 დღის განმავლობაში პირველი შეძენის შემდეგ, თანხის დაბრუნების მოთხოვნით. GPU სერვერები ჯერ არ არის გაყიდული, ამიტომ GPU შეკვეთა არ შედის.
გრაფიკული პროცესორის მოცულობა შეზღუდულია. მოგვწერეთ თქვენი სამუშაოს დატვირთვის შესახებ და ჩვენ მოგაწვდით ხელმისაწვდომობასა და ფასებს.