Моделі Meta Llama на NVIDIA P40 (24 GB VRAM, архітектура Паскалів). Придатні для моделі 8B з повною точністю і більшою кількістю моделей, якщо їх буде крантовано. Сервери GPU ще не можуть бути впорядкованими; зв' яжіться з нами, щоб повідомити про це, якщо вони такі.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Приклад команди встановлення
Llama є родиною Meta з відкритим доступним великими моделями мов. Запуск Llama на вашому власному сервері GPU зберігає запити і дані у приватних місцях.
Запускається 8B моделей на 24 ГБ від VRAM. 70Б моделей не вміщаються на 24 картки ГБ на звичайних рівнях квантування.
Ваші запити і дані залишаються на вашому сервері без викликів третього API.
Використовувати GGUF з масою лами. cpp або Ollama або місцевими вагами PyTorch.
Подавайте моделі за допомогою Ollama або сервера Lasa. cpp для сумісної з OpenAI точки кінця.
LLaMA може використовувати NVIDIA GPU для пришвидшення роботи програми. VPS.org GPU сервери ще не доступні для того, щоб замовляти програми. LLaMA є загальними роботами GPU. Переконайтеся, що у вашому програмному забезпеченні є підтримка CUDA і що ваші драйвери / runtime відповідають вимогам завантаження LLaMA.
Сервери GPU ще не доступні для впорядкування. Сьогодні ви можете запустити LLaMA за допомогою звичайного плану процесора, де він працює набагато повільніше, ніж у GPU: SSH у і запустити curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
VRAM потрібен для LLaMA, який залежить від розміру моделі і пакетного розміру; перевірте документацію проекту для поточних рисунків.
Ціноутворення GPU буде опубліковано під час замовлення серверів GPU. Зв' яжіться з нами, якщо ви бажаєте почути, коли це станеться.
Так. Кожен сервер VPS.org має повний доступ до root, отже ви можете запускати інші інструменти поруч з LLaMA у межах пам' яті і сховища сервера.
Кожен сервер VPS.org має повний доступ до SSH, отже, ви можете встановити драйвери, бібліотеки і LLaMA, але вам не доведеться цього робити.
Ні. Сервер не постачається з попередньо встановленим драйвером CUDA або NVIDIA, тому сервери GPU ще не можуть замовляти. Ви встановили версії LLaMA, потрібні вам самі.
Так. Сервери VPS.org є постійними віртуальними комп' ютерами, а не ефемеральними екземплярами: моделями LLaMA, налаштуваннями і даними зберігаються на сховищі SSD сервера, аж доки ви їх не вилучите.
Під час запуску LLaMA продовжують працювати над SSD сервера, а також копіюють завершені артефакти (ваги, покоління, вбудовування) для зберігання поза межами VPS.org; знімки і резервні копії зберігаються на одному з скупчень сховища.
Ви можете оновити будь- який сервер VPS.org до більшого плану на панелі керування; зміна розміру перезапускає програму, а встановлення LLaMA переведе програму на сервер. Сервери GPU ще не доступні.
Так. Резервні копії - це оплачуваний add- on (щоденно +30% ціни плану, зберігаються 7 днів; тижневий +20%, збережений 28 днів), а знімки є безкоштовними, які корисні до тривалих днів запуску LLaMA. Обидва ці записи зберігаються на тому самому скупченні, що і сервер.
Підтримка контактів протягом 30 днів після вашої першої покупки для отримання запиту на повторне фінансування. Сервери GPU ще не продано, отже не буде включено замовлення GPU.
Обмежені можливості процесора, розкажіть нам про ваші робочі місця, і ми дамо відповідь доступністю та ціноутворенням.