Ми готуємо сервери GPU за допомогою NVIDIA Tella P40 (24 GB VRAM, архітектура Паскалів) для запуску програм з відкритим кодом LLM, Llama, Museral і Джемма з Ollama. Сервери GPU ще не можна замовляти; зв' язатися з нами, щоб повідомити про це, якщо вони існують.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Приклад команди встановлення
Ollama - це простий інструмент для запуску великих моделей мов на вашому власному комп' ютері. На сервері GPU модель працює на GPU замість процесора, що робить відповіді набагато швидшими.
Залучити Ламу, Містраль, Джемму, Фі, Квен та багато інших моделей з одним наказом.
Припасовує моделі 7B до 13Б і близько 30Б, коли їх квантують. 70Б моделей не вміщають на 24 картки ГБ на звичайному рівні кентатування.
Запити і дані зберігаються на вашому сервері, без викликів третього API.
Ollama викриває сумісну з OpenAI точку кінця, яку може використовувати багато існуючих клієнтів.
Ollama може використовувати NVIDIA GPU для пришвидшення роботи програми. VPS.org GPU ще не доступні для того, щоб замовляти програми. Ollama є головним чином завантаженням LLM / чат. Вам слід швидко завантажити випадковий доступ до читання з диска до пам' яті і достатньою кількістю VRAM для моделі плюс контекстне вікно.
Сервери GPU ще не доступні для впорядкування. Сьогодні ви можете запустити Ollama за допомогою звичайного плану процесора, де він працює набагато повільніше, ніж у GPU: SSH у і запустити curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
LEM РЗЗЗВРЗЗ використанням параметрів моделі: 7Б моделі потребує приблизно 5 до 8 ГБ ВРАМ і 13Б- модель, приблизно від 10 до 14 ГБ, а 70Б- клас- моделі потребують декількох ГПУ або важкої квантації.
Ціноутворення GPU буде опубліковано під час замовлення серверів GPU. Зв' яжіться з нами, якщо ви бажаєте почути, коли це станеться.
Так. Кожен сервер VPS.org має повний доступ до root, отже ви можете запускати інші інструменти поруч з Ollama у межах пам' яті і сховища сервера.
Кожен сервер VPS.org має повний доступ до SSH, отже, ви можете встановити драйвери, бібліотеки і Ollama, але вам не доведеться цього робити.
Ні. Сервер не постачається з попередньо встановленим драйвером CUDA або NVIDIA, тому сервери GPU ще не можуть замовляти. Ви встановили версії Ollama, потрібні вам самі.
Так. Сервери VPS.org є постійними віртуальними комп' ютерами, а не ефемеральними екземплярами: моделями Ollama, налаштуваннями і даними зберігаються на сховищі SSD сервера, аж доки ви їх не вилучите.
Під час запуску Ollama продовжують працювати над SSD сервера, а також копіюють завершені артефакти (ваги, покоління, вбудовування) для зберігання поза межами VPS.org; знімки і резервні копії зберігаються на одному з скупчень сховища.
Ви можете оновити будь- який сервер VPS.org до більшого плану на панелі керування; зміна розміру перезапускає програму, а встановлення Ollama переведе програму на сервер. Сервери GPU ще не доступні.
Так. Резервні копії - це оплачуваний add- on (щоденно +30% ціни плану, зберігаються 7 днів; тижневий +20%, збережений 28 днів), а знімки є безкоштовними, які корисні до тривалих днів запуску Ollama. Обидва ці записи зберігаються на тому самому скупченні, що і сервер.
Підтримка контактів протягом 30 днів після вашої першої покупки для отримання запиту на повторне фінансування. Сервери GPU ще не продано, отже не буде включено замовлення GPU.
Обмежені можливості процесора, розкажіть нам про ваші робочі місця, і ми дамо відповідь доступністю та ціноутворенням.