Подготвуваме сервери на GPU со NVIDIA Tesla P40 (24 GB VRAM, Паскал архитектура) за работа со отворени ЛЛМ-ови како што се Llama, Mistral и Gemma со Ollama. Серверите на GPU сé уште не се наредени; контактирајте со нас за да бидеме известени кога ќе бидат.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Пример на команда за инсталирање
Ollama е лесна алатка за извршување на големи јазици модели на вашата машина. На GPU- серверот моделот работи на GPU наместо на процесорот, што прави одговорите многу побрзи.
Повлечи го Лама, Мистрал, Џема, Фи, Квен и многу други модели со една команда.
Соодветува на модели 7Б до 13Б удобно и околу 30Б модели кога се квантизирани. 70Б модели не се вклопуваат на една 24 GB картичка на заедничко нивоа на квантизација.
Повици и податоци остануваат на вашиот сервер, без повики на API од трети страни.
Олама разоткрива крајна точка со соодветна на OpenAI која може да ја користи многу постојни клиенти.
Ollama може да користи NVIDIA GPU за да ја забрза својата работа. VPS.org GPU- серверите не се достапни за нарачка; контактирајте со нас за да слушнеме кога се. Ollama е првенствено LLM- инференција/ чат. Ќе сакате брзо настанско читање од дискот до меморијата и доволно VRAM за моделот плус контекстниот прозорец.
Серверите на GPU се уште не се достапни за нарачка. Денес можете да го извршите Ollama на редовен ЦПУ план, каде што работи многу побавно отколку на GPU: SSH и да го извршите curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
LLM-заклучување на VRAM-а со параметри на моделот: на моделот 7B му требаат околу 5 до 8 GB од VRAM и моделот 13B од околу 10 до 14 GB, додека на моделите од 70B-класа им требаат неколку GPU-ови или тешка квантизација.
GPU цените ќе бидат објавени кога ќе можат да бидат нарачани серверите на GPU. Контактирајте со нас ако сакате да слушнете кога ќе се случи тоа.
Да. Секој VPS.org сервер доаѓа со целосен коренски пристап, така што можете да извршите други алатки заедно со Ollama во рамките на RAM и складиштето на серверот.
Секој VPS.org сервер доаѓа со целосен root SSH пристап, така што можете да инсталирате управувачи, библиотеки и Ollama како што ви треба.
Не. Серверот не доаѓа со претходно инсталиран CCDA рунтиme или NVIDIA управувач, а GPU- серверите се уште не се достапни за нарачка. Ги инсталирате верзиите на Ollama и самиот.
Да. VPS.org серверите се упорни виртуелни машини, а не ефемерни примероци: Ollama модели, конфигурации и податоци остануваат на SSD- чуварот на серверот додека не ги избришете.
Продолжи да работиш на податоците за SSD на серверот за брз пристап за време на извршувањето на Ollama и копирај ги завршените артефакти (тежи, генерации, вгравки) во складиште надвор од VPS.org; снимките и резервните копии остануваат на истиот кластер за складирање.
Може да го надоградите секој VPS.org сервер на поголем план од контролниот панел; големината на големината го рестартира и вашата Ollama инсталирање пренесува. GPU- серверите сѐ уште не се достапни.
Да. Заштитните копии се платено додавање (денес +30% од цената на планот, задржани 7 дена; неделно +20%, задржани 28 дена) и снимките се бесплатни, што е корисно пред долгото трчање Ollama. И двете остануваат на истиот кластер за складирање како серверот.
Контакт поддршката за контакти во рок од 30 дена од вашата прва купба за да побарате враќање на парите. ГПУ серверите сеуште не се продадени, па не е вклучена нарачка на ГПУ.
Кажете ни за вашата работа и ќе одговориме со достапност и цени.