Самодомашните модели на Мета, на NVIDIA Tesla P40 (24 GB VRAM, Паскал архитектура). Наместени на 8B модели со целосна прецизност и поголеми модели кога се квантизирани. Серверите на ГПУ се уште не се нарачани; контактирајте со нас за да бидеме известени кога ќе бидат.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Пример на команда за инсталирање
Llama е семејство на Мета со отворени достапни големи јазици модели. Извршувањето на Llama на вашиот GPU сервер одржува прашања и податоци приватно.
Извршува 8Б модели на 24 GB од VRAM. 70B модели не се вклопуваат на ниту една 24 GB картичка на заеднички нивоа на квантизација.
Вашите барања и податоци остануваат на вашиот сервер, без повики на API од трети страни.
Користете ГГУФ со lama.cpp или Ollama, или со домородни тегови на ПиТорч.
Сервирајте модели со Ollama или lama. cpp сервер за соодветен со OpenAI крајниот крај.
LLaMA може да користи NVIDIA GPU за да ја забрза својата работа. VPS.org GPU- серверите не се достапни за нарачка; контактирајте со нас за да ги слушнете кога се. LLaMA е генерална GPU- прибрзана работа. Проверете дали вашиот софтвер има поддршка за CCDA и дека вашите верзии на управувачот/ извршниот време се совпаѓаат со барањата за работна работа за LLaMA.
Серверите на GPU се уште не се достапни за нарачка. Денес можете да го извршите LLaMA на редовен ЦПУ план, каде што работи многу побавно отколку на GPU: SSH и да го извршите curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
Потребни се VRAM за LLaMA зависат од моделот и партидата; проверете ја документацијата за проект за тековните бројки.
GPU цените ќе бидат објавени кога ќе можат да бидат нарачани серверите на GPU. Контактирајте со нас ако сакате да слушнете кога ќе се случи тоа.
Да. Секој VPS.org сервер доаѓа со целосен коренски пристап, така што можете да извршите други алатки заедно со LLaMA во рамките на RAM и складиштето на серверот.
Секој VPS.org сервер доаѓа со целосен root SSH пристап, така што можете да инсталирате управувачи, библиотеки и LLaMA како што ви треба.
Не. Серверот не доаѓа со претходно инсталиран CCDA рунтиme или NVIDIA управувач, а GPU- серверите се уште не се достапни за нарачка. Ги инсталирате верзиите на LLaMA и самиот.
Да. VPS.org серверите се упорни виртуелни машини, а не ефемерни примероци: LLaMA модели, конфигурации и податоци остануваат на SSD- чуварот на серверот додека не ги избришете.
Продолжи да работиш на податоците за SSD на серверот за брз пристап за време на извршувањето на LLaMA и копирај ги завршените артефакти (тежи, генерации, вгравки) во складиште надвор од VPS.org; снимките и резервните копии остануваат на истиот кластер за складирање.
Може да го надоградите секој VPS.org сервер на поголем план од контролниот панел; големината на големината го рестартира и вашата LLaMA инсталирање пренесува. GPU- серверите сѐ уште не се достапни.
Да. Заштитните копии се платено додавање (денес +30% од цената на планот, задржани 7 дена; неделно +20%, задржани 28 дена) и снимките се бесплатни, што е корисно пред долгото трчање LLaMA. И двете остануваат на истиот кластер за складирање како серверот.
Контакт поддршката за контакти во рок од 30 дена од вашата прва купба за да побарате враќање на парите. ГПУ серверите сеуште не се продадени, па не е вклучена нарачка на ГПУ.
Кажете ни за вашата работа и ќе одговориме со достапност и цени.