Ускоро долази: НИВИДИА Тесла П40, 24 ГБ ВРАМ

Покрени ЛЛАМА на ГПУ ВПС

Самодостојиве моделе Мета- а Лама на НВИДИА Тесла П40 (24 ГБ ВРАМ, Паскал архитектура). Наведене на 8Б моделе по прецизности и већим моделима при квантизацији. ГПУ сервери још увек нису у реду; контактирајте нас да их обавестимо када су.

Захт› јев ГПУ сервер Све опције ГПУ‐ а

$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Прим› јер инсталиране наредбе

Шта је {име} на ГПУ ВПС?

Лама је Метина породица отворено доступних великих језичких модела. Покретање Ламе на свом ГПУ серверу држи упите и податке приватно.

LLaMA on a VPS.org GPU server

Лама 3 8Б

Покреће 8Б модела на 24 ГБ ВРАМ модела 70Б не уклапа се на ниједној 24 ГБ картици на заједничким нивоима квантизације.

Приватно спровођење

Ваши упити и подаци остају на серверу, без позива АПИ треће стране.

Формати модела

Користите ГГУФ са лама.цpp или Олама, или домородне ПјТорцх тежине.

Отворено- компатибилно АПИ

Сервирајте моделе са Оламом или сервером lama. cpp за исход који одговара ОвенАИ‐ у.

Популарне {име} случајеве за коришћење

Приватни ВИ асистент

Анализа документа

Генерација кода

писање садржаја

Ботови за подршку купца

Унутрашње ВИ алатки

Захт› јев ГПУ сервер

планиране ГПУ спецификације

ГПУNVIDIA Tesla P40

ВРАМ24 GB GDDR5

ЦУДА језгрова3,840

ФП3212 TFLOPS

ИНТ847 TOPS

меморија БВ346 GB/s

АрхитектураPascal (GP102)

ПролазПЦИЕ пролаз

Често постављана питања

Колико је LLaMA на ГПУ ВПС?

LLaMA can use an NVIDIA GPU to speed up its work. VPS.org GPU servers are not available to order yet; contact us to hear when they are. LLaMA is a general GPU-accelerated workload. Make sure your software has CUDA support and that your driver / runtime versions match the workload requirements for LLaMA.

Како да поставим LLaMA на ГПУ ВПС?

Сервери ГПУ још нису доступни за наручивање. Данас можете покренути LLaMA на обичном ЦПУ плану, где ради много спорије него на ГПУ: SSH у и покренути curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.

Колико ВРАМ ми треба за LLaMA?

ВРАМ треба за LLaMA зависи од модела и партијске величине; проверите текуће бројеве у пројекту.

How much would a GPU server for LLaMA cost?

ГПУ цена ће бити објављена када ГПУ сервери могу бити наручени. Контактирајте нас ако желите да чујете када се то догоди.

Могу ли покренути други алат поред LLaMA?

Yes. Every VPS.org server comes with full root access, so you can run other tools alongside LLaMA within the server's RAM and storage.

Да ли да добијем пун корен на LLaMA ГПУ ВПС?

Сваки сервер VPS.org долази са пуним коренским СХХ приступом, тако да можете инсталирати драјвере, библиотеке и LLaMA како вам је потребно.

Does VPS.org preinstall CUDA for LLaMA?

No. No server comes with a CUDA runtime or NVIDIA driver preinstalled, and GPU servers are not available to order yet. You install the versions LLaMA needs yourself.

Да ли мој LLaMA ГПУ ВПС наставља између сесија?

Yes. VPS.org servers are persistent virtual machines, not ephemeral instances: LLaMA models, configs and data stay on the server's SSD storage until you delete them.

Где да чувам податке за мој LLaMA запослени?

Keep working data on the server's SSD for fast access during LLaMA runs, and copy finished artifacts (weights, generations, embeddings) to storage outside VPS.org; snapshots and backups stay on the same storage cluster.

Могу ли касније да прескочим LLaMA ГПУ ВПС?

Надоградите сваки сервер VPS.org на већи план из контролног панела; промене величине рестартује га и инсталирање зLLaMA преноси. Сервери ГПУ‐ а још увек нису доступни.

Да ли су резерве доступне за мој ГПУ ВПС?

Yes. Backups are a paid add-on (daily +30% of the plan price, kept 7 days; weekly +20%, kept 28 days) and snapshots are free, which is useful before long LLaMA runs. Both stay on the same storage cluster as the server.

Могу ли добити повратак?

Подршка за контакте у року од 30 дана од ваше прве куповине захтева повраћај. ГПУ сервери још нису продати, тако да није укључен ГПУ налог.