Модельҳои Meta's Llama-и худи соҳиб дар NVIDIA Tesla P40 (24 ГБ VRAM, архитектураи Pascal). Барои моделҳои 8B дар аниқии пурра ва моделҳои калонтар ҳангоми квантӣ мувофиқ аст. Серверҳои GPU ҳоло фармоиш дода намешаванд; бо мо тамос гиред, то дар бораи он, ки онҳо кай хоҳанд буд, хабардор шавед.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Мисолҳои фармони насбкунӣ
Llama оилаи Meta- и моделҳои забонҳои калони дастраси кушода мебошад. Иҷрои Llama дар сервери GPU- и худ саволҳо ва маълумотҳоро махфӣ нигоҳ медорад.
Дар 24 ГБ хотираи видеоӣ моделҳои 8B- ро иҷро мекунад. Модельҳои 70B дар як корти 24 ГБ дар дараҷаҳои муқаррарии квантӣ ҷой намегиранд.
Дархостҳо ва маълумотҳои шумо дар сервери шумо боқӣ мемонанд, бе даъвати API- и сеюм.
Истифодаи GGUF бо llama.cpp ё Ollama ё вазнҳои маҳаллии PyTorch.
Моделҳои хизматрасонӣ бо Ollama ё сервери llama.cpp барои нуқтаи охирини OpenAI-и мувофиқ.
LLaMA метавонад NVIDIA GPU- ро барои тезонидани кори худ истифода барад. Серверҳои VPS.org GPU ҳанӯз дастрас нестанд; бо мо тамос гиред, то бидонед, ки вақте ки онҳо дастрас мешаванд. LLaMA - ин боркунии кор бо суръати GPU мебошад. Боварӣ ҳосил кунед, ки нармафзори шумо дастгирии CUDA дорад ва версияҳои гардонанда/ иҷрошавандаи шумо талаботи боркунии корро барои LLaMA риоя мекунанд.
Серверҳои GPU ҳанӯз барои фармоиш дастрас нестанд. Имрӯз шумо метавонед LLaMA- ро дар нақшаи оддии CPU иҷро кунед, ки дар он он хеле сусттар аз GPU кор мекунад: SSH дар ва curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3- ро иҷро кунед.
Время работы VRAM для LLaMA зависит от модели и размера партии; для данных текущего времени ознакомьтесь с документацией проекта.
Нақшаҳои GPU VPS ҳармоҳа бо шартномаҳои бе қулф баста мешаванд ва метавонанд дар ҳар вақт бекор карда шаванд. Барои дараҷаҳои нархи GPU бо мо тамос гиред.
Ҳар як сервери VPS.org бо дастрасии пурраи root меояд, бинобар ин шумо метавонед дигар абзорҳоро дар якҷоягӣ бо LLaMA дар RAM ва захираи сервер иҷро кунед.
Ҳар як сервери VPS.org бо дастрасии пурраи root SSH меояд, бинобар ин шумо метавонед ронандаҳо, китобхонаҳо ва LLaMA-ро тавре, ки ба шумо лозим аст, насб кунед.
Не. Никто из серверов не поставляется с предварительно установленным CUDA runtime или NVIDIA драйвером, и серверы GPU пока не доступны для заказа. Вы устанавливаете версии, которые нужны LLaMA.
Да. Серверҳои VPS.org мошинҳои виртуалии доимӣ мебошанд, на намунаҳои кӯтоҳмуддат: моделҳои LLaMA, конфигуратсияи ва маълумот дар захираи SSD-и сервер то он даме, ки шумо онҳоро нест кунед, мемонанд.
Дар хотираи корӣ маълумотҳои корӣ дар сервери SSD барои дастрасии тез дар вақти иҷрои LLaMA нигоҳ доред ва нусхаи анҷомёфтаи артефактҳо (вазнҳо, наслҳо, дарҷҳо) ба захираи берун аз VPS.org; суратҳо ва нусхаҳои эҳтиётӣ дар як кластери захиравӣ мемонанд.
Шумо метавонед ҳар як сервери VPS.org-ро аз панели идоракунӣ ба нақшаи калонтар такмил диҳед; тағири андоза онро аз нав оғоз мекунад ва насбкунии LLaMA-и шумо ба он мегузарад. Серверҳои GPU ҳанӯз дастрас нестанд.
Да. Захираи нусхаи эҳтиётӣ иловаи пардохтшаванда мебошад (ҳаррӯза +30% аз нархи нақша, нигоҳ дошта мешавад 7 рӯз; ҳафтаина +20%, нигоҳ дошта мешавад 28 рӯз) ва суратҳо ройгон мебошанд, ки пеш аз иҷрои дароз LLaMA фоиданок аст. Ҳарду дар як кластери захиракунӣ бо сервер мемонанд.
Барои дархост кардани баргардонидани маблағ дар муддати 30 рӯзи хариди аввал бо дастгирӣ тамос гиред. Серверҳои GPU ҳанӯз фурӯхта нашудаанд, бинобар ин фармоиши GPU дар ин бора вуҷуд надорад.
GPU- и шумо маҳдуд аст. Ба мо дар бораи боркунии кории худ хабар диҳед ва мо бо дастрасӣ ва нарх ҷавоб хоҳем дод.