Мо серверҳои GPU- ро бо NVIDIA Tesla P40 (24 ГБ VRAM, архитектураи Pascal) барои иҷрои LLM- ҳои манбаи кушода, ба монанди Llama, Mistral ва Gemma бо Ollama омода мекунем. Серверҳои GPU ҳоло фармоиш дода намешаванд; бо мо тамос гиред, то вақте ки онҳо фармоиш дода мешаванд, огоҳ карда шаванд.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Мисолҳои фармони насбкунӣ
Ollama асбоби сабук барои иҷрои моделҳои забонҳои калон дар компютери худ. Дар сервери GPU модел дар GPU ба ҷои CPU иҷро мешавад, ки ҷавобҳоро тезтар мекунад.
Баровардани Лама, Мистрал, Гема, Фи, Qwen ва бисёр моделҳои дигар бо як фармон.
Модельҳои 7B то 13B- ро бо осонӣ ва дар атрофи моделҳои 30B- ро, ки дар вақти квантизм ҷойгир шудаанд, ҷойгир мекунад. Модельҳои 70B дар як корти 24 GB дар дараҷаҳои квантизми умумӣ ҷой намегиранд.
Дархостҳо ва маълумотҳо дар сервери шумо боқӣ мемонанд, бе даъвати API-и сеюм.
OpenGL як барномаи ройгон аст, ки барои сохтани графикаи 3D истифода мешавад.
Ollama метавонад NVIDIA GPU- ро барои тезонидани кори худ истифода барад. Серверҳои VPS.org GPU ҳанӯз дастрас нестанд; бо мо тамос гиред, то вақте ки онҳо дастрас мешаванд, шунед. Ollama дар аввал LLM- иқтибос / боркунии корҳои чат аст. Шумо хоҳед хондани зуд- дастёбии тасодуфӣ аз диск ба хотира ва VRAM- и кофӣ барои модел ва тирезаи контекстӣ.
Серверҳои GPU ҳанӯз барои фармоиш дастрас нестанд. Имрӯз шумо метавонед Ollama- ро дар нақшаи оддии CPU иҷро кунед, ки дар он он хеле сусттар аз GPU кор мекунад: SSH дар ва curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3- ро иҷро кунед.
LLM- и индуксия VRAM- ро бо параметрҳои модел андоза мегирад. Модели 7B ~5- 8 ГБ VRAM, 13B ~10- 14 ГБ, 70B талаботи бисёр- GPU ё квантизатсияро талаб мекунад. Модели 24 ГБ Tesla P40- и мо бо осонӣ моделҳои 7B- 13B- ро бо дақиқии пурра ва моделҳои 30B-и синфро бо квантизатсияи INT8 иҷро мекунад.
Нақшаҳои GPU VPS ҳармоҳа бо шартномаҳои бе қулф баста мешаванд ва метавонанд дар ҳар вақт бекор карда шаванд. Барои дараҷаҳои нархи GPU бо мо тамос гиред.
Ҳар як сервери VPS.org бо дастрасии пурраи root меояд, бинобар ин шумо метавонед дигар абзорҳоро дар якҷоягӣ бо Ollama дар RAM ва захираи сервер иҷро кунед.
Ҳар як сервери VPS.org бо дастрасии пурраи root SSH меояд, бинобар ин шумо метавонед ронандаҳо, китобхонаҳо ва Ollama-ро тавре, ки ба шумо лозим аст, насб кунед.
Не. Никто из серверов не поставляется с предварительно установленным CUDA runtime или NVIDIA драйвером, и серверы GPU пока не доступны для заказа. Вы устанавливаете версии, которые нужны Ollama.
Да. Серверҳои VPS.org мошинҳои виртуалии доимӣ мебошанд, на намунаҳои кӯтоҳмуддат: моделҳои Ollama, конфигуратсияи ва маълумот дар захираи SSD-и сервер то он даме, ки шумо онҳоро нест кунед, мемонанд.
Дар хотираи корӣ маълумотҳои корӣ дар сервери SSD барои дастрасии тез дар вақти иҷрои Ollama нигоҳ доред ва нусхаи анҷомёфтаи артефактҳо (вазнҳо, наслҳо, дарҷҳо) ба захираи берун аз VPS.org; суратҳо ва нусхаҳои эҳтиётӣ дар як кластери захиравӣ мемонанд.
Шумо метавонед ҳар як сервери VPS.org-ро аз панели идоракунӣ ба нақшаи калонтар такмил диҳед; тағири андоза онро аз нав оғоз мекунад ва насбкунии Ollama-и шумо ба он мегузарад. Серверҳои GPU ҳанӯз дастрас нестанд.
Да. Захираи нусхаи эҳтиётӣ иловаи пардохтшаванда мебошад (ҳаррӯза +30% аз нархи нақша, нигоҳ дошта мешавад 7 рӯз; ҳафтаина +20%, нигоҳ дошта мешавад 28 рӯз) ва суратҳо ройгон мебошанд, ки пеш аз иҷрои дароз Ollama фоиданок аст. Ҳарду дар як кластери захиракунӣ бо сервер мемонанд.
Барои дархост кардани баргардонидани маблағ дар муддати 30 рӯзи хариди аввал бо дастгирӣ тамос гиред. Серверҳои GPU ҳанӯз фурӯхта нашудаанд, бинобар ин фармоиши GPU дар ин бора вуҷуд надорад.
GPU- и шумо маҳдуд аст. Ба мо дар бораи боркунии кории худ хабар диҳед ва мо бо дастрасӣ ва нарх ҷавоб хоҳем дод.