Биз NVIDIA Tesla P40 (24 ГБ VRAM, Pascal архитектурасы) менен GPU серверлерин даярдап жатабыз, алар Llama, Mistral жана Gemma сыяктуу ачык булактуу LLM программаларын Ollama менен иштетүүгө ылайыктуу. GPU серверлери азырынча буйрук берүүгө жарабайт; алар буйрук берилгенде бизге кабарлоо үчүн байланышыңыз.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Орнотуу командасынын мисалы
Ollama - бул компьютериңизде чоң тил моделдерин иштетүү үчүн жеңил аспап. Графикалык процессор серверинде модель процессордун ордуна ГПЧда иштей баштайт, бул жоопторду тездетет.
Лама, Мистраль, Гейма, Фи, Квен жана башка моделдерди бир команда менен жүктөп алуу.
7B-ден 13B-ге чейинки моделдерге ылайыктуу жана квантталганда 30B моделдерине жакын. 70B моделдери бир 24 ГБ картага окшош квантталган деңгээлдерде туура келбейт.
Спросы и данные остаются на сервере, без третьих сторонних API-звонков.
Ollama OpenAI-ка шайкеш келген, көпчүлүк учурдагы клиенттер колдоно турган акыркы пунктту көрсөтөт.
Ollama өзүнүн ишин тездетүү үчүн NVIDIA GPU'сун колдоно алат. VPS.org GPU серверлери азырынча буйрук үчүн жеткиликтүү эмес; алар качан жеткиликтүү болорун билүү үчүн биз менен байланышыңыз. Ollama негизинен LLM-инференция / чат иш жүктөөсү. Сизге тездик менен дисктен эске тездик менен окуу жана моделдин жана контекст терезесинин жетиштүү VRAM керек.
Графикалык процессорлор серверлери азырынча буйрук үчүн жеткиликтүү эмес. Бүгүнкү күндө сиз Ollama программасын кадимки процессор планында иштете аласыз, ал графикалык процессорго караганда бир топ ылдамыраак иштейт: SSH аркылуу кирип, curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3 программасын иштетиңиз.
LLM инференция VRAM модели параметрлери менен өлчөмүн: 7B модели керек болжол менен 5-8 ГБ VRAM жана 13B модели болжол менен 10-14 ГБ, ал эми 70B класс моделдери бир нече GPU же оор кванттык керек.
GPU серверлердин баасы GPU серверлер буйрук кылынганда жарыяланат. Эгерде сиз бул жөнүндө билүүнү кааласаңыз, биз менен байланышыңыз.
Да. Каждый сервер VPS.org имеет полный доступ к root, поэтому вы можете запускать другие инструменты вместе с Ollama в пределах сервера RAM и хранилища.
Ар бир VPS.org сервери толук root SSH мүмкүнчүлүгү менен келет, ошондуктан сиз керектүү драйверлерди, библиотекаларды жана Ollama орното аласыз.
Жок. Серверлер CUDA же NVIDIA драйверлери менен орнотулбайт, ошондой эле GPU серверлери азырынча буйрук кылууга мүмкүн эмес. Сиз Ollama керектүү версияларын өзүңүз орнотосуз.
Да. VPS.org серверлери туруктуу виртуалдык машиналар, эффемердүү экземпляр эмес: Ollama моделдери, конфигурациялары жана маалыматтары сиз аларды өчүргөнгө чейин сервердин SSD сактоочу жайында калат.
Работающие данные хранятся на сервере SSD для быстрого доступа во время выполнения Ollama, а законченные артефакты (весы, поколения, вставки) копируются в хранилище вне VPS.org; снимки и резервные копии остаются на том же хранилище кластера.
Сиз каалаган VPS.org серверин башкаруу панелинен чоңураак планга жаңыртууга болот; өлчөмүн өзгөртүү менен ал кайрадан иштей баштайт жана Ollama орнотуулары алмаштырылат. GPU серверлери азырынча жок.
Да. Резервдик көчүрмөлөр акы төлөнүүчү кошумча кызмат (күнүнө +30% пландын баасы, 7 күн сакталат; жумасына +20%, 28 күн сакталат) жана сүрөттөр акысыз, бул Ollama узакка иштебей турганда пайдалуу. Эки кызмат да сервер менен бир эле сактоо кластеринде калат.
Сумма возврата должна быть получена в течение 30 дней после первого покупки. Графические серверы пока не проданы, поэтому заказ на них не производится.
Графикалык процессордун кубаттуулугу чектелген. Сиздин иш жүктөмүңүз тууралуу бизге кабарлаңыз, биз сизге жеткиликтүүлүгү жана баасы тууралуу жооп беребиз.