NVIDIA Tesla P40 (24 GB VRAM, Pascal architecture) компьютеринде Meta's Llama моделдеринин өзүнчө хосту. 8B моделдерине толук тактыкта жана квантталганда чоң моделдерге ылайыктуу. ГПУ серверлери азырынча буйрук берүүгө жарабайт; алар буйрук берилсе, бизге кабарлоо үчүн байланышыңыз.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Орнотуу командасынын мисалы
Llama - Meta's family of openly available large language models. Llama'ны өз GPU сервериңизде иштетүү суроолор жана маалыматтарды жеке сактайт.
8B моделдерин 24 ГБ VRAM менен иштетет. 70B моделдери бир 24 ГБ картага окшош кванттоо деңгээлинде ыңгайлашпайт.
Сиздин суроолоруңуз жана маалыматтарыңыз серверде калат, эч кандай үчүнчү жактын API чакыруулары жок.
GGUF-ди llama.cpp же Ollama менен же PyTorch салмагы менен колдонуу.
Ollama же llama.cpp сервери менен OpenAI-коопсуздук менен шайкеш келген акыркы пункту үчүн моделдерди кызматка коюу.
LLaMA өзүнүн ишин тездетүү үчүн NVIDIA GPU'сун колдоно алат. VPS.org GPU серверлери азырынча буйрук үчүн жеткиликтүү эмес; алар качан жеткиликтүү болорун билүү үчүн биз менен байланышыңыз. LLaMA - бул жалпы GPU-акселрацияланган иш жүктөө. Сиздин программаңыз CUDA колдоосун колдооруна жана сиздин драйвериңиз / иштетүү версияңыз LLaMA үчүн иш жүктөө талаптарына шайкеш келгенине ынаныңыз.
Графикалык процессорлор серверлери азырынча буйрук үчүн жеткиликтүү эмес. Бүгүнкү күндө сиз LLaMA программасын кадимки процессор планында иштете аласыз, ал графикалык процессорго караганда бир топ ылдамыраак иштейт: SSH аркылуу кирип, curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3 программасын иштетиңиз.
LLaMA үчүн VRAM керектөөлөрү моделден жана пакеттин өлчөмүнөн көз каранды; учурдагы көрсөткүчтөр долбоордун документациясынан табылган.
GPU серверлердин баасы GPU серверлер буйрук кылынганда жарыяланат. Эгерде сиз бул жөнүндө билүүнү кааласаңыз, биз менен байланышыңыз.
Да. Каждый сервер VPS.org имеет полный доступ к root, поэтому вы можете запускать другие инструменты вместе с LLaMA в пределах сервера RAM и хранилища.
Ар бир VPS.org сервери толук root SSH мүмкүнчүлүгү менен келет, ошондуктан сиз керектүү драйверлерди, библиотекаларды жана LLaMA орното аласыз.
Жок. Серверлер CUDA же NVIDIA драйверлери менен орнотулбайт, ошондой эле GPU серверлери азырынча буйрук кылууга мүмкүн эмес. Сиз LLaMA керектүү версияларын өзүңүз орнотосуз.
Да. VPS.org серверлери туруктуу виртуалдык машиналар, эффемердүү экземпляр эмес: LLaMA моделдери, конфигурациялары жана маалыматтары сиз аларды өчүргөнгө чейин сервердин SSD сактоочу жайында калат.
Работающие данные хранятся на сервере SSD для быстрого доступа во время выполнения LLaMA, а законченные артефакты (весы, поколения, вставки) копируются в хранилище вне VPS.org; снимки и резервные копии остаются на том же хранилище кластера.
Сиз каалаган VPS.org серверин башкаруу панелинен чоңураак планга жаңыртууга болот; өлчөмүн өзгөртүү менен ал кайрадан иштей баштайт жана LLaMA орнотуулары алмаштырылат. GPU серверлери азырынча жок.
Да. Резервдик көчүрмөлөр акы төлөнүүчү кошумча кызмат (күнүнө +30% пландын баасы, 7 күн сакталат; жумасына +20%, 28 күн сакталат) жана сүрөттөр акысыз, бул LLaMA узакка иштебей турганда пайдалуу. Эки кызмат да сервер менен бир эле сактоо кластеринде калат.
Сумма возврата должна быть получена в течение 30 дней после первого покупки. Графические серверы пока не проданы, поэтому заказ на них не производится.
Графикалык процессордун кубаттуулугу чектелген. Сиздин иш жүктөмүңүз тууралуу бизге кабарлаңыз, биз сизге жеткиликтүүлүгү жана баасы тууралуу жооп беребиз.