NVIDIA Tesla P40 (24 GB VRAM, Pascal архитектураси) устида Meta'нинг Llama моделларини ўзига хос хост қилиш. 8B моделларига тўлиқ аниқлик билан ва квантлашда катта моделларга мос келади. GPU серверлари ҳозирча буюртма қилина олмайди; улар буюртма қилинганда хабар олиш учун бизга мурожаат қилинг.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Ўрнатиш буйруғи мисоли
Llama Meta'нинг очиқ манбали катта тил моделлари оиласидир. Llama'ни ўзингизнинг GPU серверингизда ишга тушириш саволлар ва маълумотларни махфий сақлайди.
8B моделларини 24 GB VRAMда ишлатилади. 70B моделлари оддий квантлаш даражаларида битта 24 GB картага сиғмайди.
Сизнинг саволларингиз ва маълумотларингиз серверда қолади, учинчи томон API чақириқларисиз.
GGUF ни llama.cpp ёки Ollama ёки маҳаллий PyTorch оғирликлари билан ишлатинг.
OpenAI-га мос келувчи охирги нуқта учун Ollama ёки llama.cpp сервери билан моделларни хизматга қўйиш.
LLaMA NVIDIA GPU'ни иш тезлигини ошириш учун ишлата олади. VPS.org GPU серверлари ҳозирча буюртма учун мавжуд эмас; улар пайдо бўлганда бизга мурожаат қилинг. LLaMA GPU тезлаштирилган умумий иш юкламасидир. Сизнинг дастурингиз CUDA'ни қўллаб-қувватлашини ва драйверингиз/иш вақти версиянгиз LLaMA учун иш юклама талабларига мос келишини текширинг.
GPU серверлари ҳозирча буюртма учун мавжуд эмас. Бугунги кунда LLaMA'ни оддий CPU режасида ишга тушира оласиз, у GPU'дан анча секинроқ ишлайди: SSH'га киринг ва curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3'ни ишга туширинг.
LLaMA учун VRAM талаблари модел ва партия ҳажмига боғлиқ; ҳозирги рақамлар учун лойиҳа ҳужжатларини текширинг.
GPU нархлари GPU серверлари буюртма қилиниши мумкин бўлганда эълон қилинади. Агар бу содир бўлганда эшитишни истасангиз биз билан алоқа қилинг.
Ҳа. Ҳар бир VPS.org сервери тўлиқ root рухсати билан келади, шунинг учун сиз сервер RAM ва сақлашда LLaMA билан бирга бошқа асбобларни ҳам ишга тушира оласиз.
Ҳар бир VPS.org сервери тўлиқ root SSH кириши билан келади, шунинг учун сиз драйверлар, китобхоналар ва LLaMA'ни ўзингизга керак бўлган тарзда ўрнатишингиз мумкин.
Йўқ. Сервер CUDA runtime ёки NVIDIA драйвери билан олдиндан ўрнатилган ҳолда келмайди, GPU серверлари эса ҳозирча буюртма учун мавжуд эмас. Сиз LLaMA керакли версияларни ўзингиз ўрнатасиз.
Ҳа. VPS.org серверлари доимий виртуал машиналар, вақтинчалик нусхалар эмас: LLaMA моделлари, конфигурациялари ва маълумотлари уларни ўчириб ташлагунингизча сервернинг SSD сақловида қолади.
LLaMA ишга туширилганда тезкор кириш учун иш маълумотларини сервернинг SSD сида сақлаш ва тугалланган артефактларни (вазн, авлодлар, ёпиштириш) VPS.org дан ташқаридаги сақлашга нусхалаш; суратлар ва нусхалар бир хил сақлаш кластерида қолади.
Сиз бошқарув панелидан ҳар қандай VPS.org серверини каттароқ планга янгилай оласиз; ўлчамларни ўзгартириш уни қайта ишга туширади ва LLaMA ўрнатишингиз ўрнатишларни олиб кетади. GPU серверлари ҳозирча мавжуд эмас.
Ҳа. Заҳира нусхалари тўловли қўшимча (ҳар куни +30% режа нархи, 7 кун сақланадиган; ҳафтада +20%, 28 кун сақланадиган) ва суратлар бепул, бу узоқ LLaMA ишлашдан олдин фойдали. Иккаласи ҳам сервер билан бир хил сақлаш кластерида қолади.
Қўллаб-қувватлаш хизматига биринчи харидингиздан 30 кун ичида пулни қайтариш учун мурожаат қилинг. GPU серверлари ҳали сотилмаган, шунинг учун GPU буюртмаси йўқ.
GPU қуввати чекланган. Бизга иш юкингиз ҳақида айтинг, биз сизга мавжудлиги ва нархини айтиб берамиз.