Биз NVIDIA Tesla P40 (24 GB VRAM, Pascal архитектураси) билан GPU серверларини Llama, Mistral ва Gemma каби очиқ манбали LLMларни Ollama билан ишга тушириш учун тайёрламоқдамиз. GPU серверлари ҳозирча буюртма қилина олмайди; улар буюртма қилинганда бизга хабар бериш учун алоқа қилинг.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Ўрнатиш буйруғи мисоли
Ollama ўз компьютерингизда катта тил моделларини ишга тушириш учун енгил асбобдир. GPU серверида модел CPU ўрнига GPUда ишлайди, бу жавобларни тезлаштиради.
Llama, Mistral, Gemma, Phi, Qwen ва бошқа кўплаб моделларни бир буйруқ билан олиб ташлаш.
7B дан 13B моделларига қулай ва квантлашда 30B моделларига яқин жой беради. 70B моделлари оддий квантлаш даражаларида бир 24 GB картага жой бермайди.
Саволлар ва маълумотлар серверингизда қолади, учинчи томон API чақириқларисиз.
Ollama кўплаб мавжуд клиентлар фойдалана оладиган OpenAI-муносиб охирги нуқтани кўрсатади.
Ollama NVIDIA GPU'ни иш тезлигини ошириш учун ишлата олади. VPS.org GPU серверлари ҳозирча буюртма учун мавжуд эмас; улар пайдо бўлганда бизга мурожаат қилинг. Ollama аввало LLM-инференция / суҳбат иш юки ҳисобланади. Сиз дискдан хотирага тезкор random-access ўқиш ва модел ва контекст ойнаси учун етарли VRAMни хоҳлайсиз.
GPU серверлари ҳозирча буюртма учун мавжуд эмас. Бугунги кунда Ollama'ни оддий CPU режасида ишга тушира оласиз, у GPU'дан анча секинроқ ишлайди: SSH'га киринг ва curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3'ни ишга туширинг.
LLM индукцияси VRAM модели параметрлари билан ўлчанади: 7B моделига тахминан 5-8 GB VRAM ва 13B моделига тахминан 10-14 GB керак, 70B-класс моделлари эса бир неча GPU ёки оғир квантлашни талаб қилади.
GPU нархлари GPU серверлари буюртма қилиниши мумкин бўлганда эълон қилинади. Агар бу содир бўлганда эшитишни истасангиз биз билан алоқа қилинг.
Ҳа. Ҳар бир VPS.org сервери тўлиқ root рухсати билан келади, шунинг учун сиз сервер RAM ва сақлашда Ollama билан бирга бошқа асбобларни ҳам ишга тушира оласиз.
Ҳар бир VPS.org сервери тўлиқ root SSH кириши билан келади, шунинг учун сиз драйверлар, китобхоналар ва Ollama'ни ўзингизга керак бўлган тарзда ўрнатишингиз мумкин.
Йўқ. Сервер CUDA runtime ёки NVIDIA драйвери билан олдиндан ўрнатилган ҳолда келмайди, GPU серверлари эса ҳозирча буюртма учун мавжуд эмас. Сиз Ollama керакли версияларни ўзингиз ўрнатасиз.
Ҳа. VPS.org серверлари доимий виртуал машиналар, вақтинчалик нусхалар эмас: Ollama моделлари, конфигурациялари ва маълумотлари уларни ўчириб ташлагунингизча сервернинг SSD сақловида қолади.
Ollama ишга туширилганда тезкор кириш учун иш маълумотларини сервернинг SSD сида сақлаш ва тугалланган артефактларни (вазн, авлодлар, ёпиштириш) VPS.org дан ташқаридаги сақлашга нусхалаш; суратлар ва нусхалар бир хил сақлаш кластерида қолади.
Сиз бошқарув панелидан ҳар қандай VPS.org серверини каттароқ планга янгилай оласиз; ўлчамларни ўзгартириш уни қайта ишга туширади ва Ollama ўрнатишингиз ўрнатишларни олиб кетади. GPU серверлари ҳозирча мавжуд эмас.
Ҳа. Заҳира нусхалари тўловли қўшимча (ҳар куни +30% режа нархи, 7 кун сақланадиган; ҳафтада +20%, 28 кун сақланадиган) ва суратлар бепул, бу узоқ Ollama ишлашдан олдин фойдали. Иккаласи ҳам сервер билан бир хил сақлаш кластерида қолади.
Қўллаб-қувватлаш хизматига биринчи харидингиздан 30 кун ичида пулни қайтариш учун мурожаат қилинг. GPU серверлари ҳали сотилмаган, шунинг учун GPU буюртмаси йўқ.
GPU қуввати чекланган. Бизга иш юкингиз ҳақида айтинг, биз сизга мавжудлиги ва нархини айтиб берамиз.