Біз NVIDIA Tesla P40 (24 ГБ VRAM, Pascal архитектурасы) графикалық процессор серверлерін Llama, Mistral және Gemma сияқты ашық көзді LLM- лерді орындау үшін дайындап жатырмыз. Графикалық процессор серверлері әлі тапсырыс берілмеген; тапсырыс берілгенде хабарласыңыз.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Орнату командасының мысалы
Ollama - бұл өзіңіздің компьютеріңізде үлкен тіл моделін орындауға арналған жеңіл құрал. Графикалық процессор серверінде модель процессордың орнына графикалық процессорда орындалады, бұл жауап беру жылдамдығын арттырады.
Llama, Mistral, Gemma, Phi, Qwen және басқа да модельдерді бір командамен жүктеп алу.
7B- ден 13B- ке дейінгі модельдермен және квантталғанда 30B- ге дейінгі модельдермен үйлесімді. 70B модельдері бір 24 ГБ картаға сыймайды, әдетте квантталған деңгейде.
Сұрау мен деректер серверіңізде қалады, үшінші тарап API шақырулары жоқ.
Оллама OpenAI-мен үйлесімді endpoint-ті көрсетеді, ол көптеген клиенттер қолдана алады.
Ollama жұмысын жеделдету үшін NVIDIA графикалық процессорын пайдалана алады. VPS.org графикалық процессор серверлері әлі тапсырыс беруге дайын емес; олар келсе хабарласыңыз. Ollama негізінен LLM- деректеме / чат жұмыс жүктемесі. Сізге дискіден жадқа тез кездейсоқ оқып алу және модель мен контекст терезесін орындау үшін жеткілікті VRAM керек.
Графикалық процессор серверлері әлі тапсырыс берілмеді. Бүгінде Ollama- ті стандартты процессор жоспарында орындауға болады, ол графиктік процессормен салыстырғанда баяу жұмыс істейді: SSH арқылы кіріңіз де curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3- ті орындаңыз.
LLM-нің VRAM-ы модель параметрлері бойынша өлшенеді: 7B моделі шамамен 5-8 ГБ VRAM қажет, ал 13B моделі шамамен 10-14 ГБ, ал 70B-класс моделі бірнеше ГП немесе ауыр кванттау қажет.
Графикалық процессор бағасы Графикалық процессор серверлері тапсырыс берілгенде жарияланады. Егер бұл туралы білгіңіз келсе, бізбен байланысыңыз.
Иә. Әрбір VPS.org сервері root рұқсатымен келеді, сондықтан сервердің RAM және сақтау орындарында Ollama-пен бірге басқа құралдарды да орындай аласыз.
Әрбір VPS.org сервері root SSH қатынауымен келеді, сондықтан драйверлерді, жиын файлдарын және Ollama- ті қажетіңізге қарай орната аласыз.
No. No server comes with a CUDA runtime or NVIDIA driver preinstalled, and GPU servers are not available to order yet. You install the versions Ollama needs yourself.
Иә. VPS.org серверлері тұрақты виртуалды машиналар, сәтсіз мысалдар емес: Ollama үлгілері, конфигурациялары және деректері оларды өшіргенше сервердің SSD сақтауында қалады.
Сервердің SSD-де жұмыс деректерін сақтау, Ollama орындау кезінде тез қол жеткізу үшін, және аяқталған артефактілерді (салмақтар, генерациялар, ендірулер) VPS.org-тен тыс сақтауға көшіру; слайдшоу мен сақтық көшірмелерді сол сақтау кластерінде сақтау.
Барлық VPS.org серверлерді басқару панелінен үлкен жоспарға жаңартуға болады; өлшемін өзгерту оны қайта іске қосады және Ollama орнатуыңыз одан әрі жалғасады. Графикалық процессор серверлері әлі жоқ.
Иә. Сақтық көшірмелеу төлемді қосымша қызмет (күн сайын +30% жоспар бағасы, 7 күн сақталады; апта сайын +20%, 28 күн сақталады) және скриншоттар тегін, бұл Ollama- ті ұзақ уақыт орындау алдында пайдалы. Екеуі де сервердің бір сақтау кластерінде қалады.
Бірінші сатып алуыңыздан кейін 30 күн ішінде қолдау қызметіне хабарласып, ақшаны қайтаруды сұраңыз. Графикалық процессор серверлері әлі сатылмайды, сондықтан Графикалық процессорды тапсырыс беру қажет емес.
Графикалық процессордың қуаты шектеулі. Жұмыс жүктемеңіз туралы айтып беріңіз, біз қолжетімділігі мен бағасын хабарлаймыз.