NVIDIA Tesla P40 (24 ГБ VRAM, Pascal архитектурасы)-дағы Meta-ның Llama модельдерін өз-өзіне хосттау. 8B модельдерін толық дәлдікпен және квантталғанда үлкен модельдермен сәйкестендіреді. ГП серверлері әлі тапсырыс берілмеді; тапсырыс берілгенде хабарлау үшін бізге хабарласыңыз.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Орнату командасының мысалы
Llama - Meta- ның ашық қолжетімді үлкен тіл модельдерінің шоғыры. Llama- ны өзіңіздің графикалық процессор серверіңізде орындау сұрау мен деректерді жеке сақтайды.
8B модельдері 24 ГБ VRAM- да орындалады. 70B модельдері бір 24 ГБ картаға сыймайды, әдетте кванттау деңгейлері бірдей.
Сіздің сұрауларыңыз мен деректеріңіз серверіңізде қалады, үшінші тарап API шақырулары жоқ.
GGUF-ты llama.cpp немесе Ollama немесе PyTorch салмағымен қолдану.
Оллама немесе OpenAI-ге сәйкес келетін соңғы нүкте үшін llama.cpp серверімен модельдерді қызмет көрсету.
LLaMA жұмысын жеделдету үшін NVIDIA графикалық процессорын пайдалана алады. VPS.org графикалық процессор серверлері әлі тапсырыс беруге дайын емес; олар келсе хабарласыңыз. LLaMA - жалпы графикалық процессормен жеделдетілген жұмыс жүктемесі. Бағдарламаңыз CUDA қолдайтынын және драйверіңіздің / орындау ортасының нұсқасы LLaMA үшін керек жүктемеге сәйкес келетінін тексеріңіз.
Графикалық процессор серверлері әлі тапсырыс берілмеді. Бүгінде LLaMA- ті стандартты процессор жоспарында орындауға болады, ол графиктік процессормен салыстырғанда баяу жұмыс істейді: SSH арқылы кіріңіз де curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3- ті орындаңыз.
LLaMA үшін VRAM қажеттілігі модель мен десте өлшеміне байланысты; қазіргі мәндер жоба құжаттамасына қараңыз.
Графикалық процессор бағасы Графикалық процессор серверлері тапсырыс берілгенде жарияланады. Егер бұл туралы білгіңіз келсе, бізбен байланысыңыз.
Иә. Әрбір VPS.org сервері root рұқсатымен келеді, сондықтан сервердің RAM және сақтау орындарында LLaMA-пен бірге басқа құралдарды да орындай аласыз.
Әрбір VPS.org сервері root SSH қатынауымен келеді, сондықтан драйверлерді, жиын файлдарын және LLaMA- ті қажетіңізге қарай орната аласыз.
No. No server comes with a CUDA runtime or NVIDIA driver preinstalled, and GPU servers are not available to order yet. You install the versions LLaMA needs yourself.
Иә. VPS.org серверлері тұрақты виртуалды машиналар, сәтсіз мысалдар емес: LLaMA үлгілері, конфигурациялары және деректері оларды өшіргенше сервердің SSD сақтауында қалады.
Сервердің SSD-де жұмыс деректерін сақтау, LLaMA орындау кезінде тез қол жеткізу үшін, және аяқталған артефактілерді (салмақтар, генерациялар, ендірулер) VPS.org-тен тыс сақтауға көшіру; слайдшоу мен сақтық көшірмелерді сол сақтау кластерінде сақтау.
Барлық VPS.org серверлерді басқару панелінен үлкен жоспарға жаңартуға болады; өлшемін өзгерту оны қайта іске қосады және LLaMA орнатуыңыз одан әрі жалғасады. Графикалық процессор серверлері әлі жоқ.
Иә. Сақтық көшірмелеу төлемді қосымша қызмет (күн сайын +30% жоспар бағасы, 7 күн сақталады; апта сайын +20%, 28 күн сақталады) және скриншоттар тегін, бұл LLaMA- ті ұзақ уақыт орындау алдында пайдалы. Екеуі де сервердің бір сақтау кластерінде қалады.
Бірінші сатып алуыңыздан кейін 30 күн ішінде қолдау қызметіне хабарласып, ақшаны қайтаруды сұраңыз. Графикалық процессор серверлері әлі сатылмайды, сондықтан Графикалық процессорды тапсырыс беру қажет емес.
Графикалық процессордың қуаты шектеулі. Жұмыс жүктемеңіз туралы айтып беріңіз, біз қолжетімділігі мен бағасын хабарлаймыз.