Օգտագործել AI մոդելները NVIDIA Tesla P40-ից (24 ԳԲ VRAM, Pascal ճարտարապետություն): LLM-ներ, պատկերային մոդելներ և այլ կանխատեսումներ: GPU սերվերները դեռևս չեն կարող պատվիրվել, կապվեք մեզ հետ, որպեսզի տեղեկացնենք, երբ դրանք կհայտնվեն։
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# Տեղադրման հրամանի օրինակ
AI եզրակացությունը նշանակում է սովորեցված մոդելների գործարկում կանխատեսումների համար։ GPU եզրակացության սերվերը պահում է մոդելը՝ GPU-ում և պատասխանում է խնդրանքներին շատ ավելի արագ, քան CPU-ն։
Գրաֆիկական պրոցեսորները միայն ձեր սերվերին են փոխանցվում, այնպես որ ուշացումը չի ազդում այլ հաճախորդների գրաֆիկական պրոցեսորների աշխատանքների վրա։
Կիրառել Ollama, llama.cpp, Triton կամ ձեր սեփական API-ն։ Որոշ մոդելներ, ինչպիսիք են vLLM-ը, Pascal P40-ից ավելի նոր GPU-ներ են պահանջում։
Օգտագործել մի քանի սերվերներ ձեր սեփական բեռնման բաշխիչի հետևում, եթե մեկ GPU-ն բավարար չէ։
Մի քանի միջին չափի կամ փոքրիկ մոդելներ մատուցեք։
AI Inference- ը կարող է օգտագործել NVIDIA GPU- ն իր աշխատանքը արագացնելու համար։ VPS.org GPU սերվերները դեռևս չեն հասանելի պատվիրելու համար։ Հետևեք մեզ՝ իմանալու համար, երբ դրանք հասանելի կլինեն։ AI Inference- ը GPU- ով արագացված ընդհանուր աշխատանքային ծանրաբեռնվածություն է։ Վստահ եղեք, որ ձեր ծրագրային ապահովումը CUDA- ի աջակցություն ունի և ձեր վարորդը / գործարկման տարբերակը համապատասխանում է AI Inference- ի աշխատանքային ծանրաբեռնվածության պահանջներին։
Գրաֆիկական պրոցեսորի սերվերները դեռևս չեն կարող պատվիրվել։ Այսօր դուք կարող եք AI Inference-ը գործարկել սովորական պրոցեսորի պլանի վրա, որտեղ այն ավելի դանդաղ է աշխատում, քան գրաֆիկական պրոցեսորի վրա։ Սեղմեք SSH և գործարկեք pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct-ը։
AI Inference-ի համար VRAM-ի պահանջները կախված են մոդելից և խմբի չափից։ Դիտեք նախագծի փաստաթղթերը՝ ներկայիս տվյալների համար։
GPU-ի գինը կհայտարարվի, երբ GPU սերվերները կարողանան պատվիրվել։ Հեռացեք մեզանից, եթե ցանկանում եք իմանալ, թե երբ է դա տեղի ունենալու։
Այո։ Յուրաքանչյուր VPS.org սերվեր ունի root-ի լիակատար իրավունքներ, այնպես որ դուք կարող եք AI Inference-ի հետ միասին նաև այլ գործիքներ երթևեկել սերվերի RAM-ում և պահեստում։
Յուրաքանչյուր VPS.org սերվեր ունի root SSH մուտք, այնպես որ դուք կարող եք տեղադրել դիզայներներ, գրադարաններ և AI Inference, ինչպես ձեզ հարկավոր է։
Ոչ։ Ոչ մի սերվեր չի ապահովված CUDA-ի կամ NVIDIA-ի դյուրակիրներով, և GPU սերվերները դեռևս չեն կարող պատվիրվել։ Դուք ինքներդ եք տեղադրում AI Inference-ի պահանջվող տարբերակները։
Այո։ VPS.org սերվերները մշտական վիրտուալ մեքենաներ են, ոչ թե ժամանակավոր օրինակներ։ AI Inference մոդելները, կառույցները և տվյալները մնում են սերվերի SSD պահեստում մինչև դրանք ոչնչացնելը։
Պահել տվյալները սերվերի SSD-ում AI Inference-ի աշխատանքի ժամանակ արագ հասանելիության համար, և պատճենել ավարտվելիք արվեստագործությունները (կշիռներ, սերունդներ, ներդրումներ) VPS.org-ից դուրս պահպանման համար։ Սկզբնական նկարները և պահեստային սկավառակները մնում են նույն պահպանման խմբում։
Դուք կարող եք վերանորոգել ցանկացած VPS.org սերվեր ավելի մեծ պլանի համար կառավարման վահանակից, վերանորոգման ժամանակ այն կվերսկսվի և AI Inference-ի տեղադրումը կկատարվի։ GPU սերվերները դեռևս հասանելի չեն։
Այո։ Առաջնահաշիվները վճարովի հավելված են (օրական +30% պլանի արժեքից, պահպանվում է 7 օր; շաբաթական +20%, պահպանվում է 28 օր) և նկարները անվճար են, ինչը օգտակար է AI Inference-ի երկարատև գործարկման համար։ Դրանք երկուսն էլ մնացել են սերվերի հետ նույն պահպանման խմբում։
Հաղորդակցվել աջակցության հետ առաջին գնումից հետո 30 օրվա ընթացքում՝ գումարը վերադարձնելու համար։ GPU սերվերները դեռևս չեն վաճառվել, հետևաբար GPU-ի պատվեր չի կատարվել։
Գրաֆիկական պրոցեսորի ունակությունը սահմանափակ է։ Պատմեք մեզ ձեր աշխատանքի ծավալի մասին, և մենք կպատասխանենք՝ նշելով հասանելիությունը և գինը։