Օգտագործեք Meta-ի Llama մոդելները NVIDIA Tesla P40-ի վրա (24 ԳԲ VRAM, Pascal ճարտարապետություն)։ Այն համապատասխանում է 8B մոդելներին ամբողջական ճշգրտությամբ և ավելի մեծ մոդելներին, երբ կոնվենցիոնացված է։ GPU սերվերները դեռևս չեն կարող պատվիրվել։ Հաղորդակցվեք մեզ հետ, որպեսզի տեղեկացնենք, երբ դրանք կհայտնվեն։
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Տեղադրման հրամանի օրինակ
Llama-ն Meta-ի բաց հասանելի լեզվի մեծ մոդելների ընտանիքն է։ Llama-ն ձեր սեփական GPU սերվերում աշխատեցնելը պահպանում է հարցումները և տվյալները գաղտնի։
8B մոդելները աշխատում են 24 ԳԲ VRAM-ի վրա։ 70B մոդելները չեն տեղավորվում մեկ 24 ԳԲ քարտի վրա սովորական կոնտենսացիոն մակարդակում։
Ձեր հարցումները և տվյալները մնում են սերվերում, առանց որևէ երրորդ կողմի API կոչերի։
Օգտագործել GGUF-ը llama.cpp-ի կամ Ollama-ի հետ, կամ PyTorch-ի տեղական քաշերը։
Օգտագործել Ollama-ի կամ llama.cpp սերվերի մոդելները OpenAI-ի հետ համընկնող վերջնական կետերի համար։
LLaMA- ը կարող է օգտագործել NVIDIA GPU- ն իր աշխատանքը արագացնելու համար։ VPS.org GPU սերվերները դեռևս չեն հասանելի պատվիրելու համար։ Հետևեք մեզ՝ իմանալու համար, երբ դրանք հասանելի կլինեն։ LLaMA- ը GPU- ով արագացված ընդհանուր աշխատանքային ծանրաբեռնվածություն է։ Վստահ եղեք, որ ձեր ծրագրային ապահովումը CUDA- ի աջակցություն ունի և ձեր վարորդը / գործարկման տարբերակը համապատասխանում է LLaMA- ի աշխատանքային ծանրաբեռնվածության պահանջներին։
Գրաֆիկական պրոցեսորի սերվերները դեռևս չեն կարող պատվիրվել։ Այսօր դուք կարող եք LLaMA-ը գործարկել սովորական պրոցեսորի պլանի վրա, որտեղ այն ավելի դանդաղ է աշխատում, քան գրաֆիկական պրոցեսորի վրա։ Սեղմեք SSH և գործարկեք curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3-ը։
LLaMA-ի համար VRAM-ի պահանջները կախված են մոդելից և խմբի չափից։ Դիտեք նախագծի փաստաթղթերը՝ ներկայիս տվյալների համար։
GPU-ի գինը կհայտարարվի, երբ GPU սերվերները կարողանան պատվիրվել։ Հեռացեք մեզանից, եթե ցանկանում եք իմանալ, թե երբ է դա տեղի ունենալու։
Այո։ Յուրաքանչյուր VPS.org սերվեր ունի root-ի լիակատար իրավունքներ, այնպես որ դուք կարող եք LLaMA-ի հետ միասին նաև այլ գործիքներ երթևեկել սերվերի RAM-ում և պահեստում։
Յուրաքանչյուր VPS.org սերվեր ունի root SSH մուտք, այնպես որ դուք կարող եք տեղադրել դիզայներներ, գրադարաններ և LLaMA, ինչպես ձեզ հարկավոր է։
Ոչ։ Ոչ մի սերվեր չի ապահովված CUDA-ի կամ NVIDIA-ի դյուրակիրներով, և GPU սերվերները դեռևս չեն կարող պատվիրվել։ Դուք ինքներդ եք տեղադրում LLaMA-ի պահանջվող տարբերակները։
Այո։ VPS.org սերվերները մշտական վիրտուալ մեքենաներ են, ոչ թե ժամանակավոր օրինակներ։ LLaMA մոդելները, կառույցները և տվյալները մնում են սերվերի SSD պահեստում մինչև դրանք ոչնչացնելը։
Պահել տվյալները սերվերի SSD-ում LLaMA-ի աշխատանքի ժամանակ արագ հասանելիության համար, և պատճենել ավարտվելիք արվեստագործությունները (կշիռներ, սերունդներ, ներդրումներ) VPS.org-ից դուրս պահպանման համար։ Սկզբնական նկարները և պահեստային սկավառակները մնում են նույն պահպանման խմբում։
Դուք կարող եք վերանորոգել ցանկացած VPS.org սերվեր ավելի մեծ պլանի համար կառավարման վահանակից, վերանորոգման ժամանակ այն կվերսկսվի և LLaMA-ի տեղադրումը կկատարվի։ GPU սերվերները դեռևս հասանելի չեն։
Այո։ Առաջնահաշիվները վճարովի հավելված են (օրական +30% պլանի արժեքից, պահպանվում է 7 օր; շաբաթական +20%, պահպանվում է 28 օր) և նկարները անվճար են, ինչը օգտակար է LLaMA-ի երկարատև գործարկման համար։ Դրանք երկուսն էլ մնացել են սերվերի հետ նույն պահպանման խմբում։
Հաղորդակցվել աջակցության հետ առաջին գնումից հետո 30 օրվա ընթացքում՝ գումարը վերադարձնելու համար։ GPU սերվերները դեռևս չեն վաճառվել, հետևաբար GPU-ի պատվեր չի կատարվել։
Գրաֆիկական պրոցեսորի ունակությունը սահմանափակ է։ Պատմեք մեզ ձեր աշխատանքի ծավալի մասին, և մենք կպատասխանենք՝ նշելով հասանելիությունը և գինը։