Մենք պատրաստում ենք NVIDIA Tesla P40 (24 ԳԲ VRAM, Pascal ճարտարապետություն) GPU սերվերներ բաց կոդով LLM-ների, ինչպիսիք են Llama, Mistral և Gemma-ն Ollama-ի հետ աշխատելու համար։ GPU սերվերները դեռևս չեն կարող պատվիրվել, կապվեք մեզ հետ, որպեսզի տեղեկացնենք, երբ դրանք կհայտնվեն։
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Տեղադրման հրամանի օրինակ
Ollama-ն փոքր գործիք է, որը թույլ է տալիս ձեր համակարգչի վրա մեծ լեզվական մոդելներ ընթացիկ պահել։ GPU սերվերի դեպքում մոդելը ընթանում է GPU-ում, ոչ թե CPU-ում, ինչը շատ ավելի արագ պատասխաններ է տալիս։
Լամայի, Միստրալի, Գեմմայի, Փիի, Կուվենի և այլ մոդելների նկարագրությունը մեկ հրամանով
7B-ից 13B մոդելներին հարմար է և մոտ 30B մոդելներին՝ կոնվենցիոն կերպով։ 70B մոդելները չեն տեղավորվում մեկ 24 ԳԲ քարտի վրա, երբ կոնվենցիոն մակարդակները սովորական են։
Պարզաբանումները և տվյալները մնում են ձեր սերվերում, առանց երրորդ կողմի API կոչերի։
Ollama-ն OpenAI-ի հետ համընկնող վերջնական կետ է, որը կարող են օգտագործել շատ այժմյան հաճախորդներ։
Ollama-ը կարող է օգտագործել NVIDIA GPU-ն իր աշխատանքը արագացնելու համար։ VPS.org GPU սերվերները դեռևս չեն հասանելի պատվիրելու համար։ Հեռախոսեք մեզ՝ իմանալու համար, երբ դրանք հասանելի կլինեն։ Ollama-ը հիմնականում LLM-inference / chat աշխատանքային բեռն է։ Դուք կցանկանաք արագ պատահական մուտքագրումներ սկավառակից հիշողություն և բավարար VRAM մոդելի և կոնտեքստի պատուհանի համար։
Գրաֆիկական պրոցեսորի սերվերները դեռևս չեն կարող պատվիրվել։ Այսօր դուք կարող եք Ollama-ը գործարկել սովորական պրոցեսորի պլանի վրա, որտեղ այն ավելի դանդաղ է աշխատում, քան գրաֆիկական պրոցեսորի վրա։ Սեղմեք SSH և գործարկեք curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3-ը։
LLM inference VRAM scales with model parameters: 7B մոդելը պահանջում է մոտավորապես 5-8 GB VRAM, իսկ 13B մոդելը՝ մոտավորապես 10-14 GB, մինչդեռ 70B-class մոդելները պահանջում են մի քանի GPU-ներ կամ ծանր կոնվենցիաներ.
GPU-ի գինը կհայտարարվի, երբ GPU սերվերները կարողանան պատվիրվել։ Հեռացեք մեզանից, եթե ցանկանում եք իմանալ, թե երբ է դա տեղի ունենալու։
Այո։ Յուրաքանչյուր VPS.org սերվեր ունի root-ի լիակատար իրավունքներ, այնպես որ դուք կարող եք Ollama-ի հետ միասին նաև այլ գործիքներ երթևեկել սերվերի RAM-ում և պահեստում։
Յուրաքանչյուր VPS.org սերվեր ունի root SSH մուտք, այնպես որ դուք կարող եք տեղադրել դիզայներներ, գրադարաններ և Ollama, ինչպես ձեզ հարկավոր է։
Ոչ։ Ոչ մի սերվեր չի ապահովված CUDA-ի կամ NVIDIA-ի դյուրակիրներով, և GPU սերվերները դեռևս չեն կարող պատվիրվել։ Դուք ինքներդ եք տեղադրում Ollama-ի պահանջվող տարբերակները։
Այո։ VPS.org սերվերները մշտական վիրտուալ մեքենաներ են, ոչ թե ժամանակավոր օրինակներ։ Ollama մոդելները, կառույցները և տվյալները մնում են սերվերի SSD պահեստում մինչև դրանք ոչնչացնելը։
Պահել տվյալները սերվերի SSD-ում Ollama-ի աշխատանքի ժամանակ արագ հասանելիության համար, և պատճենել ավարտվելիք արվեստագործությունները (կշիռներ, սերունդներ, ներդրումներ) VPS.org-ից դուրս պահպանման համար։ Սկզբնական նկարները և պահեստային սկավառակները մնում են նույն պահպանման խմբում։
Դուք կարող եք վերանորոգել ցանկացած VPS.org սերվեր ավելի մեծ պլանի համար կառավարման վահանակից, վերանորոգման ժամանակ այն կվերսկսվի և Ollama-ի տեղադրումը կկատարվի։ GPU սերվերները դեռևս հասանելի չեն։
Այո։ Առաջնահաշիվները վճարովի հավելված են (օրական +30% պլանի արժեքից, պահպանվում է 7 օր; շաբաթական +20%, պահպանվում է 28 օր) և նկարները անվճար են, ինչը օգտակար է Ollama-ի երկարատև գործարկման համար։ Դրանք երկուսն էլ մնացել են սերվերի հետ նույն պահպանման խմբում։
Հաղորդակցվել աջակցության հետ առաջին գնումից հետո 30 օրվա ընթացքում՝ գումարը վերադարձնելու համար։ GPU սերվերները դեռևս չեն վաճառվել, հետևաբար GPU-ի պատվեր չի կատարվել։
Գրաֆիկական պրոցեսորի ունակությունը սահմանափակ է։ Պատմեք մեզ ձեր աշխատանքի ծավալի մասին, և մենք կպատասխանենք՝ նշելով հասանելիությունը և գինը։