በቅርቡ: NVIDIA ቴስላ P40, 24 ጂቢ VRAM

መተግበሪያን በጂፒዩ ቪፒኤስ ላይ ይጫኑ

የጂፒዩ ሰርቨሮችን እንደ ላማ፣ ሚስትራል እና ጄማ ያሉ የኦላማ ጋር የሆኑ የክፍል-መነሻ LLMs ለመስራት በ NVIDIA Tesla P40 (24 GB VRAM ፣ ፓስካል አርክቴክቸር) የጂፒዩ ሰርቨሮችን እንዘጋጃለን ፡፡ የጂፒዩ ሰርቨሮች አሁንም ሊታዘዙ አይችሉም ፣ እነሱ ሲሆኑ ሊታወቁ ሊሆኑ ይገባል ፡፡

$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# የምሳሌ ማስቀመጫ ትእዛዝ

Ollama በጂፒዩ ቪፒኤስ ላይ ምንድነው?

ኦላማ በራስዎ ማሽን ላይ ትልቅ የቋንቋ ሞዴሎችን ለማስኬድ ቀላል መሳሪያ ነው. በጂፒዩ ሰርቨር ላይ ሞዴሉ በጂፒዩ ላይ ሲፒዩን በመተው ይሠራል፣ ይህም መልሶችን በጣም ፈጣን ያደርጋል ፡፡

Ollama በ VPS.org GPU ሰርቨር ላይ

የክፍል ፋይል

ላማ፣ ሚስትራል፣ ጄማ፣ ፊ፣ ኩዌን እና ሌሎች ብዙ ሞዴሎችን በአንድ ትእዛዝ ጫን

24 ጊባ VRAM

7B ወደ 13B ሞዴሎች ምቹ እና በዙሪያው 30B ሞዴሎች quantized ጊዜ ይጣጣማል. 70B ሞዴሎች አንድ 24 GB ካርድ ላይ የተለመደ quantization ደረጃዎች ላይ አይጣጣም.

የግል

ጥያቄዎችና መረጃዎች በሰርቨርዎ ላይ ይቀራሉ፣ የሶስተኛ ወገን API ጥሪዎችን ሳይጠቀሙ

የቀን መቁጠሪያ

Ollama ብዙ የቀድሞ ደንበኞች ሊጠቀሙ ይችላሉ የ OpenAI-ተስማሚ መጨረሻ ነጥብ ያሳያል.

የተለመዱ Ollama የጠቀሙባቸው ሁኔታዎች

የግል ውይይት
የውስጥ መሣሪያዎች
የRAG ፕሮግራሞች
ኮድ ማምጣት
የጽሑፍ አቀማመጥ
የቀን መቁጠሪያ አሳይ

የGPU ዝርዝሮች

ጂፒዩNVIDIA Tesla P40
ቪሬም24 GB GDDR5
ቀለሞች3,840
FP3212 TFLOPS
INT847 TOPS
ማስታወሻ346 GB/s
አርክቴክቸርPascal (GP102)
መተላለፊያየPCIe መተላለፊያ

ብዙ ጊዜ የሚጠየቁ ጥያቄዎች

Ollama በጂፒዩ ቪፒኤስ ላይ ምንድነው?

+

Ollama ስራውን ለማስፋፋት NVIDIA GPU ሊጠቀም ይችላል። VPS.org GPU ሰርቨሮች አሁንም ለማዘዝ አልተዘጋጁም፤ በጊዜው ሲሆኑ ለመስማት እኛን ያነጋግሩ። Ollama በመጀመሪያ LLM-inference / chat workload ነው ፡፡ ከዲስክ ወደ ማስታወሻ ፈጣን የፍጥነት-አቅጣጫ አንብቦችን እና ለሞዴል ተጨማሪ የኮንቴክስት መስኮት ጠቃሚ የ VRAM ይፈልጋሉ ፡፡

እንዴት Ollama በ GPU VPS ላይ ማዘጋጀት እችላለሁ?

+

GPU ሰርቨሮች አሁንም ለመጠየቅ አልተዘጋጁም. ዛሬ Ollamaን በደንብ CPU ላይ መጫን ይችላሉ፣ ከGPU ይልቅ በጣም ቀላል ነው: SSH ውስጥ እና curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3ን ይጫኑ

ለ Ollama ምን ያህል VRAM ያስፈልገኛል?

+

LLM ግምገማ VRAM ሞዴል ፓራሜትሮች ጋር ይለካል: 7B ሞዴል VRAM 5 እስከ 8 GB እና 13B ሞዴል 10 እስከ 14 GB, 70B-ክፍል ሞዴሎች ብዙ GPUs ወይም ከባድ quantization ያስፈልጋል.

ለ Ollama የጂፒዩ ሰርቨር ምን ያህል ዋጋ አለው?

+

የጂፒዩ ዋጋዎች የጂፒዩ ሰርቨሮች ሲጠየቁ ይለቀቃሉ፡፡ ይህ ሲከሰት ሊያሰማን የሚፈልግ ከሆነ እኛን ያነጋግሩን።

ሌሎች መሳሪያዎችን ከOllama ጋር ማሽከርከር እችላለሁን?

+

አዎ. VPS.org ሰርቨር ሁሉ በሙሉ ሩት እድል ይመጣል, ስለዚህ ሌሎች መሣሪያዎችን Ollama ጋር በሰርቨር ሬም እና ማስቀመጫ ውስጥ መሥራት ይችላሉ.

በ Ollama GPU VPS ላይ ሙሉ ሩት እወስዳለሁን?

+

ሁሉም VPS.org ሰርቨር በሙሉ ሩት SSH መዳረሻ ይመጣል, ስለዚህ ድራቫሮችን, ላብራቶሪዎችን እና Ollama እንደፈለጉ መጫን ይችላሉ.

VPS.org ለ Ollama CUDA መቀመጫን ይጫናል?

+

አይደለም። ምንም ሰርቨር በኩዱድ ሩንታይም ወይም በNVIDIA ድራየር ተጭኖ አይመጣም፤ የጂፒዩ ሰርቨሮችም አሁንም ለመግዛት አይገኙም፤ የዘፈኑ ቅርጸቶች Ollama በራሱ ያስፈልጋሉ፤

Ollama GPU VPSዬ ከስብሰባዎች መካከል ይቆያል?

+

አዎ. VPS.org ሰርቨሮች ዘላቂ ምናባዊ ማሽኖች ናቸው፣ ያልተወሰነ ጊዜ ያላቸው አይደሉም: Ollama ሞዴሎች፣ ማስተካከያዎች እና መረጃዎች እስከምትጥላቸው ድረስ በሰርቨሩ SSD ማከማቻ ላይ ይቀራሉ

የOllama ተግባርን ለመጠበቅ መረጃዬን የት ማስቀመጥ አለብኝ?

+

በ Ollama መተላለፊያዎች ውስጥ ለፍጥነት ለመድረስ የሰርቨር SSD ላይ የስራ መረጃን ይያዙ፣ እና የተጠናቀቁ አርቲፋክቶች (ክብደት፣ ትውልድ፣ embeddings) ወደ VPS.org ውጭ ወደ ማከማቻ ይለጥፉ፤ ስኔትሾፖች እና バックアップዎች በተመሳሳይ ማከማቻ ክስተት ላይ ይቀራሉ

Ollama GPU VPS ን በኋላ ማሳደግ እችላለሁን?

+

ማንኛውንም VPS.org ሰርቨር ከኮንትራክሽን ፓነል ወደ ትልቅ ፕሮግራም ማሻሻል ይችላሉ፤ የፍጥነት መለወጥ ይጀምራል እና Ollama ማዋቀርዎ ይቀመጣል. GPU ሰርቨሮች አሁንም አልተገኙም

የድጋፍ ፋይሎች ለGPU VPSዬ ይገኛሉ?

+

አዎ. バック-አፕ የተከፈለ አጠቃላይ (የቀን +30% የፕላን ዋጋ, 7 ቀናት ተቆጠረ; ሳምንታዊ +20%, 28 ቀናት ተቆጠረ) እና ስፕንሾቶች ነጻ ናቸው, ይህም ረጅም Ollama ከመሮጥ በፊት ጥቅም ላይ ይውላል. ሁለቱም እንደ ሰርቨር በተመሳሳይ ማከማቻ ክስተት ላይ ይቆያሉ.

ገንዘብ ማግኘት እችላለሁን?

+

የመጀመሪያውን መግዛት ከጀመርክ በኋላ በ30 ቀናት ውስጥ ተመላሽ ለማድረግ ድጋፍን ያነጋግሩ። የጂፒዩ ሰርቨሮች አሁንም አልተሸጡም፣ ስለዚህ የጂፒዩ ትዕዛዝ አልተካተተም።

Ollamaን በጂፒዩ ሰርቨር ላይ መጫን ይፈልጋሉ?

የጂፒዩ አቅም የተወሰነ ነው. ስለ ሥራዎ ብዛት ንገረን እና በማግኘት እና በዋጋ እንመልከት