በቅርቡ: NVIDIA ቴስላ P40, 24 ጂቢ VRAM

LLaMAን በGPU VPS ላይ ይጫኑ

የሜታ ላማ ሞዴሎችን በNVIDIA Tesla P40 (24GB VRAM, Pascal architecture) ላይ በራሱ አስተናጋጅ። በሙሉ ትክክለኛነት ለ8B ሞዴሎች እና ትልቅ ሞዴሎች በኩዌንቴይዝ ጊዜ ተስማሚ ነው። GPU ሰርቨሮች አሁንም ሊሰሩ አይችሉም፤ እነሱ ሲሆኑ ሊታወቁን ይግባኙን።

$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# የምሳሌ ማስቀመጫ ትእዛዝ

LLaMA በጂፒዩ ቪፒኤስ ላይ ምንድነው?

ላማ የሜታ ቤተሰብ በነጻ የተገኘ የላቀ ቋንቋ ሞዴሎች ነው. ላማን በግል GPU ሰርቨር ላይ መጫን ጥያቄዎችን እና መረጃዎችን የግል ያድርጉ።

LLaMA በ VPS.org GPU ሰርቨር ላይ

Llama 3 8B

8B ሞዴሎችን በ24GB VRAM ላይ ይጫወታል. 70B ሞዴሎችን በአንድ 24GB ካርድ ላይ በጋራ የቁጥር ደረጃዎች ላይ አይስማሙም.

የግል

የእርስዎ ጥያቄዎች እና መረጃዎች በሰርቨርዎ ላይ ይቀራሉ፣ ምንም የሶስተኛ ወገን API ጥሪዎችን ሳይኖራቸው።

የሞዴል ቅርጽ

GGUFን ከlama.cpp ወይም Ollama ወይም ከPiTorch ክብደት ጋር ይጠቀሙ

የቀን መቁጠሪያ

የኦልላማ ወይም የላማ.ሲፒፒ ሰርቨር ለኦፕንአይ-ተስማሚ መጨረሻ ነጥብ ሞዴሎችን ያቀርቡ

የተለመዱ LLaMA የጠቀሙባቸው ሁኔታዎች

የግል AI ረዳት
ሰነዶችን አጥፉ
ኮድ መፍጠር
ይዘት
የደንበኛ ድጋፍ
የውስጥ AI መሣሪያዎች

የGPU ዝርዝሮች

ጂፒዩNVIDIA Tesla P40
ቪሬም24 GB GDDR5
ቀለሞች3,840
FP3212 TFLOPS
INT847 TOPS
ማስታወሻ346 GB/s
አርክቴክቸርPascal (GP102)
መተላለፊያየPCIe መተላለፊያ

ብዙ ጊዜ የሚጠየቁ ጥያቄዎች

LLaMA በጂፒዩ ቪፒኤስ ላይ ምንድነው?

+

LLaMA ስራውን ለማስፋፋት NVIDIA GPU ሊጠቀም ይችላል። VPS.org GPU ሰርቨሮች አሁንም ለማዘዝ አልተዘጋጁም፤ በጊዜው ሲሆኑ ለመስማት እኛን ያነጋግሩ። LLaMA የጋራ GPU-የተሻሻለ የሥራ ጭነት ነው። የሶፍትዌርዎ CUDA ድጋፍ እንዳለው እና የእርስዎ ዳይሬክተር / ሩንታይም ስሪቶች የ LLaMA የሥራ ጭነት ፍላጎቶችን እንደሚያሟሉ ያረጋግጡ።

እንዴት LLaMA በ GPU VPS ላይ ማዘጋጀት እችላለሁ?

+

GPU ሰርቨሮች አሁንም ለመጠየቅ አልተዘጋጁም. ዛሬ LLaMAን በደንብ CPU ላይ መጫን ይችላሉ፣ ከGPU ይልቅ በጣም ቀላል ነው: SSH ውስጥ እና curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3ን ይጫኑ

ለ LLaMA ምን ያህል VRAM ያስፈልገኛል?

+

ለLLaMA የVRAM ፍላጎቶች በሞዴል እና በባች መጠን ላይ ይወሰናል፤ የፕሮጀክት ሰነዶችን ለሚቀጥሉት ቁጥሮች ይመልከቱ

ለ LLaMA የጂፒዩ ሰርቨር ምን ያህል ዋጋ አለው?

+

የጂፒዩ ዋጋዎች የጂፒዩ ሰርቨሮች ሲጠየቁ ይለቀቃሉ፡፡ ይህ ሲከሰት ሊያሰማን የሚፈልግ ከሆነ እኛን ያነጋግሩን።

ሌሎች መሳሪያዎችን ከLLaMA ጋር ማሽከርከር እችላለሁን?

+

አዎ. VPS.org ሰርቨር ሁሉ በሙሉ ሩት እድል ይመጣል, ስለዚህ ሌሎች መሣሪያዎችን LLaMA ጋር በሰርቨር ሬም እና ማስቀመጫ ውስጥ መሥራት ይችላሉ.

በ LLaMA GPU VPS ላይ ሙሉ ሩት እወስዳለሁን?

+

ሁሉም VPS.org ሰርቨር በሙሉ ሩት SSH መዳረሻ ይመጣል, ስለዚህ ድራቫሮችን, ላብራቶሪዎችን እና LLaMA እንደፈለጉ መጫን ይችላሉ.

VPS.org ለ LLaMA CUDA መቀመጫን ይጫናል?

+

አይደለም። ምንም ሰርቨር በኩዱድ ሩንታይም ወይም በNVIDIA ድራየር ተጭኖ አይመጣም፤ የጂፒዩ ሰርቨሮችም አሁንም ለመግዛት አይገኙም፤ የዘፈኑ ቅርጸቶች LLaMA በራሱ ያስፈልጋሉ፤

LLaMA GPU VPSዬ ከስብሰባዎች መካከል ይቆያል?

+

አዎ. VPS.org ሰርቨሮች ዘላቂ ምናባዊ ማሽኖች ናቸው፣ ያልተወሰነ ጊዜ ያላቸው አይደሉም: LLaMA ሞዴሎች፣ ማስተካከያዎች እና መረጃዎች እስከምትጥላቸው ድረስ በሰርቨሩ SSD ማከማቻ ላይ ይቀራሉ

የLLaMA ተግባርን ለመጠበቅ መረጃዬን የት ማስቀመጥ አለብኝ?

+

በ LLaMA መተላለፊያዎች ውስጥ ለፍጥነት ለመድረስ የሰርቨር SSD ላይ የስራ መረጃን ይያዙ፣ እና የተጠናቀቁ አርቲፋክቶች (ክብደት፣ ትውልድ፣ embeddings) ወደ VPS.org ውጭ ወደ ማከማቻ ይለጥፉ፤ ስኔትሾፖች እና バックアップዎች በተመሳሳይ ማከማቻ ክስተት ላይ ይቀራሉ

LLaMA GPU VPS ን በኋላ ማሳደግ እችላለሁን?

+

ማንኛውንም VPS.org ሰርቨር ከኮንትራክሽን ፓነል ወደ ትልቅ ፕሮግራም ማሻሻል ይችላሉ፤ የፍጥነት መለወጥ ይጀምራል እና LLaMA ማዋቀርዎ ይቀመጣል. GPU ሰርቨሮች አሁንም አልተገኙም

የድጋፍ ፋይሎች ለGPU VPSዬ ይገኛሉ?

+

አዎ. バック-አፕ የተከፈለ አጠቃላይ (የቀን +30% የፕላን ዋጋ, 7 ቀናት ተቆጠረ; ሳምንታዊ +20%, 28 ቀናት ተቆጠረ) እና ስፕንሾቶች ነጻ ናቸው, ይህም ረጅም LLaMA ከመሮጥ በፊት ጥቅም ላይ ይውላል. ሁለቱም እንደ ሰርቨር በተመሳሳይ ማከማቻ ክስተት ላይ ይቆያሉ.

ገንዘብ ማግኘት እችላለሁን?

+

የመጀመሪያውን መግዛት ከጀመርክ በኋላ በ30 ቀናት ውስጥ ተመላሽ ለማድረግ ድጋፍን ያነጋግሩ። የጂፒዩ ሰርቨሮች አሁንም አልተሸጡም፣ ስለዚህ የጂፒዩ ትዕዛዝ አልተካተተም።

LLaMAን በጂፒዩ ሰርቨር ላይ መጫን ይፈልጋሉ?

የጂፒዩ አቅም የተወሰነ ነው. ስለ ሥራዎ ብዛት ንገረን እና በማግኘት እና በዋጋ እንመልከት