በቅርቡ: NVIDIA ቴስላ P40, 24 ጂቢ VRAM

ሰርቨር

ከNVIDIA Tesla P40 (24GB VRAM, Pascal architecture) AI ሞዴሎችን ያቀርቡ: LLMs, የቀለም ሞዴሎች እና ሌሎች ትንበያዎች. GPU ሰርቨሮች አሁንም አደራጅተው አይደሉም; እነሱ ሲሆኑ ወቅት ማስታወቂያ እንዲደረግ እኛን ያነጋግሩ.

$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# የምሳሌ ማስቀመጫ ትእዛዝ

AI Inference በጂፒዩ ቪፒኤስ ላይ ምንድነው?

AI ማነሻ ማለት ማነሻዎችን ለማምጣት የተማሩ ሞዴሎችን መሥራት ማለት ነው. የ GPU ማነሻ ሰርቨር ሞዴልን በ GPU ላይ ይጫናል እና ጥያቄዎችን ከ CPU ይልቅ በብቃት ይመለሳል.

AI Inference በ VPS.org GPU ሰርቨር ላይ

GPU አልተጋራም

የጂፒዩ ወደ ሰርቨርዎ ብቻ ይለወጣል፣ ስለዚህ ሌቴንሲው በሌሎች ደንበኞች የጂፒዩ ስራዎች አይጎዳም

የፍሬምዌር አገልግሎት

ኦልማ፣ ላማ.ሲፒፒ፣ ትራቶን ወይም የራስዎን API ይጠቀሙ። አንዳንድ ፍሬምዌሮች፣ እንደ vLLM፣ ከፓስካል P40 የበለጠ አዲስ GPUs ያስፈልጋሉ።

የራስህ መጠን

አንድ የጂፒዩ ቢበቃ ብዙ ሰርቨሮችን ከራስህ ሎድ ባሌንሰር ኋላ ይጫኑ

24 ጊባ VRAM

አንድ መካከለኛ መጠን ሞዴል ወይም ብዙ ትናንሽ እነሱን ይስጡ.

የተለመዱ AI Inference የጠቀሙባቸው ሁኔታዎች

LLM API መጨረሻ ነጥቦች
ምስልን አጥፉ
የድምፅ-ወደ-ጽሑፍ አገልግሎት
የኮምፒውተር ቪዥን APIs
የምርጫዎች ማሽን
የጊዜ ርዝመት፦

የGPU ዝርዝሮች

ጂፒዩNVIDIA Tesla P40
ቪሬም24 GB GDDR5
ቀለሞች3,840
FP3212 TFLOPS
INT847 TOPS
ማስታወሻ346 GB/s
አርክቴክቸርPascal (GP102)
መተላለፊያየPCIe መተላለፊያ

ብዙ ጊዜ የሚጠየቁ ጥያቄዎች

AI Inference በጂፒዩ ቪፒኤስ ላይ ምንድነው?

+

AI Inference ስራውን ለማስፋፋት NVIDIA GPU ሊጠቀም ይችላል። VPS.org GPU ሰርቨሮች አሁንም ለማዘዝ አልተዘጋጁም፤ በጊዜው ሲሆኑ ለመስማት እኛን ያነጋግሩ። AI Inference የጋራ GPU-የተሻሻለ የሥራ ጭነት ነው። የሶፍትዌርዎ CUDA ድጋፍ እንዳለው እና የእርስዎ ዳይሬክተር / ሩንታይም ስሪቶች የ AI Inference የሥራ ጭነት ፍላጎቶችን እንደሚያሟሉ ያረጋግጡ።

እንዴት AI Inference በ GPU VPS ላይ ማዘጋጀት እችላለሁ?

+

GPU ሰርቨሮች አሁንም ለመጠየቅ አልተዘጋጁም. ዛሬ AI Inferenceን በደንብ CPU ላይ መጫን ይችላሉ፣ ከGPU ይልቅ በጣም ቀላል ነው: SSH ውስጥ እና pip install vllm && vllm serve meta-llama/Llama-3-8B-Instructን ይጫኑ

ለ AI Inference ምን ያህል VRAM ያስፈልገኛል?

+

ለAI Inference የVRAM ፍላጎቶች በሞዴል እና በባች መጠን ላይ ይወሰናል፤ የፕሮጀክት ሰነዶችን ለሚቀጥሉት ቁጥሮች ይመልከቱ

ለ AI Inference የጂፒዩ ሰርቨር ምን ያህል ዋጋ አለው?

+

የጂፒዩ ዋጋዎች የጂፒዩ ሰርቨሮች ሲጠየቁ ይለቀቃሉ፡፡ ይህ ሲከሰት ሊያሰማን የሚፈልግ ከሆነ እኛን ያነጋግሩን።

ሌሎች መሳሪያዎችን ከAI Inference ጋር ማሽከርከር እችላለሁን?

+

አዎ. VPS.org ሰርቨር ሁሉ በሙሉ ሩት እድል ይመጣል, ስለዚህ ሌሎች መሣሪያዎችን AI Inference ጋር በሰርቨር ሬም እና ማስቀመጫ ውስጥ መሥራት ይችላሉ.

በ AI Inference GPU VPS ላይ ሙሉ ሩት እወስዳለሁን?

+

ሁሉም VPS.org ሰርቨር በሙሉ ሩት SSH መዳረሻ ይመጣል, ስለዚህ ድራቫሮችን, ላብራቶሪዎችን እና AI Inference እንደፈለጉ መጫን ይችላሉ.

VPS.org ለ AI Inference CUDA መቀመጫን ይጫናል?

+

አይደለም። ምንም ሰርቨር በኩዱድ ሩንታይም ወይም በNVIDIA ድራየር ተጭኖ አይመጣም፤ የጂፒዩ ሰርቨሮችም አሁንም ለመግዛት አይገኙም፤ የዘፈኑ ቅርጸቶች AI Inference በራሱ ያስፈልጋሉ፤

AI Inference GPU VPSዬ ከስብሰባዎች መካከል ይቆያል?

+

አዎ. VPS.org ሰርቨሮች ዘላቂ ምናባዊ ማሽኖች ናቸው፣ ያልተወሰነ ጊዜ ያላቸው አይደሉም: AI Inference ሞዴሎች፣ ማስተካከያዎች እና መረጃዎች እስከምትጥላቸው ድረስ በሰርቨሩ SSD ማከማቻ ላይ ይቀራሉ

የAI Inference ተግባርን ለመጠበቅ መረጃዬን የት ማስቀመጥ አለብኝ?

+

በ AI Inference መተላለፊያዎች ውስጥ ለፍጥነት ለመድረስ የሰርቨር SSD ላይ የስራ መረጃን ይያዙ፣ እና የተጠናቀቁ አርቲፋክቶች (ክብደት፣ ትውልድ፣ embeddings) ወደ VPS.org ውጭ ወደ ማከማቻ ይለጥፉ፤ ስኔትሾፖች እና バックアップዎች በተመሳሳይ ማከማቻ ክስተት ላይ ይቀራሉ

AI Inference GPU VPS ን በኋላ ማሳደግ እችላለሁን?

+

ማንኛውንም VPS.org ሰርቨር ከኮንትራክሽን ፓነል ወደ ትልቅ ፕሮግራም ማሻሻል ይችላሉ፤ የፍጥነት መለወጥ ይጀምራል እና AI Inference ማዋቀርዎ ይቀመጣል. GPU ሰርቨሮች አሁንም አልተገኙም

የድጋፍ ፋይሎች ለGPU VPSዬ ይገኛሉ?

+

አዎ. バック-አፕ የተከፈለ አጠቃላይ (የቀን +30% የፕላን ዋጋ, 7 ቀናት ተቆጠረ; ሳምንታዊ +20%, 28 ቀናት ተቆጠረ) እና ስፕንሾቶች ነጻ ናቸው, ይህም ረጅም AI Inference ከመሮጥ በፊት ጥቅም ላይ ይውላል. ሁለቱም እንደ ሰርቨር በተመሳሳይ ማከማቻ ክስተት ላይ ይቆያሉ.

ገንዘብ ማግኘት እችላለሁን?

+

የመጀመሪያውን መግዛት ከጀመርክ በኋላ በ30 ቀናት ውስጥ ተመላሽ ለማድረግ ድጋፍን ያነጋግሩ። የጂፒዩ ሰርቨሮች አሁንም አልተሸጡም፣ ስለዚህ የጂፒዩ ትዕዛዝ አልተካተተም።

AI Inferenceን በጂፒዩ ሰርቨር ላይ መጫን ይፈልጋሉ?

የጂፒዩ አቅም የተወሰነ ነው. ስለ ሥራዎ ብዛት ንገረን እና በማግኘት እና በዋጋ እንመልከት