NVIDIA Tesla P40 (24 GB VRAM, Pascal architecture) માંથી AI મોડેલો સેવા આપો: LLMs, ચિત્ર મોડેલો અને અન્ય ભવિષ્યવાણી. GPU સર્વર હજુ સુધી ઓર્ડર કરી શકાય તેવા નથી; જ્યારે તેઓ હોય ત્યારે સૂચિત કરવા માટે અમારો સંપર્ક કરો.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# ઉદાહરણ સ્થાપન આદેશ
AI inference એ પૂર્વધારણાઓ ઉત્પન્ન કરવા માટે તાલીમ પામેલા મોડેલો ચલાવવાનું છે. GPU inference સર્વર GPU પર મોડેલ લાવવામાં રાખે છે અને CPU કરતા વિનંતીઓને ઝડપથી જવાબ આપે છે.
GPU એ ફક્ત તમારા સર્વરને જ પસાર થાય છે, તેથી લેટેન્સી અન્ય ગ્રાહકોની GPU કામો દ્વારા અસર થયેલ નથી.
Ollama, llama.cpp, Triton અથવા તમારી પોતાની API વાપરો. vLLM જેવા કેટલાક ફ્રેમવર્કો, Pascal P40 કરતાં નવી GPUs ની જરૂર છે.
તમારા પોતાના લોડ બેલેન્સર પાછળ ઘણા બધા સર્વર ચલાવો જો એક GPU પૂરતો ન હોય.
એક મધ્યમ કદનું મોડેલ અથવા ઘણાં નાના મોડેલ આપો.
AI Inference એ તેની કામગીરી ઝડપી કરવા NVIDIA GPU વાપરી શકે છે. VPS.org GPU સર્વર હજુ પણ ઓર્ડર કરવા માટે ઉપલબ્ધ નથી; તેઓ ક્યારે છે તે સાંભળવા માટે અમારો સંપર્ક કરો. AI Inference એ સામાન્ય GPU-પ્રવેગિત કાર્યભાર છે. ખાતરી કરો કે તમારા સોફ્ટવેરમાં CUDA આધાર છે અને તમારા ડ્રાઇવર / રનટાઇમ આવૃત્તિઓ AI Inference માટે કાર્યભાર જરૂરિયાતો સાથે બંધબેસે છે.
GPU સર્વર હજુ સુધી ઓર્ડર કરવા માટે ઉપલબ્ધ નથી. આજે તમે AI Inference ને નિયમિત CPU યોજના પર ચલાવી શકો છો, જ્યાં તે GPU કરતા ઘણું ધીમેથી કામ કરે છે: SSH માં અને pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct ચલાવો.
AI Inference માટે VRAM જરૂરિયાતો મોડેલ અને બેચ માપ પર આધારિત છે; વર્તમાન આંકડા માટે પ્રોજેક્ટ દસ્તાવેજ ચકાસો.
GPU કિંમત જાહેર કરવામાં આવશે જ્યારે GPU સર્વરોને આદેશ કરી શકાય છે. અમારો સંપર્ક કરો જો તમે સાંભળવા માંગતા હોવ તો જ્યારે તે થાય છે.
હા. દરેક VPS.org સર્વર સંપૂર્ણ રુટ પ્રવેશ સાથે આવે છે, તેથી તમે સર્વરની RAM અને સંગ્રહની અંદર AI Inference ની સાથે અન્ય સાધનો ચલાવી શકો છો.
દરેક VPS.org સર્વર સંપૂર્ણ રુટ SSH પ્રવેશ સાથે આવે છે, તેથી તમે ડ્રાઇવરો, લાઇબ્રેરીઓ અને AI Inference સ્થાપિત કરી શકો છો જેમ તમારે જરૂર હોય.
ના. કોઇ સર્વર CUDA runtime અથવા NVIDIA ડ્રાઇવર સાથે પહેલાથી સ્થાપિત થયેલ નથી, અને GPU સર્વરો હજુ સુધી આદેશ માટે ઉપલબ્ધ નથી. તમે AI Inference આવૃત્તિઓ તમારી જાતને સ્થાપિત કરો.
હા. VPS.org સર્વર એ સ્થિર વર્ચ્યુઅલ મશીનો છે, અસ્થાયી ઘટનાઓ નથી: AI Inference મોડેલો, રૂપરેખાંકનો અને માહિતી સર્વરના SSD સંગ્રહ પર રહે છે જ્યાં સુધી તમે તેમને કાઢી નાખો.
AI Inference ચલાવવા દરમિયાન ઝડપી પ્રવેશ માટે સર્વરની SSD પર કામ કરવાની માહિતી રાખો, અને સમાવાયેલ આર્ટીફેક્ટ્સ (વજન, પેઢીઓ, સમાવિષ્ટો) ની નકલ VPS.org ની બહાર સંગ્રહમાં કરો; સ્નેપશોટ અને બેકઅપ એ જ સંગ્રહ ક્લસ્ટર પર રહે છે.
તમે નિયંત્રણ પેનલમાંથી કોઈપણ VPS.org સર્વરને મોટી યોજના માટે સુધારી શકો છો; માપ બદલવાનું તેને પુન:શરૂ કરે છે અને તમારું AI Inference સ્થાપન ઉપર લઇ જાય છે. GPU સર્વર હજુ ઉપલબ્ધ નથી.
હા. બેકઅપ એ ચૂકવણી થયેલ ઉમેરું છે (દરરોજ +30% યોજના કિંમત, 7દિવસ રાખેલ; અઠવાડિયામાં +20%, 28 દિવસ રાખેલ) અને સ્નેપશોટ મુક્ત છે, જે AI Inference લાંબા સમય સુધી ચાલે તે પહેલાં ઉપયોગી છે. બંને સર્વરની જેમ સમાન સંગ્રહ ક્લસ્ટર પર રહે છે.
તમારા પ્રથમ ખરીદીના 30 દિવસો અંદર ફરીથી ચૂકવણીની વિનંતી કરવા માટે આધારનો સંપર્ક કરો. GPU સર્વર હજુ વેચાયા નથી, તેથી GPU આદેશ સામેલ નથી.
GPU ક્ષમતા મર્યાદિત છે. અમને તમારા કાર્યભાર વિશે કહો અને અમે ઉપલબ્ધતા અને કિંમત સાથે જવાબ આપીશું.