અમે NVIDIA Tesla P40 (24 GB VRAM, Pascal architecture) સાથે GPU સર્વરોને તૈયાર કરી રહ્યા છીએ, જે ઓપન-સોર્સ LLMs જેમ કે લ્મા, મિસ્ટ્રલ અને ઓલામા સાથે ગેમા ચલાવવા માટે છે. GPU સર્વરોને હજુ સુધી ઓર્ડર કરી શકાતા નથી; જ્યારે તેઓ હોય ત્યારે સૂચિત કરવા માટે અમારો સંપર્ક કરો.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# ઉદાહરણ સ્થાપન આદેશ
Ollama એ તમારા પોતાના મશીન પર મોટા ભાષા મોડેલો ચલાવવા માટેનું હળવું સાધન છે. GPU સર્વર પર મોડેલ CPU ની જગ્યાએ GPU પર ચલાવે છે, જે જવાબો ઝડપી બનાવે છે.
એક આદેશ સાથે લામા, મિસ્ટ્રલ, જૅમ્મા, ફાઇ, ક્વેન અને ઘણાં બધાં મોડેલોને ખેંચો.
7B થી 13B મોડેલોને આરામદાયક રીતે અને 30B મોડેલોની આસપાસ જ્યારે કવન્ટાઇઝ થયેલ હોય ત્યારે બંધબેસે છે. 70B મોડેલો સામાન્ય કવન્ટાઇઝેશન સ્તરો પર એક 24 GB કાર્ડ પર બંધબેસતા નથી.
પ્રશ્નો અને માહિતી તમારા સર્વર પર રહે છે, કોઈ ત્રીજા પક્ષ API કોલ્સ સાથે.
Ollama OpenAI-સુસંગત અંતબિંદુને રજૂ કરે છે કે જે ઘણાં હાલનાં ક્લાયન્ટો વાપરી શકે છે.
Ollama એ તેની કામગીરીને ઝડપી બનાવવા માટે NVIDIA GPU વાપરી શકે છે. VPS.org GPU સર્વર હજુ પણ ઓર્ડર કરવા માટે ઉપલબ્ધ નથી; તેઓ ક્યારે છે તે સાંભળવા માટે અમારો સંપર્ક કરો. Ollama મુખ્યત્વે LLM-inference / વાતચીત કાર્યભાર છે. તમે ડિસ્કમાંથી મેમરી અને મોડેલ અને સંદર્ભ વિન્ડો માટે પૂરતી VRAM માટે ઝડપી રેન્ડમ-પ્રવેશ વાંચન ઇચ્છશો.
GPU સર્વર હજુ સુધી ઓર્ડર કરવા માટે ઉપલબ્ધ નથી. આજે તમે Ollama ને નિયમિત CPU યોજના પર ચલાવી શકો છો, જ્યાં તે GPU કરતા ઘણું ધીમેથી કામ કરે છે: SSH માં અને curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3 ચલાવો.
LLM ઇન્ફર્નેશન VRAM મોડેલ પરિમાણો સાથે માપદંડો: 7B મોડેલ VRAM ની લગભગ 5થી 8 GB ની જરૂરિયાત છે અને 13B મોડેલ લગભગ 10થી 14 GB, જ્યારે 70B-વર્ગ મોડેલોને ઘણા GPUs અથવા ભારે કવન્ટાઇઝેશનની જરૂર છે.
GPU કિંમત જાહેર કરવામાં આવશે જ્યારે GPU સર્વરોને આદેશ કરી શકાય છે. અમારો સંપર્ક કરો જો તમે સાંભળવા માંગતા હોવ તો જ્યારે તે થાય છે.
હા. દરેક VPS.org સર્વર સંપૂર્ણ રુટ પ્રવેશ સાથે આવે છે, તેથી તમે સર્વરની RAM અને સંગ્રહની અંદર Ollama ની સાથે અન્ય સાધનો ચલાવી શકો છો.
દરેક VPS.org સર્વર સંપૂર્ણ રુટ SSH પ્રવેશ સાથે આવે છે, તેથી તમે ડ્રાઇવરો, લાઇબ્રેરીઓ અને Ollama સ્થાપિત કરી શકો છો જેમ તમારે જરૂર હોય.
ના. કોઇ સર્વર CUDA runtime અથવા NVIDIA ડ્રાઇવર સાથે પહેલાથી સ્થાપિત થયેલ નથી, અને GPU સર્વરો હજુ સુધી આદેશ માટે ઉપલબ્ધ નથી. તમે Ollama આવૃત્તિઓ તમારી જાતને સ્થાપિત કરો.
હા. VPS.org સર્વર એ સ્થિર વર્ચ્યુઅલ મશીનો છે, અસ્થાયી ઘટનાઓ નથી: Ollama મોડેલો, રૂપરેખાંકનો અને માહિતી સર્વરના SSD સંગ્રહ પર રહે છે જ્યાં સુધી તમે તેમને કાઢી નાખો.
Ollama ચલાવવા દરમિયાન ઝડપી પ્રવેશ માટે સર્વરની SSD પર કામ કરવાની માહિતી રાખો, અને સમાવાયેલ આર્ટીફેક્ટ્સ (વજન, પેઢીઓ, સમાવિષ્ટો) ની નકલ VPS.org ની બહાર સંગ્રહમાં કરો; સ્નેપશોટ અને બેકઅપ એ જ સંગ્રહ ક્લસ્ટર પર રહે છે.
તમે નિયંત્રણ પેનલમાંથી કોઈપણ VPS.org સર્વરને મોટી યોજના માટે સુધારી શકો છો; માપ બદલવાનું તેને પુન:શરૂ કરે છે અને તમારું Ollama સ્થાપન ઉપર લઇ જાય છે. GPU સર્વર હજુ ઉપલબ્ધ નથી.
હા. બેકઅપ એ ચૂકવણી થયેલ ઉમેરું છે (દરરોજ +30% યોજના કિંમત, 7દિવસ રાખેલ; અઠવાડિયામાં +20%, 28 દિવસ રાખેલ) અને સ્નેપશોટ મુક્ત છે, જે Ollama લાંબા સમય સુધી ચાલે તે પહેલાં ઉપયોગી છે. બંને સર્વરની જેમ સમાન સંગ્રહ ક્લસ્ટર પર રહે છે.
તમારા પ્રથમ ખરીદીના 30 દિવસો અંદર ફરીથી ચૂકવણીની વિનંતી કરવા માટે આધારનો સંપર્ક કરો. GPU સર્વર હજુ વેચાયા નથી, તેથી GPU આદેશ સામેલ નથી.
GPU ક્ષમતા મર્યાદિત છે. અમને તમારા કાર્યભાર વિશે કહો અને અમે ઉપલબ્ધતા અને કિંમત સાથે જવાબ આપીશું.