ਅਸੀਂ NVIDIA Tesla P40 (24 GB VRAM, Pascal architecture) ਨਾਲ GPU ਸਰਵਰ ਤਿਆਰ ਕਰ ਰਹੇ ਹਾਂ, ਜੋ ਕਿ ਓਪਨ- ਸੋਰਸ LLMs ਜਿਵੇਂ ਕਿ Llama, Mistral ਅਤੇ Gemma ਨੂੰ Ollama ਨਾਲ ਚਲਾਉਣ ਲਈ ਹੈ। GPU ਸਰਵਰ ਹੁਣ ਤੱਕ ਆਰਡਰ ਨਹੀਂ ਕੀਤੇ ਜਾ ਸਕਦੇ ਹਨ; ਜਦੋਂ ਉਹ ਹੋਣ ਤਾਂ ਸਾਨੂੰ ਸੂਚਿਤ ਕਰਨ ਲਈ ਸੰਪਰਕ ਕਰੋ।
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# ਉਦਾਹਰਨ ਇੰਸਟਾਲ ਕਮਾਂਡ
ਓਲਾਮਾ ਇੱਕ ਹਲਕਾ ਟੂਲ ਹੈ, ਜੋ ਕਿ ਤੁਹਾਡੀ ਮਸ਼ੀਨ ਉੱਤੇ ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲ ਚਲਾਉਣ ਲਈ ਹੈ । GPU ਸਰਵਰ ਉੱਤੇ ਮਾਡਲ CPU ਦੀ ਬਜਾਏ GPU ਉੱਤੇ ਚਲਦਾ ਹੈ, ਜੋ ਕਿ ਜਵਾਬ ਨੂੰ ਤੇਜ਼ ਕਰਦਾ ਹੈ ।
ਇੱਕ ਕਮਾਂਡ ਨਾਲ ਲਾਮਾ, ਮਿਸਟਰਾਲ, ਜੈਮਾ, ਫਾਈ, ਕੁਵੈਨ ਅਤੇ ਹੋਰ ਬਹੁਤੇ ਮਾਡਲ ਲਵੋ ।
7B ਤੋਂ 13B ਮਾਡਲਾਂ ਨੂੰ ਆਰਾਮ ਨਾਲ ਫਿੱਟ ਕਰਦਾ ਹੈ ਅਤੇ ਜਦੋਂ ਕੁਆਂਟਾਈਜ਼ ਕੀਤਾ ਜਾਵੇ ਤਾਂ 30B ਮਾਡਲਾਂ ਦੇ ਆਲੇ- ਦੁਆਲੇ ਫਿੱਟ ਹੁੰਦਾ ਹੈ। 70B ਮਾਡਲਾਂ ਨੂੰ ਆਮ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਲੈਵਲ ਉੱਤੇ ਇੱਕ 24GB ਕਾਰਡ ਉੱਤੇ ਫਿੱਟ ਨਹੀਂ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ।
ਪ੍ਰਸ਼ਨ ਅਤੇ ਡਾਟਾ ਤੁਹਾਡੇ ਸਰਵਰ ਉੱਤੇ ਰਹਿਣਗੇ, ਕੋਈ ਤੀਜੀ- ਧਿਰ API ਕਾਲ ਨਹੀਂ ਹੈ ।
ਓਲਮਾ ਇੱਕ OpenAI- ਅਨੁਕੂਲ ਅੰਤ ਬਿੰਦੂ ਨੂੰ ਐਕਸਪੋਜ਼ ਕਰਦਾ ਹੈ, ਜੋ ਕਿ ਬਹੁਤ ਸਾਰੇ ਮੌਜੂਦਾ ਕਲਾਇਟ ਵਰਤ ਸਕਦੇ ਹਨ।
Ollama ਆਪਣੇ ਕੰਮ ਨੂੰ ਤੇਜ਼ ਕਰਨ ਲਈ NVIDIA GPU ਵਰਤ ਸਕਦਾ ਹੈ। VPS.org GPU ਸਰਵਰ ਅਜੇ ਤੱਕ ਆਰਡਰ ਲਈ ਉਪਲੱਬਧ ਨਹੀਂ ਹਨ; ਜਦੋਂ ਉਪਲੱਬਧ ਹੋਣ ਤਾਂ ਸਾਨੂੰ ਦੱਸੋ। Ollama ਮੁੱਖ ਤੌਰ ਉੱਤੇ LLM-inference / chat ਵਰਕਲੋਡ ਹੈ। ਤੁਹਾਨੂੰ ਡਿਸਕ ਤੋਂ ਮੈਮੋਰੀ ਤੱਕ ਤੇਜ਼ ਰਲਵੇਂ ਪਹੁੰਚ ਪੜ੍ਹਨ ਅਤੇ ਮਾਡਲ ਅਤੇ ਸੰਬੰਧਿਤ ਵਿੰਡੋ ਲਈ ਲੋੜੀਦੀ VRAM ਦੀ ਲੋੜ ਹੈ।
GPU ਸਰਵਰ ਹੁਣ ਤੱਕ ਆਰਡਰ ਕਰਨ ਲਈ ਉਪਲੱਬਧ ਨਹੀਂ ਹਨ । ਅੱਜ ਤੁਸੀਂ Ollama ਨੂੰ ਇੱਕ ਨਿਯਮਤ CPU ਪਲਾਨ ਉੱਤੇ ਚਲਾ ਸਕਦੇ ਹੋ, ਜਿੱਥੇ ਕਿ ਇਹ GPU ਨਾਲੋਂ ਬਹੁਤ ਹੌਲੀ ਕੰਮ ਕਰਦਾ ਹੈ: SSH ਵਿੱਚ ਅਤੇ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3 ਚਲਾਓ ।
LLM ਇੰਫਰਰੇਸ਼ਨ VRAM ਮਾਡਲ ਪੈਰਾਮੀਟਰਾਂ ਨਾਲ ਸਕੇਲ ਕਰਦਾ ਹੈ: ਇੱਕ 7B ਮਾਡਲ ਨੂੰ VRAM ਦੀ ਲਗਭਗ5ਤੋਂ 8 GB ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ ਅਤੇ ਇੱਕ 13B ਮਾਡਲ ਨੂੰ ਲਗਭਗ 10 ਤੋਂ 14 GB ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਜਦੋਂ ਕਿ 70B-ਕਲਾਸ ਮਾਡਲਾਂ ਨੂੰ ਕਈ GPUs ਜਾਂ ਭਾਰੀ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।
GPU ਕੀਮਤਾਂ ਤਾਂ ਹੀ ਜਾਰੀ ਕੀਤੀਆਂ ਜਾਣਗੀਆਂ, ਜਦੋਂ GPU ਸਰਵਰਾਂ ਦੀ ਆਰਡਰ ਕੀਤੀ ਜਾ ਸਕੇ। ਜੇਕਰ ਤੁਸੀਂ ਜਾਣਨਾ ਚਾਹੁੰਦੇ ਹੋ ਕਿ ਕੀ ਇਹ ਕਦੋਂ ਹੋਵੇਗਾ ਤਾਂ ਸਾਡੇ ਨਾਲ ਸੰਪਰਕ ਕਰੋ।
ਹਾਂ। ਹਰ VPS.org ਸਰਵਰ ਪੂਰੀ root ਅਧਿਕਾਰ ਨਾਲ ਆਉਂਦਾ ਹੈ, ਇਸ ਲਈ ਤੁਸੀਂ ਸਰਵਰ ਦੀ RAM ਅਤੇ ਸਟੋਰੇਜ਼ ਵਿੱਚ Ollama ਦੇ ਨਾਲ ਹੋਰ ਟੂਲ ਚਲਾ ਸਕਦੇ ਹੋ।
ਹਰ VPS.org ਸਰਵਰ ਪੂਰੀ root SSH ਪਹੁੰਚ ਨਾਲ ਆਉਂਦਾ ਹੈ, ਇਸ ਲਈ ਤੁਸੀਂ ਡਰਾਇਵਰ, ਲਾਇਬਰੇਰੀਆਂ ਅਤੇ Ollama ਇੰਸਟਾਲ ਕਰ ਸਕਦੇ ਹੋ, ਜਿਵੇਂ ਕਿ ਤੁਹਾਨੂੰ ਲੋੜ ਹੈ ।
ਨਹੀਂ, ਕੋਈ ਸਰਵਰ CUDA ਰਨਟਾਈਮ ਜਾਂ NVIDIA ਡਰਾਇਵਰ ਨਾਲ ਪਹਿਲਾਂ ਇੰਸਟਾਲ ਨਹੀਂ ਹੈ, ਅਤੇ GPU ਸਰਵਰ ਹੁਣ ਤੱਕ ਆਰਡਰ ਲਈ ਉਪਲੱਬਧ ਨਹੀਂ ਹਨ । ਤੁਸੀਂ Ollama ਲੋੜੀਦੇ ਵਰਜਨ ਆਪਣੇ ਆਪ ਇੰਸਟਾਲ ਕਰੋ ।
ਹਾਂ । VPS.org ਸਰਵਰ ਸਥਿਰ ਵੁਰਚੁਅਲ ਮਸ਼ੀਨਾਂ ਹਨ, ਨਾ ਕਿ ਥੋੜ੍ਹੇ ਸਮੇਂ ਲਈ ਮੌਜੂਦ: Ollama ਮਾਡਲ, ਸੰਰਚਨਾ ਅਤੇ ਡਾਟਾ ਸਰਵਰ ਦੇ SSD ਸਟੋਰੇਜ ਉੱਤੇ ਰਹਿਣਗੇ, ਜਦੋਂ ਤੱਕ ਤੁਸੀਂ ਉਨ੍ਹਾਂ ਨੂੰ ਹਟਾ ਨਹੀਂ ਦਿੰਦੇ ।
Ollama ਚਲਾਉਣ ਦੌਰਾਨ ਤੇਜ਼ ਪਹੁੰਚ ਲਈ ਸਰਵਰ ਦੇ SSD ਉੱਤੇ ਕੰਮ ਡਾਟਾ ਰੱਖੋ ਅਤੇ VPS.org ਤੋਂ ਬਾਹਰ ਸਟੋਰੇਜ਼ ਲਈ ਮੁਕੰਮਲ ਆਰਟੀਫਿਕਟ (ਵਜ਼ਨ, ਜਨਰੇਸ਼ਨ, ਇੰਬੈੱਡਿੰਗ) ਦੀ ਕਾਪੀ ਕਰੋ; ਸੈਂਪਲ ਅਤੇ ਬੈਕਅੱਪ ਇੱਕੋ ਸਟੋਰੇਜ਼ ਕਲਾਸਟਰ ਉੱਤੇ ਰਹਿਣਗੇ।
ਤੁਸੀਂ ਕੰਟਰੋਲ ਪੈਨਲ ਤੋਂ ਕਿਸੇ ਵੀ VPS.org ਸਰਵਰ ਨੂੰ ਵੱਡੇ ਪਲਾਨ ਲਈ ਅੱਪਗਰੇਡ ਕਰ ਸਕਦੇ ਹੋ; ਮੁੜ- ਸਾਈਜ਼ ਕਰਨ ਨਾਲ ਇਹ ਮੁੜ- ਚਾਲੂ ਹੋ ਜਾਵੇਗਾ ਅਤੇ ਤੁਹਾਡੀ Ollama ਇੰਸਟਾਲੇਸ਼ਨ ਨੂੰ ਲਿਜਾਏਗਾ । GPU ਸਰਵਰ ਹੁਣ ਉਪਲੱਬਧ ਨਹੀਂ ਹਨ ।
ਹਾਂ। ਬੈਕਅੱਪ ਇੱਕ ਭੁਗਤਾਨਯੋਗ ਐਡ- ਆਨ ਹੈ (ਦਿਨ ਪ੍ਰਤੀ +30% ਪਲਾਨ ਕੀਮਤ,7ਦਿਨ ਰੱਖੀ; ਹਫ਼ਤਾਵਾਰੀ +20%, 28 ਦਿਨ ਰੱਖੀ) ਅਤੇ ਸਨੈਪਸ਼ਾਟ ਮੁਫ਼ਤ ਹਨ, ਜੋ ਕਿ ਲੰਬੇ Ollama ਚਲਾਉਣ ਤੋਂ ਪਹਿਲਾਂ ਲਾਭਦਾਇਕ ਹਨ। ਦੋਵੇਂ ਸਰਵਰ ਵਾਂਗ ਇੱਕੋ ਸਟੋਰੇਜ਼ ਕਲਾਸਟਰ ਉੱਤੇ ਰਹਿਣਗੇ।
ਤੁਹਾਡੀ ਪਹਿਲੀ ਖਰੀਦ ਤੋਂ 30 ਦਿਨਾਂ ਦੇ ਅੰਦਰ-ਅੰਦਰ ਮੁੜ-ਭੁਗਤਾਨ ਲਈ ਸਹਿਯੋਗ ਨਾਲ ਸੰਪਰਕ ਕਰੋ। GPU ਸਰਵਰ ਹੁਣ ਤੱਕ ਵੇਚੇ ਨਹੀਂ ਗਏ ਹਨ, ਇਸ ਲਈ ਕੋਈ GPU ਆਰਡਰਾਂ ਸ਼ਾਮਲ ਨਹੀਂ ਹਨ।
GPU ਸਮਰੱਥਾ ਸੀਮਿਤ ਹੈ । ਸਾਨੂੰ ਆਪਣੇ ਵਰਕਲੋਡ ਬਾਰੇ ਦੱਸੋ ਅਤੇ ਅਸੀਂ ਉਪਲੱਬਧਤਾ ਅਤੇ ਕੀਮਤ ਨਾਲ ਜਵਾਬ ਦੇਵਾਂਗੇ ।