NVIDIA Tesla P40 (24 GB VRAM, Pascal architecture) ਤੋਂ AI ਮਾਡਲ ਸਰਵਿਸ ਕਰੋ: LLMs, ਚਿੱਤਰ ਮਾਡਲ ਅਤੇ ਹੋਰ ਭਵਿੱਖਬਾਣੀ। GPU ਸਰਵਰ ਹੁਣ ਤੱਕ ਆਰਡਰ ਨਹੀਂ ਕੀਤੇ ਜਾ ਸਕਦੇ ਹਨ; ਜਦੋਂ ਉਹ ਹੋਣ ਤਾਂ ਸੂਚਿਤ ਕਰਨ ਲਈ ਸਾਨੂੰ ਸੰਪਰਕ ਕਰੋ।
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# ਉਦਾਹਰਨ ਇੰਸਟਾਲ ਕਮਾਂਡ
AI ਇੰਫਰਰੇਸ਼ਨ ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਅਨੁਮਾਨ ਲਗਾਉਣ ਲਈ ਟਰੇਨਡ ਮਾਡਲ ਚਲਾਇਆ ਜਾ ਰਿਹਾ ਹੈ । ਇੱਕ GPU ਇੰਫਰਰੇਸ਼ਨ ਸਰਵਰ ਇੱਕ ਮਾਡਲ ਨੂੰ GPU ਉੱਤੇ ਲੋਡ ਕੀਤਾ ਰਹਿੰਦਾ ਹੈ ਅਤੇ CPU ਨਾਲੋਂ ਵਧੇਰੇ ਤੇਜ਼ ਜਵਾਬ ਦਿੰਦਾ ਹੈ ।
GPU ਨੂੰ ਸਿਰਫ਼ ਤੁਹਾਡੇ ਸਰਵਰ ਲਈ ਹੀ ਦਿੱਤਾ ਜਾਂਦਾ ਹੈ, ਇਸ ਲਈ ਹੋਰ ਕਲਾਂਇਟਾਂ ਦੇ GPU ਜਾਬਾਂ ਨਾਲ ਲੈਂਟੇਸੀ ਪ੍ਰਭਾਵਿਤ ਨਹੀਂ ਹੁੰਦੀ ਹੈ।
ਓਲਾਮਾ, llama.cpp, Triton ਜਾਂ ਆਪਣੇ API ਵਰਤੋਂ। ਕੁਝ ਫਰੇਮਵਰਕ, ਜਿਵੇਂ ਕਿ vLLM, ਨੂੰ Pascal P40 ਤੋਂ ਨਵੇਂ GPU ਦੀ ਲੋੜ ਹੈ।
ਜੇਕਰ ਇੱਕ GPU ਕਾਫੀ ਨਾ ਹੋਵੇ ਤਾਂ ਆਪਣੇ ਲੋਡ ਬੈਲੇਂਸਰ ਪਿੱਛੇ ਕਈ ਸਰਵਰ ਚਲਾਓ ।
ਇੱਕ ਦਰਮਿਆਨੇ ਆਕਾਰ ਦਾ ਮਾਡਲ ਜਾਂ ਕਈ ਛੋਟੇ ਮਾਡਲ ਦੀ ਸੇਵਾ ਕਰੋ।
AI Inference ਆਪਣੇ ਕੰਮ ਨੂੰ ਤੇਜ਼ ਕਰਨ ਲਈ NVIDIA GPU ਵਰਤ ਸਕਦਾ ਹੈ । VPS.org GPU ਸਰਵਰ ਅਜੇ ਤੱਕ ਆਰਡਰ ਲਈ ਉਪਲੱਬਧ ਨਹੀਂ ਹਨ; ਜਦੋਂ ਉਪਲੱਬਧ ਹੋਣ ਤਾਂ ਸਾਨੂੰ ਦੱਸੋ । AI Inference ਇੱਕ ਆਮ GPU- ਐਕਸਲੇਰੇਟਡ ਵਰਕਲੋਡ ਹੈ । ਇਹ ਯਕੀਨੀ ਬਣਾਓ ਕਿ ਤੁਹਾਡੇ ਸਾਫਟਵੇਅਰ ਵਿੱਚ CUDA ਸਹਿਯੋਗ ਹੈ ਅਤੇ ਤੁਹਾਡਾ ਡਰਾਇਵਰ / ਰਨਟਾਈਮ ਵਰਜਨ AI Inference ਲਈ ਵਰਕਲੋਡ ਲੋੜਾਂ ਨਾਲ ਮਿਲਦਾ ਹੈ ।
GPU ਸਰਵਰ ਹੁਣ ਤੱਕ ਆਰਡਰ ਕਰਨ ਲਈ ਉਪਲੱਬਧ ਨਹੀਂ ਹਨ । ਅੱਜ ਤੁਸੀਂ AI Inference ਨੂੰ ਇੱਕ ਨਿਯਮਤ CPU ਪਲਾਨ ਉੱਤੇ ਚਲਾ ਸਕਦੇ ਹੋ, ਜਿੱਥੇ ਕਿ ਇਹ GPU ਨਾਲੋਂ ਬਹੁਤ ਹੌਲੀ ਕੰਮ ਕਰਦਾ ਹੈ: SSH ਵਿੱਚ ਅਤੇ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct ਚਲਾਓ ।
AI Inference ਲਈ VRAM ਲੋੜ ਮਾਡਲ ਅਤੇ ਬੈਚ ਸਾਈਜ਼ ਉੱਤੇ ਨਿਰਭਰ ਕਰਦੀ ਹੈ; ਮੌਜੂਦਾ ਅੰਕੜਿਆਂ ਲਈ ਪਰੋਜੈਕਟ ਡੌਕੂਮੈਂਟੇਸ਼ਨ ਦੀ ਜਾਂਚ ਕਰੋ।
GPU ਕੀਮਤਾਂ ਤਾਂ ਹੀ ਜਾਰੀ ਕੀਤੀਆਂ ਜਾਣਗੀਆਂ, ਜਦੋਂ GPU ਸਰਵਰਾਂ ਦੀ ਆਰਡਰ ਕੀਤੀ ਜਾ ਸਕੇ। ਜੇਕਰ ਤੁਸੀਂ ਜਾਣਨਾ ਚਾਹੁੰਦੇ ਹੋ ਕਿ ਕੀ ਇਹ ਕਦੋਂ ਹੋਵੇਗਾ ਤਾਂ ਸਾਡੇ ਨਾਲ ਸੰਪਰਕ ਕਰੋ।
ਹਾਂ। ਹਰ VPS.org ਸਰਵਰ ਪੂਰੀ root ਅਧਿਕਾਰ ਨਾਲ ਆਉਂਦਾ ਹੈ, ਇਸ ਲਈ ਤੁਸੀਂ ਸਰਵਰ ਦੀ RAM ਅਤੇ ਸਟੋਰੇਜ਼ ਵਿੱਚ AI Inference ਦੇ ਨਾਲ ਹੋਰ ਟੂਲ ਚਲਾ ਸਕਦੇ ਹੋ।
ਹਰ VPS.org ਸਰਵਰ ਪੂਰੀ root SSH ਪਹੁੰਚ ਨਾਲ ਆਉਂਦਾ ਹੈ, ਇਸ ਲਈ ਤੁਸੀਂ ਡਰਾਇਵਰ, ਲਾਇਬਰੇਰੀਆਂ ਅਤੇ AI Inference ਇੰਸਟਾਲ ਕਰ ਸਕਦੇ ਹੋ, ਜਿਵੇਂ ਕਿ ਤੁਹਾਨੂੰ ਲੋੜ ਹੈ ।
ਨਹੀਂ, ਕੋਈ ਸਰਵਰ CUDA ਰਨਟਾਈਮ ਜਾਂ NVIDIA ਡਰਾਇਵਰ ਨਾਲ ਪਹਿਲਾਂ ਇੰਸਟਾਲ ਨਹੀਂ ਹੈ, ਅਤੇ GPU ਸਰਵਰ ਹੁਣ ਤੱਕ ਆਰਡਰ ਲਈ ਉਪਲੱਬਧ ਨਹੀਂ ਹਨ । ਤੁਸੀਂ AI Inference ਲੋੜੀਦੇ ਵਰਜਨ ਆਪਣੇ ਆਪ ਇੰਸਟਾਲ ਕਰੋ ।
ਹਾਂ । VPS.org ਸਰਵਰ ਸਥਿਰ ਵੁਰਚੁਅਲ ਮਸ਼ੀਨਾਂ ਹਨ, ਨਾ ਕਿ ਥੋੜ੍ਹੇ ਸਮੇਂ ਲਈ ਮੌਜੂਦ: AI Inference ਮਾਡਲ, ਸੰਰਚਨਾ ਅਤੇ ਡਾਟਾ ਸਰਵਰ ਦੇ SSD ਸਟੋਰੇਜ ਉੱਤੇ ਰਹਿਣਗੇ, ਜਦੋਂ ਤੱਕ ਤੁਸੀਂ ਉਨ੍ਹਾਂ ਨੂੰ ਹਟਾ ਨਹੀਂ ਦਿੰਦੇ ।
AI Inference ਚਲਾਉਣ ਦੌਰਾਨ ਤੇਜ਼ ਪਹੁੰਚ ਲਈ ਸਰਵਰ ਦੇ SSD ਉੱਤੇ ਕੰਮ ਡਾਟਾ ਰੱਖੋ ਅਤੇ VPS.org ਤੋਂ ਬਾਹਰ ਸਟੋਰੇਜ਼ ਲਈ ਮੁਕੰਮਲ ਆਰਟੀਫਿਕਟ (ਵਜ਼ਨ, ਜਨਰੇਸ਼ਨ, ਇੰਬੈੱਡਿੰਗ) ਦੀ ਕਾਪੀ ਕਰੋ; ਸੈਂਪਲ ਅਤੇ ਬੈਕਅੱਪ ਇੱਕੋ ਸਟੋਰੇਜ਼ ਕਲਾਸਟਰ ਉੱਤੇ ਰਹਿਣਗੇ।
ਤੁਸੀਂ ਕੰਟਰੋਲ ਪੈਨਲ ਤੋਂ ਕਿਸੇ ਵੀ VPS.org ਸਰਵਰ ਨੂੰ ਵੱਡੇ ਪਲਾਨ ਲਈ ਅੱਪਗਰੇਡ ਕਰ ਸਕਦੇ ਹੋ; ਮੁੜ- ਸਾਈਜ਼ ਕਰਨ ਨਾਲ ਇਹ ਮੁੜ- ਚਾਲੂ ਹੋ ਜਾਵੇਗਾ ਅਤੇ ਤੁਹਾਡੀ AI Inference ਇੰਸਟਾਲੇਸ਼ਨ ਨੂੰ ਲਿਜਾਏਗਾ । GPU ਸਰਵਰ ਹੁਣ ਉਪਲੱਬਧ ਨਹੀਂ ਹਨ ।
ਹਾਂ। ਬੈਕਅੱਪ ਇੱਕ ਭੁਗਤਾਨਯੋਗ ਐਡ- ਆਨ ਹੈ (ਦਿਨ ਪ੍ਰਤੀ +30% ਪਲਾਨ ਕੀਮਤ,7ਦਿਨ ਰੱਖੀ; ਹਫ਼ਤਾਵਾਰੀ +20%, 28 ਦਿਨ ਰੱਖੀ) ਅਤੇ ਸਨੈਪਸ਼ਾਟ ਮੁਫ਼ਤ ਹਨ, ਜੋ ਕਿ ਲੰਬੇ AI Inference ਚਲਾਉਣ ਤੋਂ ਪਹਿਲਾਂ ਲਾਭਦਾਇਕ ਹਨ। ਦੋਵੇਂ ਸਰਵਰ ਵਾਂਗ ਇੱਕੋ ਸਟੋਰੇਜ਼ ਕਲਾਸਟਰ ਉੱਤੇ ਰਹਿਣਗੇ।
ਤੁਹਾਡੀ ਪਹਿਲੀ ਖਰੀਦ ਤੋਂ 30 ਦਿਨਾਂ ਦੇ ਅੰਦਰ-ਅੰਦਰ ਮੁੜ-ਭੁਗਤਾਨ ਲਈ ਸਹਿਯੋਗ ਨਾਲ ਸੰਪਰਕ ਕਰੋ। GPU ਸਰਵਰ ਹੁਣ ਤੱਕ ਵੇਚੇ ਨਹੀਂ ਗਏ ਹਨ, ਇਸ ਲਈ ਕੋਈ GPU ਆਰਡਰਾਂ ਸ਼ਾਮਲ ਨਹੀਂ ਹਨ।
GPU ਸਮਰੱਥਾ ਸੀਮਿਤ ਹੈ । ਸਾਨੂੰ ਆਪਣੇ ਵਰਕਲੋਡ ਬਾਰੇ ਦੱਸੋ ਅਤੇ ਅਸੀਂ ਉਪਲੱਬਧਤਾ ਅਤੇ ਕੀਮਤ ਨਾਲ ਜਵਾਬ ਦੇਵਾਂਗੇ ।