GPU को LLM मॉडल्स के साथ काम करने के लिए कैसे कॉन्फ़िगर करें

GPU को बड़े भाषा मॉडल्स (LLM) के साथ काम करने के लिए कॉन्फ़िगर करना कई कारकों को ध्यान में रखना आवश्यक है, जैसे हार्डवेयर की संगतता, ड्राइवरों का इंस्टॉलेशन, सॉफ्टवेयर का कॉन्फ़िगरेशन और पर्यावरण का ऑप्टिमाइज़ेशन। इस लेख में, हम चरण-दर-चरण बताएंगे कि कैसे आप अपने GPU को LLM मॉडल्स के साथ प्रभावी ढंग से काम करने के लिए तैयार करें।

1. उपयुक्त GPU का चयन

कॉन्फ़िगरेशन शुरू करने से पहले, उपयुक्त GPU का चयन करना महत्वपूर्ण है। LLM मॉडल्स को बहुत सारा GPU मेमोरी (VRAM) और कंप्यूटिंग पावर की आवश्यकता होती है। सबसे लोकप्रिय विकल्प हैं:

NVIDIA A100 – बड़े मॉडल्स के लिए आदर्श, जिनमें बहुत सारे पैरामीटर्स होते हैं।
NVIDIA RTX 3090/4090 – छोटे मॉडल्स और प्रयोगों के लिए अच्छा चयन।
AMD MI200 – NVIDIA का विकल्प, लेकिन कॉन्फ़िगरेशन में अतिरिक्त चरणों की आवश्यकता होती है।

2. GPU ड्राइवरों का इंस्टॉलेशन

NVIDIA कार्ड्स के लिए

ड्राइवरों को डाउनलोड करें:
- NVIDIA Driver Downloads पेज पर जाएं।
- ग्राफिक्स कार्ड के मॉडल और ऑपरेटिंग सिस्टम का चयन करें।

ड्राइवरों का इंस्टॉलेशन:

sudo apt update
sudo apt install -y nvidia-driver-535
sudo reboot

इंस्टॉलेशन की जांच:
```
nvidia-smi
```

AMD कार्ड्स के लिए

ड्राइवरों को डाउनलोड करें:
- AMD Driver Support पेज पर जाएं।
- ग्राफिक्स कार्ड के मॉडल और ऑपरेटिंग सिस्टम का चयन करें।

ड्राइवरों का इंस्टॉलेशन:

sudo apt update
sudo apt install -y rocm-opencl-runtime
sudo reboot

इंस्टॉलेशन की जांच:
```
rocminfo
```

3. CUDA और cuDNN का इंस्टॉलेशन

CUDA का इंस्टॉलेशन

CUDA को डाउनलोड करें:
- CUDA Toolkit Archive पेज पर जाएं।
- अपने सिस्टम के लिए उपयुक्त संस्करण का चयन करें।

CUDA का इंस्टॉलेशन:

sudo dpkg -i cuda-repo-<distro>_<version>_amd64.deb
sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/<distro>/x86_64/3bf863cc.pub
sudo apt update
sudo apt install -y cuda

CUDA को PATH वरियबल में जोड़ें:

echo 'export PATH=/usr/local/cuda/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc

cuDNN का इंस्टॉलेशन

cuDNN को डाउनलोड करें:
- NVIDIA cuDNN पेज पर रजिस्टर करें।
- अपने सिस्टम के लिए उपयुक्त संस्करण डाउनलोड करें।

cuDNN का इंस्टॉलेशन:

sudo dpkg -i cudnn-local-repo-<distro>_<version>_amd64.deb
sudo apt update
sudo apt install -y libcudnn8

4. प्रोग्रामिंग पर्यावरण का कॉन्फ़िगरेशन

Python और लाइब्रेरीज का इंस्टॉलेशन

Python का इंस्टॉलेशन:

sudo apt update
sudo apt install -y python3 python3-pip python3-venv

वर्चुअल पर्यावरण का निर्माण:
```
python3 -m venv llm-env
source llm-env/bin/activate
```

लाइब्रेरीज का इंस्टॉलेशन:

pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu118
pip install transformers datasets accelerate

5. LLM मॉडल का कॉन्फ़िगरेशन

Transformers लाइब्रेरी के साथ मॉडल कॉन्फ़िगरेशन का उदाहरण

from transformers import AutoModelForCausalLM, AutoTokenizer

# मॉडल और टोकनाइज़र को लोड करें
model_name = "bigscience/bloom"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto")

# इनपुट का तैयारी
input_text = "GPU को LLM मॉडल्स के साथ काम करने के लिए कैसे कॉन्फ़िगर करें?"
inputs = tokenizer(input_text, return_tensors="pt").to("cuda")

# उत्तर का जनरेशन
outputs = model.generate(**inputs, max_length=100)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

6. प्रदर्शन का ऑप्टिमाइज़ेशन

Accelerate लाइब्रेरी का उपयोग

Accelerate लाइब्रेरी कई GPU पर मॉडल्स को आसानी से स्केल करने की अनुमति देती है।

from accelerate import Accelerator

accelerator = Accelerator()
model, optimizer = accelerator.prepare(model, optimizer)

DeepSpeed का उपयोग

DeepSpeed बड़े मॉडल्स को ऑप्टिमाइज़ करने का एक टूल है।

deepspeed --num_gpus=4 train.py

सारांश

GPU को LLM मॉडल्स के साथ काम करने के लिए कॉन्फ़िगर करना कई कारकों को ध्यान में रखना आवश्यक है, जैसे उपयुक्त हार्डवेयर का चयन, ड्राइवरों का इंस्टॉलेशन, सॉफ्टवेयर का कॉन्फ़िगरेशन और पर्यावरण का ऑप्टिमाइज़ेशन। इस लेख के माध्यम से, आप अपने GPU को बड़े भाषा मॉडल्स के साथ प्रभावी ढंग से काम करने के लिए तैयार करने में सक्षम होने चाहिए।