गाइड: 32GB RAM वाले कंप्यूटर पर Phi-2 कैसे चलाएं

परिचय

Phi-2 एक शक्तिशाली भाषा मॉडल है जो इसे चलाने के लिए उचित रूप से शक्तिशाली हार्डवेयर की आवश्यकता होती है। इस गाइड में हम दिखाएंगे कि कैसे 32GB RAM वाले कंप्यूटर पर Phi-2 को इंस्टॉल और चलाएं। हम सभी महत्वपूर्ण चरणों को कवर करने की कोशिश करेंगे, वातावरण की तैयारी से लेकर मॉडल को चलाने तक।

पूर्वापेक्षाएँ

इंस्टॉलेशन शुरू करने से पहले सुनिश्चित करें कि आपका सिस्टम निम्नलिखित पूर्वापेक्षाओं को पूरा करता है:

• ऑपरेटिंग सिस्टम: लिनक्स (उबंटू 20.04/22.04 की सिफारिश की जाती है) या विंडोज 10/11
• प्रोसेसर: इंटेल i7 या नया, AMD राइज़न 7 या नया
• RAM: 32GB (बेहतर प्रदर्शन के लिए 64GB की सिफारिश की जाती है)
• ग्राफिक्स कार्ड: NVIDIA RTX 3060 या नया (बेहतर प्रदर्शन के लिए RTX 4090 की सिफारिश की जाती है)
• डिस्क स्पेस: कम से कम 50GB फ्री स्पेस

वातावरण इंस्टॉलेशन

1. Python इंस्टॉलेशन

Phi-2 को Python 3.8 या नए संस्करण की आवश्यकता होती है। आप इसे पैकेज मैनेजर का उपयोग करके इंस्टॉल कर सकते हैं:

sudo apt update
sudo apt install python3.8 python3.8-venv

2. वर्चुअल एन्वायरनमेंट बनाना

एक वर्चुअल एन्वायरनमेंट बनाना अन्य पैकेजों के साथ संघर्षों से बचने में मदद करता है:

python3.8 -m venv phi2_env
source phi2_env/bin/activate

3. डिपेंडेंसीज इंस्टॉलेशन

आवश्यक पैकेजों को इंस्टॉल करें:

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install transformers accelerate bitsandbytes

Phi-2 मॉडल डाउनलोड करना

आप Hugging Face Transformers लाइब्रेरी का उपयोग करके Phi-2 मॉडल डाउनलोड कर सकते हैं:

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "microsoft/phi-2"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto", load_in_8bit=True)

मेमोरी कॉन्फ़िगरेशन

32GB RAM वाले कंप्यूटर के लिए, मेमोरी ऑप्टिमाइजेशन जैसे 8-बिट क्वांटाइजेशन का उपयोग करने की सिफारिश की जाती है:

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    device_map="auto",
    load_in_8bit=True,
    offload_folder="offload",
    offload_state_dict=True,
)

मॉडल चलाना

अब आप मॉडल चलाकर इसे टेस्ट कर सकते हैं:

prompt = "जीवन का मतलब क्या है?"
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=100)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

ऑप्टिमाइजेशन

1. DeepSpeed का उपयोग करना

DeepSpeed मेमोरी और प्रदर्शन ऑप्टिमाइजेशन के लिए एक टूल है:

pip install deepspeed

2. DeepSpeed कॉन्फ़िगरेशन

ds_config.json नामक एक फाइल बनाएं:

{
    "train_batch_size": "auto",
    "gradient_accumulation_steps": "auto",
    "optimizer": {
        "type": "AdamW",
        "params": {
            "lr": "auto",
            "betas": "auto",
            "eps": 1e-8,
            "weight_decay": 0.01
        }
    },
    "fp16": {
        "enabled": "auto"
    },
    "zero_optimization": {
        "stage": 3,
        "offload_optimizer": {
            "device": "cpu",
            "pin_memory": true
        },
        "offload_param": {
            "device": "cpu",
            "pin_memory": true
        }
    }
}

3. DeepSpeed के साथ चलाना

from transformers import AutoModelForCausalLM, AutoTokenizer
import deepspeed

model_name = "microsoft/phi-2"
tokenizer = AutoTokenizer.from_pretrained(model_name)

model = AutoModelForCausalLM.from_pretrained(model_name, export=False)

ds_config = {
    "train_batch_size": "auto",
    "gradient_accumulation_steps": "auto",
    "optimizer": {
        "type": "AdamW",
        "params": {
            "lr": "auto",
            "betas": "auto",
            "eps": 1e-8,
            "weight_decay": 0.01
        }
    },
    "fp16": {
        "enabled": "auto"
    },
    "zero_optimization": {
        "stage": 3,
        "offload_optimizer": {
            "device": "cpu",
            "pin_memory": true
        },
        "offload_param": {
            "device": "cpu",
            "pin_memory": true
        }
    }
}

model_engine, optimizer, _, _ = deepspeed.initialize(
    model=model,
    config=ds_config
)

सारांश

32GB RAM वाले कंप्यूटर पर Phi-2 चलाना मेमोरी ऑप्टिमाइजेशन लागू करने और उचित रूप से वातावरण तैयार करने की आवश्यकता होती है। इस गाइड में हमने महत्वपूर्ण चरणों पर चर्चा की है, जैसे Python इंस्टॉलेशन, वर्चुअल एन्वायरनमेंट बनाना, मॉडल डाउनलोड करना और मेमोरी कॉन्फ़िगरेशन करना। इन चरणों के माध्यम से आप Phi-2 चलाने और इसके शक्तिशाली क्षमताओं का आनंद लेने में सक्षम होने चाहिए।