গাইড: 32GB RAM-এর কম্পিউটারে Phi-2 চালানোর জন্য

প্রস্তাবনা

Phi-2 একটি শক্তিশালী ভাষা মডেল যা চালানোর জন্য যথেষ্ট শক্তিশালী হার্ডওয়্যার প্রয়োজন। এই গাইডে আমরা দেখাবো কীভাবে 32GB RAM-এর কম্পিউটারে Phi-2 ইনস্টল এবং চালানো যায়। আমরা সব গুরুত্বপূর্ণ ধাপগুলি কভার করবো, পরিবেশ প্রস্তুতির থেকে শুরু করে মডেল চালানোর পর্যন্ত।

প্রাক-নির্দেশিকা

ইনস্টলেশন শুরু করার আগে নিশ্চিত করো যে তোমার সিস্টেম নিম্নলিখিত প্রয়োজনীয়তা পূরণ করে:

• অপারেটিং সিস্টেম: লিনাক্স (উবুন্টু 20.04/22.04 সুপারিশ করা হয়) বা উইন্ডোজ 10/11
• প্রসেসর: ইন্টেল আই7 বা নতুন, এএমডি রাইজেন 7 বা নতুন
• র‍্যাম: 32GB (বেশতর কার্যকারিতা জন্য 64GB সুপারিশ করা হয়)
• গ্রাফিক্স কার্ড: এনভিডিয়া আরটিএক্স 3060 বা নতুন (বেশতর কার্যকারিতা জন্য আরটিএক্স 4090 সুপারিশ করা হয়)
• ডিস্ক স্পেস: কমপক্ষে 50GB ফ্রি স্পেস

পরিবেশ ইনস্টলেশন

1. পাইথন ইনস্টলেশন

Phi-2 Python 3.8 বা নতুন সংস্করণ প্রয়োজন। তুমি প্যাকেজ ম্যানেজার ব্যবহার করে ইনস্টল করতে পারো:

sudo apt update
sudo apt install python3.8 python3.8-venv

2. ভার্চুয়াল পরিবেশ তৈরি

একটি ভার্চুয়াল পরিবেশ তৈরি করবে অন্য প্যাকেজগুলির সাথে দ্বন্দ্ব এড়াতে:

python3.8 -m venv phi2_env
source phi2_env/bin/activate

3. ডিপেন্ডেন্সি ইনস্টলেশন

নির্দিষ্ট প্যাকেজগুলি ইনস্টল করো:

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install transformers accelerate bitsandbytes

Phi-2 মডেল ডাউনলোড

তুমি Hugging Face Transformers লাইব্রেরি ব্যবহার করে Phi-2 মডেল ডাউনলোড করতে পারো:

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "microsoft/phi-2"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto", load_in_8bit=True)

মেমোরি কনফিগারেশন

32GB RAM-এর কম্পিউটার জন্য মেমোরি অপ্টিমাইজেশন যেমন 8-বিট কোয়ান্টাইজেশন ব্যবহার করা সুপারিশ করা হয়:

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    device_map="auto",
    load_in_8bit=True,
    offload_folder="offload",
    offload_state_dict=True,
)

মডেল চালানোর জন্য

এখন তুমি মডেল চালাতে এবং টেস্ট করতে পারো:

prompt = "জীবনের অর্থ কী?"
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=100)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

অপ্টিমাইজেশন

1. ডিপস্পিড ব্যবহার

ডিপস্পিড একটি মেমোরি এবং পারফরম্যান্স অপ্টিমাইজেশন টুল:

pip install deepspeed

2. ডিপস্পিড কনফিগারেশন

একটি ds_config.json ফাইল তৈরি করো:

{
    "train_batch_size": "auto",
    "gradient_accumulation_steps": "auto",
    "optimizer": {
        "type": "AdamW",
        "params": {
            "lr": "auto",
            "betas": "auto",
            "eps": 1e-8,
            "weight_decay": 0.01
        }
    },
    "fp16": {
        "enabled": "auto"
    },
    "zero_optimization": {
        "stage": 3,
        "offload_optimizer": {
            "device": "cpu",
            "pin_memory": true
        },
        "offload_param": {
            "device": "cpu",
            "pin_memory": true
        }
    }
}

3. ডিপস্পিডের সাথে চালানোর জন্য

from transformers import AutoModelForCausalLM, AutoTokenizer
import deepspeed

model_name = "microsoft/phi-2"
tokenizer = AutoTokenizer.from_pretrained(model_name)

model = AutoModelForCausalLM.from_pretrained(model_name, export=False)

ds_config = {
    "train_batch_size": "auto",
    "gradient_accumulation_steps": "auto",
    "optimizer": {
        "type": "AdamW",
        "params": {
            "lr": "auto",
            "betas": "auto",
            "eps": 1e-8,
            "weight_decay": 0.01
        }
    },
    "fp16": {
        "enabled": "auto"
    },
    "zero_optimization": {
        "stage": 3,
        "offload_optimizer": {
            "device": "cpu",
            "pin_memory": true
        },
        "offload_param": {
            "device": "cpu",
            "pin_memory": true
        }
    }
}

model_engine, optimizer, _, _ = deepspeed.initialize(
    model=model,
    config=ds_config
)

সারাংশ

32GB RAM-এর কম্পিউটারে Phi-2 চালানোর জন্য পরিবেশ প্রস্তুতি এবং মেমোরি অপ্টিমাইজেশন প্রয়োজন। এই গাইডে আমরা পাইথন ইনস্টলেশন, ভার্চুয়াল পরিবেশ তৈরি, মডেল ডাউনলোড এবং মেমোরি কনফিগারেশন সহ সব গুরুত্বপূর্ণ ধাপগুলি আলোচনা করেছি। এই ধাপগুলির মাধ্যমে তুমি Phi-2 চালাতে এবং এর শক্তিশালী ক্ষমতাগুলির উপভোগ করতে পারবে।