Генерация кода с использованием локальных моделей LLM – практические примеры

В наши дни искусственные нейронные сети, особенно большие языковые модели (LLM), становятся все более популярными в генерации кода. Благодаря возможности запуска моделей локально, программисты могут использовать их потенциал без необходимости использования облачных решений. В этой статье мы рассмотрим, как использовать локальные модели LLM для генерации кода, представив практические примеры.

Почему локальные модели LLM?

Использование локальных моделей LLM имеет несколько преимуществ:

• Конфиденциальность: Исходные коды и данные не покидают вашего компьютера.
• Контроль: Полный контроль над исполнительной средой.
• Стоимость: Отсутствие платы за облачные API.

Подготовка среды

Чтобы начать, вам понадобится:

1. Модель LLM: Например, Mistral-7B или Llama-2.
2. Библиотеки: transformers и accelerate из библиотеки Hugging Face.
3. Поддержка GPU: Для лучшей производительности.

Установка необходимых библиотек

pip install transformers accelerate torch

Пример 1: Генерация простого кода Python

Ниже приведен пример генерации простого кода Python с помощью локальной модели LLM.

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# Загрузка модели и токенизатора
model_name = "mistral-7b"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# Подготовка промпта
prompt = "Напишите функцию Python, которая вычисляет сумму двух чисел:"
input_ids = tokenizer(prompt, return_tensors="pt").input_ids

# Генерация кода
output = model.generate(input_ids, max_length=100, num_return_sequences=1)
generated_code = tokenizer.decode(output[0], skip_special_tokens=True)

print(generated_code)

Результат

def sum_two_numbers(a, b):
    return a + b

Пример 2: Генерация кода с использованием библиотеки requests

В этом примере мы покажем, как модель может сгенерировать код, использующий библиотеку requests для выполнения HTTP-запроса.

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# Загрузка модели и токенизатора
model_name = "mistral-7b"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# Подготовка промпта
prompt = "Напишите код Python, который выполняет GET-запрос к API JSONPlaceholder:"
input_ids = tokenizer(prompt, return_tensors="pt").input_ids

# Генерация кода
output = model.generate(input_ids, max_length=150, num_return_sequences=1)
generated_code = tokenizer.decode(output[0], skip_special_tokens=True)

print(generated_code)

Результат

import requests

response = requests.get("https://jsonplaceholder.typicode.com/posts/1")
print(response.json())

Пример 3: Генерация кода с использованием класса в Python

В этом примере мы покажем, как модель может сгенерировать код, определяющий класс в Python.

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# Загрузка модели и токенизатора
model_name = "mistral-7b"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# Подготовка промпта
prompt = "Создайте класс Python, который представляет прямоугольник:"
input_ids = tokenizer(prompt, return_tensors="pt").input_ids

# Генерация кода
output = model.generate(input_ids, max_length=200, num_return_sequences=1)
generated_code = tokenizer.decode(output[0], skip_special_tokens=True)

print(generated_code)

Результат

class Rectangle:
    def __init__(self, width, height):
        self.width = width
        self.height = height

    def area(self):
        return self.width * self.height

    def perimeter(self):
        return 2 * (self.width + self.height)

Оптимизация генерации кода

Чтобы улучшить качество генерируемого кода, можно применить несколько техник:

1. Точные промпты: Точное описание того, что вы ожидаете.
2. Контроль длины: Установка подходящей длины генерируемого кода.
3. Многократная генерация: Генерация нескольких версий кода и выбор лучшей.

Заключение

Генерация кода с помощью локальных моделей LLM – мощный инструмент для программистов. Благодаря возможности запуска моделей локально, можно наслаждаться конфиденциальностью и контролем над кодом. В этой статье мы представили несколько практических примеров, которые показывают, как использовать эти технологии в повседневной работе.

Помните, что качество генерируемого кода зависит от качества модели и точности промптов. Экспериментируйте с различными моделями и техниками, чтобы достичь лучших результатов.