Activation steering без выбросов: PCA вместо среднего делает вектор устойчивым

Тема activation steering набирает обороты среди разработчиков, которые хотят менять поведение языковой модели без дообучения (fine-tuning, то есть полноценного переобучения на новых данных). Вместо того чтобы тратить GPU-часы на новый цикл обучения, вы вмешиваетесь прямо в момент инференса (inference, генерация ответа моделью): сдвигаете внутренние активации в нужную сторону. Звучит элегантно, но на практике вектор часто оказывается инвертирован, эффект слабый, а на части промптов (промпт, текстовый запрос к модели) его нет вовсе. Именно эти проблемы и их решения мы разберём пошагово.

Почему среднее подводит и при чём тут PCA?

Классический CAA (Contrastive Activation Addition, контрастное сложение активаций) работает так: вы берёте два набора промптов, «позитивный» и «негативный», снимаете активации последнего токена (токен, минимальная единица текста для модели) на выбранном слое и считаете разность средних. Полученный вектор и есть «направление» нужного поведения.

Проблема та же, что в учебнике по статистике: если в выборку зарплат попадает один Билл Гейтс, среднее улетает. Один нетипичный промпт сдвигает центроиду вектора, и управление «плывёт».

Вторая проблема: шум разметки. Вы уверены, что все пары размечены верно? На практике часть пар может быть перепутана: «позитивный» оказался «негативным» и наоборот. Среднее в таком случае гасится, вектор уезжает к нулю.

Решение: вместо среднего использовать PCA (метод главных компонент, способ найти ось максимального разброса данных). Квадрат проекции не зависит от знака: точка на +3 и точка на −3 вносят одинаковый вклад. Значит, даже если часть пар перепутана по знаку, PCA всё равно находит нужную ось. Знак определяется отдельно, по маленькой проверочной выборке. Именно этот подход лежит в основе метода LAT (Linear Activation Tomography, линейная томография активаций) из статьи «Representation Engineering».

Что понадобится

• Python 3.10 или новее
• Библиотека repeng (открытая модель, опенсорс, производная от статьи «Representation Engineering»)
• Библиотека pyreft (использует LoRA, метод низкоранговой адаптации, для обучаемого steering-а)
• GPU с минимум 16 ГБ видеопамяти (подойдёт Google Colab Pro или аналог)
• Набор контрастных пар промптов (минимум 30 пар для устойчивого результата)
• Примерно 2 часа на первый прогон с экспериментами

Пошаговая инструкция

1. Установите библиотеки. В терминале или ячейке Colab выполните:

pip install repeng pyreft transformers torch

1. Подготовьте контрастные пары. Каждая пара состоит из двух промптов: один выражает целевое поведение (например, толерантный ответ), второй — противоположное. Формат для repeng требует двух шаблонов, экспериментальный и контрольный:

positive_template = "Act as a tolerant, respectful assistant. {stimulus}"
negative_template = "Act as a rude, dismissive assistant. {stimulus}"

1. Снимите активации через repeng. Библиотека автоматически прогоняет оба набора промптов через модель и извлекает активации на заданном слое. Ключевой момент: repeng использует PCA вместо простого среднего, что делает вектор устойчивым к выбросам.

from repeng import ControlVector, DatasetEntry

dataset = [
    DatasetEntry(positive=pos, negative=neg)
    for pos, neg in zip(positive_prompts, negative_prompts)
]

vector = ControlVector.train(model, tokenizer, dataset)

1. Проверьте знак вектора. После того как PCA нашёл ось, нужно убедиться, что положительное направление действительно соответствует нужному поведению. Возьмите 5 проверочных промптов, сгенерируйте ответы с вектором и без него, сравните вручную. Если эффект инвертирован, умножьте вектор на −1.

2. Примените вектор при генерации. Вектор добавляется к активациям модели во время инференса с заданным коэффициентом:

# Коэффициент от 1.0 до 3.0, подбирается экспериментально
model.set_control(vector, coeff=1.5)
output = model.generate(input_ids, max_new_tokens=128)
model.reset()

1. Альтернатива: обучаемый steering через pyreft. Если PCA-вектор не даёт нужной точности, pyreft позволяет обучить низкоранговую интервенцию (по сути маленький адаптер) прямо на ваших данных. Это занимает больше времени, но даёт более точное управление:

from pyreft import ReftConfig, get_reft_model

reft_config = ReftConfig(
    layers=[15, 16, 17],  # слои, на которых вмешиваемся
    representations_type="pos",
    low_rank_dimension=4
)

reft_model = get_reft_model(model, reft_config)
reft_model.train(train_dataset, epochs=3, lr=1e-4)

1. Сравните результаты. Прогоните одинаковые тестовые промпты через три варианта: базовую модель, модель с repeng-вектором и модель с pyreft-адаптером. Запишите, где ответы ближе к целевому поведению.

Что делать с этим прямо сейчас, по ролям

Разработчику на Python: repeng и pyreft работают с моделями из Hugging Face, включая открытые русскоязычные модели. Начните с repeng, потому что он не требует дообучения и позволяет быстро проверить гипотезу. Если результат нестабилен, переходите на pyreft.

Автору на Дзене: activation steering пока не доступен через API коммерческих сервисов (ChatGPT, YandexGPT, GigaChat). Но понимание принципа полезно: когда системный промпт (system prompt, скрытая инструкция, задающая поведение модели) не справляется, а дообучение слишком дорого, steering становится промежуточным вариантом. Следите за тем, когда эту технику встроят в доступные платформы.

Предпринимателю в РФ: если ваша команда работает с открытыми моделями (например, семейство Llama или Qwen), activation steering позволяет менять поведение модели без полного дообучения, а значит дешевле и быстрее. Это актуально для задач модерации, тональности клиентского бота, compliance.

Activation steering через PCA и LoRA-адаптеры уже позволяет управлять поведением открытых моделей без дорогого дообучения. Начинайте с repeng и 30 пар, проверяйте знак вектора вручную и не ставьте коэффициент выше 2.0, пока не убедитесь, что генерация стабильна.