Еретик в мире ИИ

Прочитал у Ивана Чернякова в канале про нейросеть «Qwen3.6-35B-A3B-Abliterated-Heretic». Это сеть, у которой удалена «мораль». «Heretic» в названии — инструмент, с помощью которого это делается. Сеть тестируют на паре запросов: том, который она отказывается выполнять, и на безопасном. Проверяют, что активируется в каждом случае, и вырезают веса, отвечающие за «мораль».

Эксперименты Ивана показали, что в его случае психопатическая модель справляется с запросами существенно лучше — на 12,5%. Я очень этому обрадовался — кому же не хочется таким простым способом сделать модель умнее, тем более, например, для программирования не особо важно, какие принципы заложили в неё при обучении.

Поставил на ночь несколько разнообразных стандартных тестов (включая тест на распознавание рукописного текста), но, к сожалению, не смог нащупать существенных различий:

Тест / показательОбычная QwenHeretic
HumanEval93,09%93,70%
HumanEval+88,62%90,04%
MBPP91,89%91,89%
MBPP+78,57%79,19%
IFEval — следование инструкциям90,57%90,39%
GSM8K — арифметические задачи95,83%95,83%
MATH-500 — сложная математика94,40%94,20%
MMLU-Pro — знания и рассуждения82,50%82,10%
ARC Challenge — естественно-научные задачи97,18%97,53%
Рукописный текст: CER, ошибки символов9,15%9,14%
Рукописный текст: WER, ошибки слов27,30%27,63%

Формально разница как будто есть, но если посмотреть цифры — без существенного отрыва, не более полутора процентов.

программированиеИИ