Какой язык лучше подходит для промптов?

Искусство писать промпты, конечно, стремительно забывается, не успев толком оформиться в понятную методику: сейчас мы всё чаще просто общаемся с нейросетями как с людьми, благо они быстро умнеют.

Тем не менее модели поскромнее (а локально чаще всего разворачивают как раз их) приходится именно что промптить — тщательно подбирать слова под задачу методом проб и ошибок.

В нашем продукте базовая модель — небольшой «Квен», который порой не понимает даже самых простых инструкций, хоть ты кол ему на кристалле теши. Например, ему очень плохо даются отрицания («не делай вот так») и указательные слова («сократи текст, а ещё сделай там то-то…»).

У меня есть исследовательский проект на той же модели, в котором произвольная фраза пользователя переводится на формальный язык. К нему написано 330 сценарных тестов с ожидаемыми результатами. Естественно, раз модель слабая, задача разбита на цепочку промптов, которые выполняются один за другим.

Изначально я писал промпты по-русски, но в какой-то момент решил посмотреть, что будет, если перевести их на другой язык. Помню многие советовали писать промпты по-английски: якобы так модель лучше понимает запросы. Вот я и проверил. Для сравнения добавил китайский (ведь «Квен» — китайская модель) и, памятуя о статье «One ruler to measure them all: Benchmarking multilingual long-context language models», польский.

Английский, что интересно, сильно отстал от своих конкурентов:

Язык промптовПройдено тестов
Русский197
Китайский195
Польский193
Английский187

ИИпрограммирование

Комментарии 3

sarmanos № 1
Доброго! Для подтверждения почты не настроен DMARC, от этого в спам попадает.

Промты, это важно, я использую скиллы (ну хорошо, навыки), по сути их можно свести к набору первоначальных инструкций в AGENTS.md, если напрямую не поддерживается, то так мол и так — возьми набор методик из такого то md файла.

Например, хороший набор https://github.com/mattpocock/skills

Продолжать генерить и развивать архитектурный AGENTS.md дорогими моделями, генерить код по нему дешёвыми, так сейчас пробую и наоборот.
Евгений Степанищев автор № 2
Тут речь не про агента, у него нет инструментов, что-то откуда-то взять он не может.

Для подтверждения почты не настроен DMARC, от этого в спам попадает.
Да, что-то всю ленюсь, надо бы настроить.
Евгений Степанищев автор № 3
Про скиллы не дописал. Вы предлагаете сетке, которая с трудом следует выстраданному в экспериментах промпту, самой решать как решить задачу, комбинируя навыки? Это не будет работать.