Промпты и маленькие большие языковые модели
«Любые предложения
людиязыковые модели понимают иначе, чем тот, кто их вносит».
— третий закон Чизхолма.
На работе довольно много в последнее время пишу промпты для небольших больших языковых моделей. Уж извините за оксюморон, но как иначе их называть? Большие языковые модели сейчас бывают очень разного размера. Я много использую модели размером примерно до 70 миллиардов параметров. Чаще — ещё меньше.
Это очень сложно, потому что обязательно найдётся ситуация, где модель такого размера поймёт любую неаккуратно сформулированную инструкцию не так, как задумывалось.
Быстро приучаешься в промптах заменять примеры того «как не надо» на «как надо», использовать минимум указательных местоимений, писать в конце списки самопроверки для модели и прочие хитрости.
Тем не менее и это не помогает на 100%. В общих случаях всё равно где-то что-то ломается. В итоге, такие промпты похожи на ремонт: их нельзя завершить, можно только прекратить волевым решением.