Заблуждения и нейросети

Хочу собрать в одну заметку некоторые важные для меня статьи об общении с большими языковыми моделями (БЯМ).

1. В статье «Mind Your Tone: Investigating How Prompt Politeness Affects LLM Accuracy» описывается эксперимент исследователей Университета Пенсильвании. Они обнаружили, что импульсивные и грубые формулировки приводят к более высоким показателям точности БЯМ, улучшая результат на несколько процентов;

2. В статье «One Ruler to Measure Them All: Benchmarking Multilingual Long-Context Language Models» утверждается, что лучшим языком для промптов неожиданно оказался не английский, а польский. Английский занял лишь шестое место. Конечно, необходимо учитывать особенности эксперимента: были выбраны синтетические задачи и использовалось очень большое контекстное окно. Тем не менее, вопреки устоявшемуся мнению, возможно, в некоторых случаях английский язык для промптов — не лучший выбор;

3. Две работы «When “A Helpful Assistant” Is Not Really Helpful: Personas in System Prompts Do Not Improve Performances of Large Language Models» и «The Impact of Role Design in In Context Learning for Large Language Models» вместе показывают, что задание структуры ответа (то есть подробная инструкция как ответить) в промпте улучшает качество ответа, но, не смотря на сложившуюся практику, задание социальной роли («ты — опытный психолог с 20-летней практикой») либо особо не влияет, либо даже ухуждает результат;

4. Статья «Lost in the Middle: How Language Models Use Long Contexts» о том, что современные языковые модели, даже с расширенными окнами контекста, не умеют надёжно использовать длинный ввод: их точность резко зависит от позиции релевантной информации и имеет устойчивую U-образную форму — лучше всего модели работают, когда нужные сведения находятся в начале или в конце контекста, и заметно хуже, когда они расположены в середине. Это противоречит интуитивному «давайте напихаем модели побольше данных в промпт, у неё всё равно окно большое».