Это сайт — моя персональная записная книжка. Интересна мне, по большей части, история, своя жизнь и немного программирование.

Галлюцинации нейросетей

С «галлюцинациями» нейросетей сталкивался каждый, кто хоть раз использовал языковые модели. Слово удачное, уже даже используется как официальный термин. Галлюцинациями называются ситуации, когда нейросеть в ответ на запрос выдаёт что-то, не соответствующее реальности.

Понятно почему так получается — статистический попугай, умеющий облекать свою статистику в человеческую речь и не обязан придерживаться фактов. Если какой-то ответ статистически вероятен, однажды он сгенерируется.

Из-за этой особенности к тому, что порождают языковые модели надо относиться крайне критически, тренируя в себе навык проверки фактов (который важен и сам по себе).

Ожидается, что в скором времени нас захлестнёт потоком контента, генерируемого при помощи нейросетей. К сожалению, мусора в интернете станет ещё больше, но это, кстати, происходит и само по себе.

Увы, но краткосрочная эпоха авторского контента безвозвратно ушла в небольшие клубы по интересам, которые в потоке информационной речки-вонючки почти нереально найти.

Мусор мусору рознь, я проблему вижу не сколько в увеличении потока «желтизны» и прочего вымоченного в уксусе вторсырья, а скорее в массовом появлении контента, изобилующего галлюцинациями нейросетей. С учётом того, что люди, в основном, воспринимают информацию некритически, как мне кажется, стоит ожидать невиданной коррозии общей эрудиции у общества в целом.

Вот один из встреченных мной примеров, пока довольно безобидный:

Поначалу фильм напоминает «Моего соседа Тоторо» — трогательную историю о детях, покинувших город и познающих природу. С поправкой на настроение. Если смерть мамы Сацуки и Мэй была шокирующим ударом ближе к финалу в остальном доброй детской истории, то Мохито теряет близкого уже в начале фильма — и это задаёт повествованию меланхоличный тон.

В фильме «Мой сосед Тоторо» с мамой Сацуки и Мэй всё в порядке, она выздоравливает, о смерти там нет ни слова. Думаю автор статьи пользовался услугами нейросети, а этот пассаж просто пропустил и не вычесал при редактуре.

У меня есть и более острые примеры, но цитировать я не стану, там такое, что того и гляди заденешь чьи-нибудь чувства.

То ли ещё будет, когда эти галлюцинации просочатся в инструкции, договоры и учебники.

3 комментария
Евгений+Суреев 1 год

Про Тоторо есть целая конспирологическая теория, основанная на том, что некоторые персонажи не отбрасывают тень. Возможно нейросеть на ней обучилась, и выдала такой текст. Но конечно, никакого шокирующего удара в мультфильме не было.

Евгений Степанищев 1 год

Надо же, надо найти, звучит забавно )

Дополнено: нашёл разоблачение этой теории: https://ednovik.livejournal.com/89603.html

Сергей Чебан 12 мес

Человеческие дети тоже поначалу довольно много «галлюцинируют». Однако у них есть родители и прочая окружающая реальность, наказывающие за правдоподобную ложь. Большинству этого хватает, чтобы перестать галлюцинировать.

Вот и нейросети, похоже, подошли к уровню трёхлетнего ребёнка: они получили достаточно информации, чтобы лепетать что-то правдоподобное, но теперь их надо воспитывать и объяснять отличия «правдоподобного» от правды.

Евгений Степанищев 12 мес

Ну у человека такие галлюцинации никуда не уходят, так устроена память, любой следователь подтвердит.

…дети тоже поначалу довольно много «галлюцинируют» […] родители […], наказывающие за правдоподобную ложь.

Галлюцинации и ложь — разные вещи. Я знаю, когда я лгу, но не знаю когда «галлюцинирую». Галлюцинации — когда из памяти извлекаются сведения, которые не соответствуют действительности, но я про это не знаю.

Petr 12 мес

Напомнило: «в конце романа Ипполит Матвеевич с женой Кисой бегут в польшу».