Галлюцинации нейросетей
С «галлюцинациями» нейросетей сталкивался каждый, кто хоть раз использовал языковые модели. Слово удачное, уже даже используется как официальный термин. Галлюцинациями называются ситуации, когда нейросеть в ответ на запрос выдаёт что-то, не соответствующее реальности.
Понятно почему так получается — статистический попугай, умеющий облекать свою статистику в человеческую речь и не обязан придерживаться фактов. Если какой-то ответ статистически вероятен, однажды он сгенерируется.
Из-за этой особенности к тому, что порождают языковые модели надо относиться крайне критически, тренируя в себе навык проверки фактов (который важен и сам по себе).
Ожидается, что в скором времени нас захлестнёт потоком контента, генерируемого при помощи нейросетей. К сожалению, мусора в интернете станет ещё больше, но это, кстати, происходит и само по себе.
Увы, но краткосрочная эпоха авторского контента безвозвратно ушла в небольшие клубы по интересам, которые в потоке информационной речки-вонючки почти нереально найти.
Мусор мусору рознь, я проблему вижу не сколько в увеличении потока «желтизны» и прочего вымоченного в уксусе вторсырья, а скорее в массовом появлении контента, изобилующего галлюцинациями нейросетей. С учётом того, что люди, в основном, воспринимают информацию некритически, как мне кажется, стоит ожидать невиданной коррозии общей эрудиции у общества в целом.
Вот один из встреченных мной примеров, пока довольно безобидный:
Поначалу фильм напоминает «Моего соседа Тоторо» — трогательную историю о детях, покинувших город и познающих природу. С поправкой на настроение. Если смерть мамы Сацуки и Мэй была шокирующим ударом ближе к финалу в остальном доброй детской истории, то Мохито теряет близкого уже в начале фильма — и это задаёт повествованию меланхоличный тон.
В фильме «Мой сосед Тоторо» с мамой Сацуки и Мэй всё в порядке, она выздоравливает, о смерти там нет ни слова. Думаю автор статьи пользовался услугами нейросети, а этот пассаж просто пропустил и не вычесал при редактуре.
У меня есть и более острые примеры, но цитировать я не стану, там такое, что того и гляди заденешь чьи-нибудь чувства.
То ли ещё будет, когда эти галлюцинации просочатся в инструкции, договоры и учебники.
Про Тоторо есть целая конспирологическая теория, основанная на том, что некоторые персонажи не отбрасывают тень. Возможно нейросеть на ней обучилась, и выдала такой текст. Но конечно, никакого шокирующего удара в мультфильме не было.
Надо же, надо найти, звучит забавно )
Дополнено: нашёл разоблачение этой теории: https://ednovik.livejournal.com/89603.html
Человеческие дети тоже поначалу довольно много «галлюцинируют». Однако у них есть родители и прочая окружающая реальность, наказывающие за правдоподобную ложь. Большинству этого хватает, чтобы перестать галлюцинировать.
Вот и нейросети, похоже, подошли к уровню трёхлетнего ребёнка: они получили достаточно информации, чтобы лепетать что-то правдоподобное, но теперь их надо воспитывать и объяснять отличия «правдоподобного» от правды.
Ну у человека такие галлюцинации никуда не уходят, так устроена память, любой следователь подтвердит.
Галлюцинации и ложь — разные вещи. Я знаю, когда я лгу, но не знаю когда «галлюцинирую». Галлюцинации — когда из памяти извлекаются сведения, которые не соответствуют действительности, но я про это не знаю.
Напомнило: «в конце романа Ипполит Матвеевич с женой Кисой бегут в польшу».