Не устаю всем повторять, что ChatGPT — не более, чем очень эффективная «китайская комната». Что такое «китайская комната» своими словами описывать очень долго, но к счастью об этом хорошо написано в «Википедии»:

Представим себе изолированную комнату, в которой находится Джон Сёрл, который не знает ни одного китайского иероглифа. Однако у него есть записанные в книге точные инструкции по манипуляции иероглифами вида «Возьмите такой-то иероглиф из корзинки номер один и поместите его рядом с таким-то иероглифом из корзинки номер два», но в этих инструкциях отсутствует информация о значении этих иероглифов, и Сёрл просто следует этим инструкциям подобно компьютеру.

Наблюдатель, знающий китайские иероглифы, через щель передаёт в комнату иероглифы с вопросами, а на выходе ожидает получить осознанный ответ. Инструкция же составлена таким образом, что после применения всех шагов к иероглифам вопроса они преобразуются в иероглифы ответа. Фактически инструкция — это подобие компьютерного алгоритма, а Сёрл исполняет алгоритм так же, как его исполнил бы компьютер.

В такой ситуации наблюдатель может отправить в комнату любой осмысленный вопрос (например, «Какой цвет вам больше всего нравится?») и получить на него осмысленный ответ (например, «Синий»), как при разговоре с человеком, который свободно владеет китайской письменностью. При этом сам Сёрл не имеет никаких знаний об иероглифах и не может научиться ими пользоваться, поскольку не может узнать значение даже одного символа. Сёрл не понимает ни изначального вопроса, ни ответа, который сам составил. Наблюдатель, в свою очередь, может быть уверен, что в комнате находится человек, который знает и понимает иероглифы.

Мне крайне удивительно как много людей насто́лько прониклись очарованием этой нейросети, что всерьёз размышляют о том как письменные эксперименты с ней позволят нам исследовать человека. Вот, свежее из канала «Метаверсище и ИИще»:

Мы получили гигантский тренажер по исследованию самих себя, а все с упоением суют в него какую-то срань и постят мемы с котиками на стиле Midjourney.

Занимайте ресёрчем самих себя и окружающих, пока есть возможность. Неинвазивно, в реальном времени, без всяких клинических испытаний и за 20 долларов в месяц (chatGPT Pro). Пока лавочку не закрыли.

Расщепляйте его личности, режьте по-живому, манипулируйте, ублажайте, угрожайте — ни одна тварь не пострадает, а информации об устройстве кожаных мозгов будет получено больше, чем за все предыдущие годы твареубивания. Мозгов, в смысле устройства мышления и принятия решений, а не в смысле желе из биомассы.

Безусловно, возиться с ChatGPT, пока он ещё в новинку, очень увлекательное занятие, в каких-то случаях даже имеющее практическую пользу. Но я уверен, что разбирая конную повозку, мы очень мало поймём про то, как летает самолёт.

Пока всё, что мы знаем, говорит о том, что нейросети лишь очень схематично, поверхностно показывают нам как работает мозг. И уж тем более нельзя напрямую сравнивать эффективную «китайскую комнату», действующую совершенно механически, и осознающий себя человеческий мозг.