ИИ

Я уже рассказывал как нейросеть из-за неправильно понятой ею фразы как-то стёрла результаты совместной трёхчасовой работы, а в этот раз хочу рассказать как опростоволосился я сам.

Первые три часа работы над прототипом, про который я недавно писал, я очень спешил и для экономии времени даже не заводил репозиторий, ну и ничего не коммитил, соответственно, решив, что на старте проекта в этом ничего страшного нет.

Уже после обеда, решив зафиксировать, всё-таки, достигнутый результат, я создал репозиторий через git init, добавил в него все файлы через git add -A, но сообразил, что в туда попадёт слишком много мусора и решил сначала «прибраться».

Тут меня буквально на мгновение отвлекли каким-то вопросом и я, не до конца переключившись обратно, набрал вместо git reset немного другую команду — git reset −−hard, то есть вместо сброса коммита, я синхронизировал содержимое своей директории с состоянием репозитория, который я только что создал. Открываю директорию, а там ни одного файла, созданного за мой трёхчасовой сеанс вайбкодинга.

Минуту, наверное, я ошарашенно смотрел на дело рук моих, но потом вспомнил, что когда-то читал про git и его временные файлы, которые он не сразу уничтожает. И я подумал, что возможно вся проделанная работа может лежать в  одном из таких временных файлов, созданный после запуска git add -A.

В том же редакторе, где вайбкодил, — в «Курсоре», спросил у нейросети нельзя ли как-то восстановить стёртое и я оказался прав — нейросеть мне всё восстановила!

Если присмотреться, то на скриншоте прототипа, который мне пришлось почти полностью вымарать, можно увидеть заголовок окна чата с моим вопросом про эту ситуацию.

На работе у нас проект одного очень сложного модуля к нашему продукту, дизайн которого мы делаем уже почти год. Бывает так, что мы его откладываем, занимаемся другими делами, потом возвращаемся, но длится это уже очень долго. Одна из причин — никак не удаётся нащупать правильные решения.

Технологическая сложность очень велика, поэтому запрототипировать дизайн малыми силами не удалось, к тому же он ещё только формируется. Из-за этого мы долгое время продумывали механики либо на словах, либо вырезая блоки интерфейса из бумаги ножницами и показывая руками как всё будет взаимодействовать.

А на днях я подумал — почему бы не попробовать сделать прототип (срезав кое-какие острые углы, разумеется) при помощи ИИ? Выделил на это несколько рабочих часов, заперся в переговорки с дизайнерам и аналитиками и мы попробовали.

Выгрузить вёрстку из «Фигмы», где у нас нарисован дизайн, нам не удалось — предназначенные для этого плагины ничего не дали. Я решил с этой проблемой не бодаться, а попробовать сделать вёрстку из картинки «нулевого состояния», постепенно добавляя поведение так, как это описано в техническом задании.

Это был самый утомительный этап — картинку нейросеть «видит», но судя по тому как получилась первая версия, она её себе каким-то образом описывает на словах, а потом верстает со словесного рассказа.

Особенно хорошо это было заметно на иконках — элементы на них, чаще всего, те же самые, но нарисованы совсем иначе. Если остальную вёрстку я сумел выправить промптами, то иконки мы просто вытащили из «Фигмы», назвали говорящими именами и нейронка сама догадалась куда их применить.

Так же пришлось, кстати, поступить и с цветами. На скриншоте я убрал весь получившийся интерфейс, потому что не могу его показывать, но полоску заголовка оставил, только всё оттуда стёр. Бледно-голубой цвет этой полоски у нейросети превратился в просто какой-то голубой. Поэтому все цвета я взял пипеткой из исходной картинки и передал нейросети в виде значений.

На приведение в порядок того, что модель наверстала, ушёл, наверное, час, после этого мы вырезали кусок из технического задания, где описывались механики и я скормил это нейросети как есть. Часа через три у нас был прототип, с которым худо-бедно уже можно было работать.

Потом я просто сказал нейросети где лежит кусок технического задания по которому ему надо написать код, после чего всё заработало более-менее как нужно, но немного не так. Ещё примерно в течение двух часов я иногда возвращался к прототипу и иногда что-то правил, сидя на совещаниях, так что можно, грубо оценить, что на прототип ушли четыре или пять часов.

На этом прототипе днём позже мы смогли оценить кое-какие наши решения и даже найти серьёзную техническую проблему, для которой смогли тут же придумать решение. Я считаю, что это отличный результат, надо продолжать работать с в таком ключе дальше.

При этом я не рассматриваю сделанную работу как готовый кусок кода, который можно затем будет интегрировать в проект. Этому есть несколько причин:

Во-первых, писал я натуральным «вайб-кодингом», вообще не заглядывая в код, если вы программист и видели какой код пишут нейросети без присмотра, когда решают комплексные задачи, понимаете, что иногда это потом проще выкинуть, чем использовать.

Во-вторых, это чисто интерфейсный прототип без учёты взаимодействия с сервером. Тут никак не учтены очень важные детали, которые необходимо положить в фундамент архитектуры, чтобы потом всё не переделывать.

В-третьих, этот код никак не учитывает архитектуру остального проекта, написан он с «чистого листа», совершенно изолированно, соответственно, при попытке его интегрировать его придётся серьёзно переделывать.

В-четвёртых, мы опасаемся утечек нашего кода в чужие облака. Что там делать с ним будут — неизвестно.

Когда я только начинал заниматься восстановлением браузера «Виола», меня поразило как много он себе позволяет делать в системе. Если бы браузер с такими возможностями и с полным отсутствием защиты от несанкционированного их применения дожил до конца девяностых, хакеры бы от его репутации камня на камне не оставили.

Конечно, в 1991-м году, когда «Виола» только появился, об этом было рано думать. Всё-таки программист-одиночка не мог заниматься сразу всем, а работы и без того хватало — столько всего надо было реализовать, я хорошо это понимаю.

В 1995-м году, когда вышла последняя версия браузера, защита уже была необходима и, как оказалось, автор «Виолы» это тоже понимал. В частности в тринадцатой главе своей недописанной книги, он пишет:

At this point you’re probably thinking how great this this, but how do I know that the applets I run won’t delete my files, smuggle info out of my system, and do other mischiffs?

The answer is that these imported objects can’t (or shouldn’t be able to).

The current security policy is pretty straightforward and somewhat limiting for the objects. It basically goes this way: all imported objects are marked as untrusted, and as such these imported objects have no system priviledges, have no access to sub interpreters, and can not coarse other objects to execute scripts arbitrarily.

Видимо эта работа так и не была завершена, но, что радует, была начата. Я изучил всё то, что автор писал по этому поводу у себя на сайте, в группах рассылок и коде браузера и тщательно описал что именно было сделано. Потом я определил, что нужно доделать в коде, чтобы обеспечить минимальную защиту компьютера пользователя от вредоносных сайтов, и приступил к работе.

Конечная реализация вышла довольно прямолинейной. Браузер может работать в одном из двух режимов: защищённом и нет. Когда браузер переходит на какую-либо страницу, он смотрит откуда она загружена, если из интернета, то режим переключается в защищённый, если с файловой системы, то она запускается в доверенном режиме.

В популярном приложении одно э́то было бы проблемой, но я не вижу смысла спрашивать разрешение и для локальных страниц, так как это осложнит мне тестирование браузера. Так что я себе проделал небольшую брешь в защите.

Из защищённого режима браузер переключается в режим без защиты только с разрешения пользователя, переключение инициируется, если во время интерпретации скрипта встречается вызов, требующий переключения в доверенный режим (например, работа с файловой системой или открытие сокета), а так же, если на странице установлен тег SECURITY с атрибутом LEVEL=0.

Оказывается, автор браузера предосмотрел такой тег, но не успел реализовать. Название атрибута в коде уже было, а вот его значение — это моё обоснованное предположение. В коде есть центральный флаг securityMode, принимающий два значения — 0 (система безопасности отключена) и 1. Я предположил, что атрибут LEVEL должен влиять на значение этой переменной.

Если пользователь не согласился на переход в доверенный режим, вызов, запросивший повышение привилегий, завершается с нефатальной ошибкой — там, где можно вернуть флаг того, что произошла ошибка, я это делаю. Как только браузер встретит следующий такой вызов, он опять попросит разрешения сменить режим. Тут, опять же, слабое место, — можно заспамить пользователя такими запросами. Собственно, эта проблема была в любом браузере девяностых годов.

Решается она просто. Например, можно добавить в диалог галочку «больше не спрашивать» и не позволять его вызывать до перехода на другую страницу, но это настолько не в духе браузеров тех годов, что я тоже не стал этого делать. По-честному, от кого защищаться?

Если мы перешли в доверенный режим, то он сбросится на следующей же странице, загруженной из интернета.

Я потратил так много усилий и токенов нейросетей, чтобы сначала понять замысел автора, потом придумать в её рамках реализацию, закрывающую все белые пятна, а потом реализовать, что немного выдохся и пока больше таких больших доработок не делал, да и токены надо бы поэкономить. Поэтому пока что я доделываю всякие мелочи и дописываю документацию.

Но не будь нейросетей… Я уже не раз повторял это в частных разговорах, но, кажется, ни разу не писал у себя в блоге: без нейросетей я бы этим заниматься не стал. Усилие от реализации этих доработок без нейросетей во много раз перекрывает удовольствие от этой работы.

В последнее время мало что дорабатываю в «Виоле», чаще борюсь с багами, а их там предостаточно. Сегодня ночью пал один из самых сложных в исправлении.

Дело в том, что у меня окно «Виолы» нормально не тянулось — если попробовать изменить размеры, то в окне появлялись чёрные полосы, положение элементов плыло, в общем пользоваться этим было невозможно. Я, понадеявшись на то, что оригинальная «Виола» просто не умела растягиваться, заблокировал во всех окнах такую возможность.

Но позже в видеоролике, где видно оригинальную «Виолу», запущенную в виртуальной машине, я увидел, что она прекрасно растягивается безо всяких проблем.

Видимо проблема в каких-то особенностях работы X11 на «МакОСи», возможно он работает не в точности так же, как в 90-е, когда этот браузер писали.

К проблеме растягивания я уже пытался подступиться, но, потратив несколько часов, отступил. На этот раз я попробовал новый подход. В прошлый раз нейросети пробовали какие-то гипотезы, добавляя всё новые и новые правки и запутывая код, но ничего не помогало. Часть проблем мы смогли победить, но последняя — появляющаяся при изменении размеров рамка вокруг заголовка и урла страницы всё никак не давалась.

Я сообразил, что проект, видимо, просто слишком огромный. У нейросети «глаза разбегаются» в попытке сгенерировать фиксы, так как дело может оказаться в чём угодно.

Поэтому я попросил нейросеть сгенерировать небольшое приложение, которое компактно повторило бы проблему, чтобы там её править. Удивительно, но мой любимый «Опус 4.5» с задачей не справился — он слепил какого-то уродца из случайных компонентов, а потом всё пытался переключиться на основное приложение.

Выручил «ГПТ-5.2». Он собрал хороший прототип, где мы воспроизвели проблему и в конечном счёте её победили. Дальше я опять переключился на «Опус» и мы благополучно перенесли решение в основной код.

К тому времени, когда всё заработало, в коде было полно каких-то правок, только часть из которых решала проблему. Помятуя как нейросеть однажды легко уничтожила наш совместный многочасовой труд, я закоммитил всё как есть, а потом стал по одному откатывать все изменения, чтобы понять что имеет значения для исправления проблемы, а что нет.

Судя по логам, работу я закончил в третьем часу ночи.

Прототип, который помог компактно воспроизвести проблему и победить её

Я уже несколько лет смотрю насколько нейросети пригодны дня реставрации фотографий. Для этого у меня есть контрольное фото моей прабабушки с двумя дочерьми. Когда выходит более-менее достойная нейросеть, я пытаюсь каким-нибудь достаточно простым промптом попытаться её отреставрировать.

«Нанабанана» — первая сеть, результаты реставрации которой мне захотелось показать. По моим меркам она справилась на три с плюсом. Критерий у меня простой — люди не должны измениться.

Если с дочками прабабушки получилось довольно неплохо, — только изменились рост и пропорции лица, то прабабушка изменилась сильнее. Лицо похоже, но другое, — сильно изменились глаза, носогубные складки и рот. Такого при хорошей раставрации быть не должно.

Поэтому пока три с половиной. Но это уже очень близко к тому, что можно использовать, раньше сетки с этой задачей справлялись хуже. Думаю, если сделать несколько попыток, то чисто случайно можно получить реставрацию, которая потянет на четыре или даже на четыре с плюсом.

Пять будет, когда я с первой попытки буду получать то, что ожидается.

На этой картинке я вижу четыре приподнятых участка

Давно хотел проверить идею нельзя ли защищаться от роботов, кодируя капчу в автостереограмму. Для людей она тоже не очень удобна, — даже умеющие их смотреть, не имеют навыка делать это быстро. Но если бы автостереограммы были последним бастионом, думаю, все научились бы за какое-то время.

Я сделал несколько автостереограмм с рисунками, надписями и абстрактными фигурами и попробовал спросить у ЧатГПТ 5.2 что там нарисовано «в глубине». Ожидаемо, кроме галлюцинаций ничего не получил.

Но потом оказалось, что если попросить нейросеть программно восстановить рисунок, она его успешно восстанавливает и не менее успешно разбирает. Казалось, затея сорвалась и мне даже было не жаль, — всё же разглядывать автостереограммы для некоторых людей мучительное занятие. Но потом я попробовал ещё одну идею.

Оказалось, что если карта глубины почти плоская и пятна на ней очень абстрактные (я использовал близко расположенные буквы), то я могу сосчитать сколько таких «пятен» я вижу на картинке, а ЧатГПТ считает, что «в глубине» ничего нет, пусто.

В общем, в этом что-то есть, вполне можно подобрать что-то такое, что роботы не смогут распознать.

Хочу собрать в одну заметку некоторые важные для меня статьи об общении с большими языковыми моделями (БЯМ).

1. В статье «Mind Your Tone: Investigating How Prompt Politeness Affects LLM Accuracy» описывается эксперимент исследователей Университета Пенсильвании. Они обнаружили, что импульсивные и грубые формулировки приводят к более высоким показателям точности БЯМ, улучшая результат на несколько процентов;

2. В статье «One Ruler to Measure Them All: Benchmarking Multilingual Long-Context Language Models» утверждается, что лучшим языком для промптов неожиданно оказался не английский, а польский. Английский занял лишь шестое место. Конечно, необходимо учитывать особенности эксперимента: были выбраны синтетические задачи и использовалось очень большое контекстное окно. Тем не менее, вопреки устоявшемуся мнению, возможно, в некоторых случаях английский язык для промптов — не лучший выбор;

3. Две работы «When “A Helpful Assistant” Is Not Really Helpful: Personas in System Prompts Do Not Improve Performances of Large Language Models» и «The Impact of Role Design in In Context Learning for Large Language Models» вместе показывают, что задание структуры ответа (то есть подробная инструкция как ответить) в промпте улучшает качество ответа, но, не смотря на сложившуюся практику, задание социальной роли («ты — опытный психолог с 20-летней практикой») либо особо не влияет, либо даже ухуждает результат;

4. Статья «Lost in the Middle: How Language Models Use Long Contexts» о том, что современные языковые модели, даже с расширенными окнами контекста, не умеют надёжно использовать длинный ввод: их точность резко зависит от позиции релевантной информации и имеет устойчивую U-образную форму — лучше всего модели работают, когда нужные сведения находятся в начале или в конце контекста, и заметно хуже, когда они расположены в середине. Это противоречит интуитивному «давайте напихаем модели побольше данных в промпт, у неё всё равно окно большое».

Видя, как нейросеть «Нанабанана» легко справляется с бликами на стекле, подумал, что мне бы хотелось и в моём смартфоне иметь эту функцию — «убрать блики». Я много фотографирую в музеях, где многое за стеклом, но стесняюсь бликов, мне кажется, что они сильно портят получившееся фото.

Сейчас я иногда прогоняю такие фотографии через нейросеть, но, во-первых, часто жалко времени, а во-вторых, — денег. Те сети, которые умеют это делать хорошо, стоят денег. С другой стороны, производители смартфонов, которые цепляются уже за любую фишку, лишь бы как-то выделиться, могли бы и вот эту идею в своём смартфоне воплотить.

Арсенал одной из казанских банд в казанском музее МВД за стеклянной витриной

Вчера мучился бессонницей, нужно было чем-то себя занять. Обычно я в таких случаях занимаюсь «Виолой», а тут, видимо, на меня повлияло близкое знакомство с JOPA — компилятором Джавы, решил направить свои силы куда-нибудь ещё.

Когда-то давно, когда я активно верстал, формат GIF был одним из самых ходовых, для анимации так вообще альтернатив не было. И мы в то время в обязательном порядке занимались оптимизацией графики.

В случае GIF очень хорошо помогала известная утилита GIFLITE.EXE — коммерческая разработка компании «Вайт Ривер Софтвейр» (White River Software), которая, по всей видимости, давно исчезла, так как я про неё ни в какой другой связи никогда ничего не слышал.

Утилита была под DOS, но я тогда работал под «Виндой» и проблем это не создавало, но позже, когда я пересел на «Мак», пользоваться ей стало неудобно. Тем не менее я всё равно ей ещё долго пользовался через всякие эмуляторы.

Она всегда меня интриговала — было интересно что она вообще такое делает, как ей удаётся уменьшить размер гифа и чем отличаются её методы сжатия, которые задаются ключом -m.

В общем, раз уж не спалось, я провёл давно запланированный эксперимент, к которому всё никак не мог найти времени приступить — имея на руках только бинарный файл старой программы, воссоздать её на другой платформе. Довольно актуальная задача, кстати, я знаю, что у некоторых людей есть программы без исходного кода, которые они вынуждены запускать на давно устаревших компьютерах.

Забегая вперёд, хочу сказать, что эксперимент удался — программа создаёт в точности такие же GIF-файлы во всех режимах и я, кстати, получил ответ на свой вопрос — бо́льшая часть методов в ней объединяет близкие цвета, уменьшая файл за счёт этого.

А теперь, немного подробностей.

Во-первых, я использовал несколько сетей вперемешку и они показали себя очень по-разному, за ночь они у меня каким-то образом очеловечились и в голове создался образ каждой из них.

Opus 4.5 показался смелым исследователем, который идёт к цели, не пасует перед проблемами. Если где-то что-то непонятно, выскажет несколько гипотез, сам их проверит, докопается до истины. Выше всяких похвал.

GPT-5.1 Codex Max показался немного медлительным и чуть туповатым парнем, таким неповоротливым увальнем сибирских размеров, старательным, но звёзд с неба не хватающим.

Grok Code — торопыга, который как будто считает себя чересчур способным, много фантазирует, принимая свои фантазии за реальность и вообще слишком некритично, без рассуждений всё воспринимающий.

Во-вторых, я хоть и написал на «Гитхабе», что делал обратную разработку методом «чёрного ящика», на деле пришлось активно смотреть в исходники.

Сначала я дизассемблировал код, но это поначалу мало помогло — видно было, что нейросети пытаются «нащупать» в получившемся коде границу функций, чтобы разобраться с ними по отдельности, но не могут. Но позже этого код пригодился — чтобы восстанавливать логику более точно.

Потом я установил radare2 с плагином r2ghidra и нарезал бинарный файл на сишные функции. Код восстановился плохо, с лакунами, поэтому я запустил отдельную сетку, которой буквально по шагам объяснял что делать. Основная идея — довести сишный код до читаемого состояния, разбираясь с функциями от самых коротких к более длинным.

Для этого мы сначала разобрались с таблицей виртуальных функций внутри ассемблера, после чего дело пошло веселей. Заняло это несколько часов интенсивной работы с нейросетями, по ощущениям выглядело как парное программирование.

Параллельно, в другом окне другой экземпляр нейросети писал основной костяк кода, попутно разбираясь с проблемами, туда я заглядывал редко, но без моего внимания то окно тоже не обходилось.

В полным соответствии с принципом Парето, 20% кода отняло у меня 80% времени. Тут очень хорошо показал себя Opus 4.5, — поскольку в коде разобраться было сложно, там 40 тысяч строк на ассемблере, он ставил очень много эксприментов, сравнивая два набора файлов между собой — тот, который получался при запуске оригинального GIFLITE.EXE с нашим.

Мы долго не могли добиться бинарной точности результирующих файлов — очень много нюансов, которые влияли на то, что получалось. Вплоть до реализации алгоритма сортировки цветов, функции хеширования и прочих мелких деталей. Восстанавливать детали помог ассемблерный код — в Си некоторые подробности не перенеслись, отчасти из-за таблицы виртуальных функций, которую «Гидра» (r2ghidra) расщёлкать не смогла.

В-третьих, интересно было наблюдать образчик выученной беспомощности нейросетей. В самом начале они очень быстро сдавались при исследовании кода. Очень долго, много часов пришлось вести их за руку (я сначала использовал их вперемешку, но потом понял, что «Опус» справляется лучше всех), пока в какой-то момент накопилась критическая масса и всё пошло ощутимо легче. Под конец нейросеть молотила, уже почти не останавливаясь.

Я очень доволен тем, как прошёл эксперимент. Очень интересный опыт и результаты воодушевляющие. Код, как обычно, можно увидеть на «Гитхабе».

Пока я тут использую нейросети для развлечения, некоторые ребята пробуют их для чего-то более полезного — например, один наш соотечественник (о чём можно догадаться по неймингу) за две недели дописал форк старого джава-компилятора Jikes, написанный на Си++. Теперь компилятор называется JOPA и поддерживает Джаву версий 5, 6 и 7.

Это может быть нужно, например, для «бутстрапинга» — когда нужно с «нуля», из исходников собрать джава-компилятор + рантайм + инструменты, без использования проприетарных бинарников.

Я попробовал у себя собрать этот компилятор. Сходу не удалось, но дописанное нейросетью можно нейросетью и запустить. В общем, пять минут и всё получилось.

Правда, на моём тестовом примере JOPA упала с ошибкой при попытке открыть rt.jar (это главный архив стандартной библиотеки), но это удалось решить, просто распаковав его рядом.

В общем, вывод такой: проект интересный, но это не полная JOPA, только компилятор, хотя и работоспособный, поэтому запустить скомпилированную в class программу нечем. У себя я запускал системной Джавой.

Добавлено позднее: за такое меня ещё не благодарили, какой-то новый опыт:

Вступление

Я, как вы знаете, довольно давно уже реставрирую браузер «Виола» из недописанных исходников. И была у одна мечта, связанная с ним: увидеть как в нём работает вращение трёхмерной модели самолёта.

Узнал я об этом из статей о судебной тяжбе компаний «Микрософт» и «Иолас» (Eolas), начавшейся в 1999-м году.

Компания «Иолас» утверждала, что первой разработала и внедрила технологию «встроенных объектов и плагинов» для веб-браузеров, и «Микрософт», по их мнению, нарушала права, используя схожий механизм. В этой связи автора «Виолы» вызывали в суд, где рассказал, что придумал эту технологию ещё в начале 90-х годов, тогда как «Иолас» получила на неё патент только в 1998-м.

Тема широко освещалась в прессе и в некоторых из статей есть статичный скриншот того как это выглядело. Кроме того, сохранился код страницы с программой на языке «Виола». Казалось бы — почти всё что нужно!

Скриншот того как это выглядело в первой половине 1990-х

Что мешало

Но оказалось, что исполнению моей мечты мешало несколько обстоятельств.

Во-первых, на самом деле модель вращала утилита V-Plot, написанная Скоттом Силви, который учился вместе с автором «Виолы». Её исходники не сохранились.

Во-вторых, судя по сохранившимся исходникам веб-страницы, вращались две модели, которые назывались TomCat и x29.geom, которые ещё нужно было найти.

В-третьих, как оказалось, часть, которая должна взаимодейстовать с V-Plot не работала.

Вопрос №1: где взять V-Plot?

По всей видимости, в открытых источниках его не найти — сколько не запускал я невод глубокого поиска нейросетями, ничего не вышло. Тогда я решил пойти от обратного — у нас есть скрипт на «Виоле», который должен слать этой программе какие-то команды, так может нейросеть, отталкиваясь от них, мне её просто напишет?

Без особой надежды я дал нейросети такое задание и пошёл заниматься делами. Через какое-то время у меня был на руках исходник, в который я даже не заглядывал. Решил просто всё запустить и посмотреть что будет. Ожидаемо ничего не заработало сразу. Я пожаловался на этой нейросети и мы пошли смотреть в чём причина.

Оказалось, что специальный «объект» TTY «Виолы» для взаимодействия с программами, которые могут выводить графику в окно браузера, реализован только для «Линукса», а для «МакОСи» (в «Виоле» встречаются куски для очень старой версии этой операционной системы) код реализован не был.

Я как можно тщательнее, как зловредному джину, описал что именно хочу получить и опять переключился на свои дела. И вот тут, когда я без особой надежды вернулся через какое-то время посмотреть на то как нейросеть провалила задачу, меня ждало маленькое чудо: в окне, где должны выводиться модели, появилась жёлтая сетка — самодельный V-Plot делал что-то полезное!

Сетка — признак того, что взаимодействие с V-Plot работает!

Здо́рово! Но где же мои самолётики?

Настал момент узнать откуда же брались самолёты. Оказалось, что «Виола» передаёт на вход V-Plot одну из моделей, которые выберет пользователь — там на выбор несколько графиков и две модели в формате OFF (Object File Format). Моделей в комплекте с исходниками браузера не оказалось.

Ориентируясь на приметное имя x29.geom, я решил поискать эту модель, вдруг это что-то известное. А параллельно зарядил ChatGPT глубоким поиском.

Модель действительно оказалось известной — её когда-то изготовила компания «Эванс энд Сазерлэнд», а потом использовали на европейской выставке 1987 года, электронные материалы которой каким-то чудом уцелели и доступны для скачивания.

ChatGPT оказался полезен тем, что правильно идентифицировал модель и рассказал её историю, но сам файл нашёлся банальным поиском по интернету.

Дальше нейросети меня опять удивили — посмотрев на мой найденный файл, сеть для программирования «Опус 4.5», не моргнув глазом, написала мне за каких-то несколько десятков секунд код для парсинга и отображения этого формата. И вот я уже вращал свой первый самолёт!

Браузер «Виола», вращающий модель самолёта Grumman X-29 в трёх измерениях

Отлично! А что со второй моделью?

Со второй моделью так гладко не вышло — как я ни старался, ничего путного по слову TomCat на нашёл. Решил смириться и найти хоть какую-нибудь модель того же самолёта — ChatGPT определила, что на картинке нарисован Grumman F-14 Tomcat.

Тут наконец пригодился глубокий поиск — нашёлся архив внутри которого лежала модель самолёта F-14, но, вот неприятность, в формате IOB (Imagine object). Формат давно мёртвый и единственный конвертор, который я нашёл — бинарный файл под операционную систему «Амига».

Я, было загрустил, но тут решил попробовать уже совсем безумную штуку — натурально попросить нейросеть написать мне конвертор из формата IOB в OFF, причём без описания самих форматов. Самое смешное, что это сработало, причём с первого раза! Получившаяся модель сразу появилась в окне и заработала!

Модель Grumman F-14 Tomcat, сконвертированная из формата IOB

Выводы, или Что меня удивило

Лёгкость к которой нейросеть провела обратную разработку команд, написала интерпретатор команд для V-Plot и конвертор, просто поражает! Честно сказать, я на такое совсем не надеялся. Максимум, который я ожидал — полуживой прототип, который придётся отлаживать не один день.

Конечно, у меня осталось ещё много задач даже в этом проекте, которые нейросети либо не могут решить самостоятельно, либо даже с моей помощью.

Тем не менее, та работа, которую я проделал над браузером при помощи нейросетей, совершенно неподъёмна для человека в такие короткие сроки.

Лет двадцать назад широко известный в Казани дизайнер С. Н. показывал мне буклет, который он делал для некой нефтяной компании. Его задачей было по возможности так нарисовать графики, чтобы продемонстрировать значительные успехи по всем показателям. Тем буклетом можно было гордиться: умело используя различные известные оптические иллюзии, С. Н. нарисовал графики так, что рост мерещился даже там, где ситуация была прямо противоположной.

К чему я это вспомнил? Компания «Антропик» выпустила релиз новой пишущей код модели «Опус 4.5». На графике, по которому я утром за завтраком мазнул глазами, мне померещился очень заметный рост точности, отчего я провёл в предвкушении весь день: планировал засесть вместе с нейросетью за задачку посложнее и посмотреть, как она справится.

Когда я ближе к вечеру рассмотрел график внимательнее, обнаружил, что точность повысилась менее чем на 4%. Всякий рост — это хорошо, но 4% — это, конечно, не вау.

Продолжаю смотреть на что годится «Нана-банана». Я вчера оплатил там аккаунт на 250 генераций, так что надо тратить.

В качестве следующего теста я попросил нейросеть нарисовать Мурзика — кота, который был у меня в детстве. Набор опорных изображений я сформировал из нарезки мутноватого видео сорокалетия папы, где Мурзика видно пару секунд и своего детского рисунка.

Долго я не экспериментировал, сделал две генерации, да и промпт написал довольно простенький:

На этом рисунке и кадрах из видео есть кот. Надо посмотреть его особенности и сделать фоторелистичного кота. В точности повтори окрас кота, позу на рисунке и все особенности, которые можно рассмотреть.

Но что я могу сказать.

Во-первых, если бы мне сказали, что это фото Мурзика, я бы мог поверить. То как я его помню вполне совпадает с тем, что я вижу. Разве что квартира не наша — обои и ковёр похожи, но такого ракурса у нас дома быть не могло.

Во-вторых, все детали на мой взгляд выглядят очень естественно — анатомия, интерьер советской квартиры, всякие мелочи — даже есть ворсинки по краю пледа.

Минусы — поза немного другая, не как на рисунке, но самое главное — немного отличается окрас. На моём рисунке пятно на спинке соединено с хвостом, а у «Наны-бананы» видение другое — пятна разделены.

При этом, учитывая с какой лёгкостью «Нана-банана» нарисовала изображение, которое меня почти устроило, я уверен, если потратить полчаса, чтобы описать всё то, что мне не понравилось, можно нарисовать что-то близкое к идеалу. У меня просто нет такой цели, я-то знаю, что это не подлинное фото Мурзика и ничего этого факта не изменит.

И хоть впереди ещё более сложный тест, уже можно сказать, что «Нана-банана» гораздо лучше сетей, которыми я пользовался до этого.

Что-то я уже давно не смотрел какие годные нейросети появились для редактирования изображений. Пользуюсь только встроенной в «ЧатГПТ» и всё. Для большинства моих задач этого хватает, но, признаться, я всё чаще стал упираться в ограничения, когда приходится признавать, что сколько не промпть, а выше головы не прыгнешь.

Особенно у «ЧатаГПТ» плохо с деталями, добиться стабильности которых между задачами, — какая-то невероятно сложная задача. Особенно это заметно на лицах. Если дать одну фотографию с человеком и три разных задания, получишь три разных лица.

Решил посмотреть расхваливаемую многими «Нана-банану» и, похоже, теперь я буду пользовать ей гораздо чаще, чем «ЧатомГПТ». Сеть явно поумнее, пропмтам следует чётче и рисует на голову лучше. Например, я попробовал несколько вариантов колоризации фотографии бабушки жены. Кое-где нейросеть немного меняла детали, что для меня очень критично в этой задаче, но всего несколькими словами удавалось исправить ситуацию.

Например, в одном из вариантов губы получились чуть шире, я попросил нарисовать их более поджатыми, как на исходном фото и всё исправилось лучшим образом.

Попытка колоризации фото бабушки жены в среднем возрасте — Марии Ивановны Андриановой (1933—2024)

Если вы приглядывались к браузеру «Виола» на моих многочисленных скриншотах, могли заметить, что он выглядит каким-то недоделанным — адресная строка и заголовок страницы небрежно брошены в интерфейс.

На деле всё обстояло даже хуже — в нулевом состоянии в этих местах были прописаны заглушки, по которым сразу становилось понятно, что это не интерфейс, а нечто временное.

Мне от этого делалось грустно — я люблю красивый дизайн, а тут такое уродство. Но оказалось, что внутри кода браузера есть закомментированные недописанные куски, в которых можно подглядеть, как на самом деле должен был выглядеть браузер!

Мы с нейросетью посмотрели на этот код, отряхнули его, дописали и выкинули оттуда очевидно лишние вещи (внизу были невзрачные кнопки, дублирующие меню, думаю, это остатки технического интерфейса). Теперь в свежей сборке можно увидеть, каким именно браузер должен был получиться. По-моему, стало гораздо лучше.

Кстати, пока мы с нейросетью занимались интерфейсом, я решил заняться некрасивым уголком справа внизу. Снял скриншот, чтобы меньше объяснять — многие нейросети довольно неплохо по ним всё понимают и написал в промпте:

Посмотри на out.png, справа внизу светлый угол, за который тянуть надо, не совпадающий по цвету с остальным окном. надо бы поправить цвет, сделать в цвет остального окна.

Вот иллюстрация того как это ещё недавно выглядело:

Неприятный уголок и технические кнопки, которые я потом убрал

Нейронка, так сказать «взяла под козырек» и начала что-то бодро писать на «Пайтоне». Что странно, кстати, — программа-то на Си. Через какое-то время я вернулся посмотреть что получилось.

Оказалось, она написала мне программу, которая покрасила краешек моего скриншота в правильный цвет!

В итоге я вообще убрал этот уголок: масштабирование всё равно нормально не работает, остаются артефакты, да и в оригинальной программе окно было фиксированного размера.

Когда я в очередной раз думаю, что понял какие задачи может, а какие не может решить нейросеть быстро и с минимальным моим участием, нейросети подкладывают мне свинью.

Случайно, изучая заголовки, которые отправляет «Виола», я обнаружил, что этот браузер каким-то образом работать с «ПостСкриптом» — это язык описания страниц, который используется, например, принтерами. Для этого, как оказалось, нужно использовать отдельный тег FIGURE.

Непонятно для этого понадобился отдельный тег, ну вот так сделано. Для наглядности вот пример его использования:

<FIGURE TYPE="application/postscript" SRC="test_figure_ps.ps"
WIDTH="100" HEIGHT="100" MAYDELAY="2000" ISMAP></FIGURE>

У него больше атрибутов, чем я использовал в примере, в минимуме ему нужен только TYPE и SRC, а остальные атрибуты у меня тут используются как ненужные подробности в моём рассказе, но так уж мне захотелось.

Когда я сделал тестовую страничку с этим тегом, оказалось, что ISMAP и MAYDELAY с «ПостСкриптом» не работали, как и, собственно, само отображение «ПостСкрипта».

С отображением я справился быстро. Секрет в том, что «Виола» на самом деле этот язык сама по себе не понимала, до моего вмешательства она использовала довольно неряшливый код, который использовал кучу временных файлов и две утилиты, — gs и ppmtogif, при помощи которых она получала GIF, который на самом деле и отображался.

Я весь этот код просто выкинул и заменил на вызов утилиты magick, которая умеет конвертировать «ПостСкрипт» в GIF напрямую безо всяких посредников. Пришлось только учесть, что по-умолчанию она создаёт GIF с прозрачностью, тогда как предыдущий набор использовал белый фон.

Довольно быстро я починил и реализацию атрибута ISMAP — просто скопировал его из обработчика формата XBM, где он работал, а починку MAYDELAY отдал нейросети.

Вроде ничего сложного, опять же — этот атрибут работал у XBM, я предполагал, что сеть быстро разберётся в чём там дело, передрав рабочий код и наложив его на особенность — XBM отображается напрямую внутренней библиотекой браузера, а «ПостСкрипт» конвертируется.

Примерно спустя час я сдался. Ни ChatGPT 5.1 Codex, ни Gemini 3 Pro, ни моя любимая Sonnet 4.5 с задачей не справились — каждая из них писала мне огромную простыню кода, которая задачу не решала.

Кусок кода, который надо было поправить, выглядел следующим образом. Если атрибут MAYDELAY не указывался, то вызывалась конвертация «ПостСкрипта» в GIF и он показывался, в противном случае запускался таймер, который вызывал loadData — другой… э… метод, назовём это так, программы на внутреннем языке «Виолы», в котором конвертации не было.

Модели это видели и просто копировали конвертацию в этот метод, но к моменту срабатывания таймера файл, с которым нужно было работать, уже пропадал. Думаю, его удалял сборщик временных файлов, встроенный в «Виолу». В итоге ничего толком не работало: модели ходили по кругу и, пытаясь исправить ситуацию, писали всё больше кода.

Исправление, которое сделал я, работает очень просто: я сначала делаю конвертацию, потом смотрю, есть ли параметр MAYDELAY, если нет, отдаю сконвертированную в GIF картинку в отрисовку, если есть, откладываю отрисовку, передавая в метод loadData уже сконвертированную картинку.

По сути, я передвинул несколько строк кода чуть ниже, это всё моё исправление. Я как-то очень разочарован, что умнейшие из нейросетей до этого не додумались. Можно посмотреть в моём коммите, но там сразу несколько вещей исправляются.

Пример изображения PostScript взят из чужого репозитория

У меня постоянно спрашивают, сколько и за какие нейросети я плачу. На самом деле у меня немного платных сервисов — всего две подписки.

У меня оформлена самая дешёвая ($22,4 в месяц) подписка на ChatGPT, и то только из-за функции глубокого поиска. За эти деньги нейросеть может несколько раз (точно не помню, ни разу не упирался в лимит) очень тщательно, порой десятки минут, шерстить интернет с заданной вами целью, а затем кратко обобщить найденное.

Это ощущается как помощник, который готов выполнить для вас поисковую работу. Пользуюсь постоянно. В последний раз — два дня назад, когда искал, где недалеко от нашего отеля (мы сейчас в Эмиратах) жена и дочка могут покататься на лошадях.

Эту же сеть я использую для коррекции фотографий, редактирования текстов и выжимки текста, когда нет времени изучать что-то большое. Но, кажется, это всё можно делать и в бесплатной версии.

Кроме того, у меня есть самая дешёвая ($20) подписка на «Курсор», чтобы программировать, но сейчас мне не хватает, я всё время докупаю токены. Планирую перейти на более дорогой тариф ($80), но, учитывая мои аппетиты, может и этого не хватить. Когда «Виола» надоест, вернусь обратно на самый дешёвый.

У меня тут случайно получился прекрасный пример того, почему нейросети пока нельзя пускать в самостоятельное программирование.

Браузер «Виола», портированием которого я занимаюсь, среди прочих форматов графики поддерживает ещё и формат XPM. Сейчас не особо важно, что это такое, но вчера я вспомнил, что родственный ему формат XBM когда-то убрали из браузеров — в его парсере обнаружили уязвимости. К тому времени им почти не пользовались, так что это был логичный шаг.

Я решил посмотреть, нет ли в XPM тех же уязвимостей и, если они есть, — исправить.

Одна из уязвимостей, которую мы рассматривали, — запуск произвольных команд. Мы её, конечно, закрыли, но посмотрите, что нейросеть предложила в качестве теста на отсутствие уязвимости: запуск команды rm -rf /, которая, если бы сработала, удалила бы на диске всё, до чего у неё был бы доступ.

Недавно я реализовывал поддержку стилевых таблиц в браузере «Виола», который я ковыряю в свободное время. Делал при помощи нейросетей, но вайбкодинга не вышло — программировать пришлось дуэтом, очень уж сложная задача. В итоге я потратил около трёх-четырёх часов довольно плотного взаимодействия с нейросетью.

Пока мы программировали, сделали очень много различного вывода в консоль для отладки состояний объектов. Это очень помогает оценить что происходит внутри.

И вот, настал момент, когда всё заработало как надо — все написанные мной тесты пройдены, осталось убрать лишний вывод в консоль и закоммитить. Чтобы самому с этим не возиться, я попросил убрать весь вывод нейросеть, а сам пошёл налить чаю.

Когда пришёл, всё уже было готово, но я решил проверить перед коммитом — всё ли в порядке. Скомпилировал, запустил один из тестов… и всё развалилось. В сердцах пишу в чат с нейросеткой капсом: «ЧТО ТЫ НАДЕЛАЛ, ТЫ ВСЁ ИСПОРТИЛ». Понимаю, что бесполезно, но на меня так накатило, что куда-то надо было сбросить всю злость.

И сетка в чате пишет в режиме размышления: «понятно, пользователь чем-то сильно расстроен, видимо я что-то сделал не так» и одной командой безвозвратно удаляет всю многочасовую работу!

На меня тут нашло какое-то бессилие и я просто полчаса пялился в экран, думая, что выкину этот проект к чёртовой бабушке и продолжать не буду. В тот момент я в это верил. Но спустя время отошёл и, как видите, продолжаю.

Мы сейчас в аэропорту, летим в отпуск, интересно, что «гофер» открывается, а он работает через порт 70, обычно нестандартные порты не работают в аэропортах

Продолжаю понемногу возиться с браузером «Виола», оживлением которого я недавно занялся. Благодаря нейросетям, на это ушли не годы, а всего несколько дней.

Чтобы не нарушать аутентичность, решил править только ошибки — их там нашлось и ещё найдётся немало — и доработать работу с сетью. Добавил менеджер соединений, поддержку HTTPS и транслитерацию кодировок: иначе пришлось бы заменять шрифты, а это в мои планы не входит. Кроме того, сделал забавную вещь — поддержку протокола «Веб-архива»: если сайт не резолвится, браузер ищет его в «Веб-архиве» через их API и переходит туда.

Если желаете тоже прикоснуться к истории, проект лежит на «Гитхабе», можно попробовать себе его собрать. Только сразу скажу — я собираю под «МакОС», под другие платформы без переделки собрать не получится.