Я тут благодаря «Виоле» обнаружил кое-что интересное в «Веб-архиве».

В моей версии этого браузера я делал логику, согласно которой, если домен не открывается, то я пытаюсь найти и открыть его самую раннюю сохранённую копию в «Веб-архиве».

В браузере есть несколько встроенных ссылок на разные давно не существующие сайты, и эта логика нужна, чтобы внешние ссылки с них нормально открывались.

Я не учёл, что локальные адреса — localhost, 127.0.0.1 и прочие — не должны искаться в «Веб-архиве», ведь из интернета их не видно. Вчера случайно я запустил «Виолу» с URL http://localhost/, и вдруг у меня начал открываться какой-то сайт на японском.

Оказалось, «Веб-архив» хранит зеркала каких-то случайных сайтов, доступных по локальным адресам и портам бог знает каких сетей. Я навскидку посмотрел несколько адресов — 127.0.0.1:8080, 192.168.0.1 и так далее — и обнаружил около десятка разных сайтов. И это только вершина айсберга!

Поскольку снапшоты за разное время в «Веб-архив» попали из разных источников, по одному и тому же адресу в таймлайне «Веб-архива» лежат копии разных сайтов. Хорошо бы их найти все и выкачать — это, судя по всему, какой-то совершенно новый пласт информации, сохранённый там!

Попробовать что ли сканер написать, который составит список всего этого богатства…

Я был излишне оптимистичен по поводу сканирования локальных адресов «Веб-архива» — не учёл, что таких адресов потенциально несколько миллионов. Была мысль сканировать параллельно, но тоже не вышло — «Веб-архив» через какое-то время банит, если слишком интенсивно бомбить его запросами.

В итоге я взял самый маленький диапазон и стал смотреть только 80-й порт, открывая самый последний снапшот, иначе придётся сканировать много лет.

Даже в таком режим нашлось куча веб-интерфейсов каких-то внутренних систем — роутер «Микротик», мониторинг «Нагиос», несколько серверов «Петабокса» и прочее, а так же множество каких-то частных страничек.

Например, на моём скриншоте найденный блог с рассказом как автор гнобит своего коллегу. Копия этого сайта, кстати, есть на «Веб-архиве» и по внешнему адресу, правда я не в курсе есть ли там этот рассказ.