Robots.txt для роботов?

На блоге «ODP (DMOZ) неофициально» нашёл ссылку на больше забавное, чем полезное исследование на тему применения файла robots.txt.

Andrew Wooster прошёлся скриптом, написанным на Python, по известнейшему каталогу DMOZ и скачал все robots.txt сайтов, которые там зарегистрированы. Получилась достаточно большая база — 12Гб (около 4,6 миллиона доменов). Бо́льшая часть сайтов (чуть больше 65%) этого файла не имеют, что ожидаемо, вот у меня, например, его тоже нет, у меня нечего запрещать к индексированию.

В остальной части встречались самые разные проблемы — это и нестандартные HTTP-коды ответа (например, 999 или 666), ошибочные mime-типы (например, text/x-perl, video/x-ms-asf или image/jpeg), файлы в других текстовых форматах (RTF, MS Word, HTML, LateX, KOffice — всё текстовые форматы), неверная кодировка (UTF-16 или, например, совсем уж экзотическая для многих французская «nf_z_62-010»), ошибочный формат комментариев (С++-комментарии или HTML), иструкции роботу на натуральных языках, файлы в формате info.txt, ошибки синтаксиса (опечатки, изменение порядка, ошибочное использование расширений), открыто указываются места расположений секретных каталогов (phpmyadmin, админка, частные данные) и так далее.

Какие выводы? В свете последних дискуссий о том, должен ли поисковик индексировать сайт без явного согласия на то веб-мастера, замечает Andrew Wooster, поисковикам придётся иметь очень нетривиальный парсер robots.txt, отпределяющий кодировки и форматы, поддерживающий все расширения и исправляющий любые ошибки. И даже в этом случае, если сторонники подобного запрета победят, ¾ интернета, если судить по кодам ответа, будет просто недоступна поисковым системам (DMOZ — достаточно хорошая выборка, это не мусорные сайты).

Оставить комментарий

Крутой лох

Короны (0.54КиБ)

Корон на «Блоговаре» я набрал аж десять штук. Если знать как, это очень просто, с появлением ботов стало ещё проще — можно было просто встать в очередь и дожидаться, когда боты скинут первых. Сейчас дела обстоят значительно хуже. Вчера Ильшат Саетов обнаружил, что правила игры поменялись — боты применяют боевые заклинание не на того, кто стоит на первом месте, а на того, у кого корона.

Очень неприятная ситуация — чем дольше у тебя корона, чем дальше ты сползаешь из таблицы. Когда у тебя её перехватят, выбираться снизу, возможно, придётся очень долго. Если её перехватят. Потому что многие поняли — лучше дождаться когда у ботов «сядут батарейки» (боты тратят деньги на заклинания, деньги у ботов конечные) и потом продолжить борьбу, чем красоваться в короне, но потом пытаться набрать УНЦ. Так что в надписе на короне «Типа Как Бы Крутой Блог» ключевые слова, пока, «типа как бы».

Оставить комментарий

Монетизация траффика

Обычно я плохо отношусь к рекламе, она навязчива, она тратит моё время без разрешения и отвлекает от основого содержания, паразитирует на нём. Посмотрите на средний сайт центральной полосы интернета — всё мигает, при заходе на страницу ¾ экрана закрыто Flash-баннером, вокруг и посредине текста — баннеры, рекламные вставки, ссылки и прочее. В свете всеобщей монетизации (два интересных блога, где я бываю чаще всего — Димы Смирнова и Ильи Бирмана монетизированы уже несколько месяцев), всё, кажется, должно бы стать ещё хуже. Но нет, я обнаружил, что меня это явление не раздражает.

Для тех, кто не знает, монетизация, по сути — извлечение прибыли из своего сайта, часто — при помощи каких-то сервисов (той же «Sape», которую используют оба вышеупомянутых блога).

Не раздражает оно меня, думаю, по очень простой причине. Все блоги для меня делятся на две категории: «мне стоит читать» и «мне не стоит читать». В первую категорию попадают только талантливые и умные люди, такие же умные и талатливые как я или обладающие этими качествами в большей степени, пишущие на волнующие меня темы. Т. е., пока никто не обиделся, во второй категории тоже есть талантливые и умные, но если мне не интересны особенности игры на «Forex» или послеродовой синдром у курапаток, то я его не читаю.

Люди, которых я читаю, как талантливые и умные, выбирают ненавязчивые методы монетизации. «Sape» это вообще не реклама — это интимные отношения с «Яндексом», димины ссылки на сайт с фотографиями звёзд не пытаются играть с моими чувствами («такой хорошенький котёнок ест „Дрискас“», «после кружки пива „Мочаково“ они все пойдут к нему домой»), а заказные статьи, если они есть, действительно являются мнением авторов этих блогов.

Резюме — меня радует, что бо́льшая часть методов монетизации органично встраивается в контент. Это либо исключительно текстовая реклама (а значит её можно гармонично встроить в дизайн сайта и она не будет оттягивать на себя всё внимание, мешая сосредоточиться на главном), либо контекстная реклама, т. е., потенциально, увеличивающая ценность материала. Баннерная реклама попадается реже и это, как правило, партнёрская реклама, т. е. баннер можно изменить под дизайн сайта.

Оставить комментарий

Пиксельные марки

Марка (4.74КиБ)

Интересный проект — пиксельные марки, собирает марки, наприсованный в пикельной технике художниками по всему миру. «Цена» на марке означает её популярность. На рисунке слева — марка известного дизайнера Sham. Правила участия очень просты — вы скачиваете один из двух шаблонов и рисуете в нём марку на одну из четырёх тем: «food», «fantasy», «sports» или «characters», выбираете каким шрифтом будет напечатана «цена» марки (один из пяти вариантов размеров) и отсылаете её на сайт.

Оставить комментарий

Alternativa Game

На блоге «Флэш Потрошитель» увидел ссылку на любопытный проект — движок Alternativa3D (есть небольшая демострационная версия, нещадно отъедающая память).

Alternativa3D (81.40КиБ)

Alternativa3D — движок для MMORPG Alternative, который сделан на Flash9. В демонстрационной версии представлен небольшой кусок ланшафта с дорогами, травой, деревьями и домом. Всё это можно вращать, менять угол обзора. Скорость очень приличная — я попробовал игру на второй домашней машине, очень слабенькой (Pentium III-1.1GHz, 512Mb, GeForce3 Ti200), ниже 25 fps не опускается. Основные характеристики движка:

  • Трёхмерная геометрия и 3D-спрайты. Здания и ландшафт выполняются в “честном” 3D, объекты со сложной геометрией — в виде спрайтов, в т.ч. многофазных.
  • Система освещения, включающая направленные и точечные источники света. Изменение времени суток, рассеянный и солнечный свет, автоматическое затенение в углах, динамические тени, включая тени от спрайтов.
  • Настраиваемое качество текстур и освещения (при отсутствии аппаратной поддержки 3D-графики во Flash это особенно важно).
  • Низкая нагрузка на процессор (исключая моменты изменения освещения и вращения камеры, что происходит нечасто и не критично для игры).
    У создателей игры большие планы:

В одиночку или сообща игроки строят финансовые империи, делают политическую карьеру, создают криминальные группы, плетут интриги в борьбе за влияние и территорию, продают и покупают, организуют бизнес, просто работают и общаются.

Играющие имеют возможность перемещаться по виртуальному миру, взаимодействовать друг с другом: общаться, драться, обмениваться предметами, покупать и продавать их; арендовать и покупать недвижимость, развивать собственные навыки и физические данные, организовываться в группы для достижения общих целей.

Любопытно будет взглянуть.

Оставить комментарий