Хорошая иллюстрация на тему как можно ускорить программу на порядок, убрав из неё одно слово. Первый и второй запуск отличаются только одним — в первом случае в моей программе для игры в «Словохват» присутствует преобразование типа set в tuple, а во втором этого нет.

Поиск наличия значения в set происходит многократное быстрее.

Кстати, в «Словохвате» можно использовать ещё и названия городов, а в моём словаре их нет. Но ничего не мешает использовать два и более словоря. Например, я скачал первый попавшийся словарь российских городов (он там в формате Экселя) и теперь использую и его:

cat <(unzip -p /Users/bolk/Downloads/spisokl-gorodov.xlsx xl/sharedStrings.xml |
awk -v RS=t '/^>.*<\/$/ {gsub("[<>/]", ""); print $0}' |
tr "[:upper:]" "[:lower:]" |
iconv -f utf8 -t cp1251) ~/Downloads/lop2v2/lop2v2.txt |
pypy slovohod.py /dev/stdin моибуквы

Вчера подсел на игру «Словохват», вроде игра незамысловатая, но очень интересная. Смысл — занять одну из клеток противника, помеченного «звёздочкой», в терминах игры это называется «столица». Чтобы занять клетку, нужно придумать слово с буквой, которая написана на этой клетке, причём нужно уложиться в отведённое время — сверху тикает таймер.

Клетку можно использовать, только если она примыкает к клетке вашего цвета. Клетки чужого цвета захватываются по тому же правилу, но в первый раз они становятся серыми и только в следующий — вашего цвета.

На медиане поля действуют ещё какие-то законы, пока не разбирался, правила есть на сайте. Длина слов важна — упрощённо, чем длинее слово, тем больше вам даётся очков, за очки можно «покупать» различные штуки — дополнительное время, дополнительную букву, «молнию» (вычищает близкорасположенную клетку от цвета противника).

У автора получилась неплохая такая тактическая игра. Мне играть было скучновато — очень лень выдумывать слова, поэтому я написал небольшую программу на Пайтоне, которая работает со словарём под редакцией профессора Лопатина, ей нужно задать файл словаря и буквы, которые у вас есть, она придумает слово: Работает неспешно, я оптимизировать не стал, времени, даваемого игрой, на поиск вполне хватает (по крайней мере на моём ноуте). Если кому-то захочется оптимизации, то просто посмотрите как преобразуется словарь и закешируйте преобразованный вариант.

У меня на каждом запуске словарь преобразуется заново. Естественно, в словаре, помимо разрешённых частей речи, есть прилагательные, глаголы и так далее — их я не отфильтровываю, в словаре нет для этого информации.

# coding: utf-8
import itertools
import sys
import codecs

# дружим с консолью
sys.stdin = codecs.getreader('utf-8')(sys.stdin)
sys.stdout = codecs.getwriter('utf-8')(sys.stdout)

# строки с пропусками любых букв в любом количестве
def combinations(str):
    for l in xrange(2, len(str)+1):
        yield itertools.combinations(str, l)

# собираем каждую в строку
def iterstr(str):
    for s in itertools.chain(*combinations(str)):
        yield u''.join(s)

# все наши комбинации
def uniqcombinations(str):
    return set(iterstr(sorted(str)))

# проходим по словарю
def iterdict(name, min, max):
    with open(name, 'r') as f:
        for line in f:
            line = line.strip().decode('cp1251')

            # текущее слово должно содержать только буквы и быть не больше искомого слова
            if max >= len(line) >= min and line.isalpha():
                yield u''.join(sorted(line)), line

# ищем наше слово
def find(word, dictname):
    words = uniqcombinations(word)

    for line, original in iterdict(dictname, 3, len(word)):
        if line in words: print(original)

# запуск программы и небольшая помощь
try:
    find(sys.argv[2].decode('utf-8'), sys.argv[1].decode('utf-8'))
except IndexError:
    print(u'Запуск: {0} <словарь> <буквы в наличии>'.format(sys.argv[0]))

Писал именно на Пайтоне из-за прекрасного модуля itertools, на этот раз он пригодился функцией combinations — она выдаёт генератор всех комбинаций букв, заданной длины, без изменения их порядка. Очень хорошо, что не пришлось писать этот скучный кусок кода самостоятельно.

Если вы думаете, что выиграть можно бездумно подставляя слова из моей программы, то сильно ошибаетесь — на сайте попадаются противники, которые вас с таким подходом разнесут в пух и прах.

Это информационный пост, больше для себя. Для того, чтобы не забыть выводы и ощущения от сделанного.

Несколько месяцев назад я написал шахматы на утилите «сед», ненадолго заинтересовав публику. Особенно доставляли комментарии на «Реддите» — кажется, я поддержал имидж русских программистов, как людей для которых нет ничего невозможного.

Пара комментариев оттуда: In Soviet Russia...
Заодно мои «шахматы» попали на «ЛОР», «ОупенНет» и многие другие ресурсы (например, в английской «Википедии» в статье про sed, появилась ссылка на меня).

Проект (если такое официальное слово вообще применимо к этой развлекухе) оказался полезен для меня лично: я глубже понял sed, потренировал мозг и чуть-чуть разобрался в том как программируют шахматы.

Сохранился один лист из блокнота на котором я расписываю как движется какая-то фигура (видимо, конь), её «стоимость» на каждой клетке и способ кодирования позиции в программе: Ещё один плюс — мне много пришлось поупражняться в борьбе с собственной ленью и желанием бросить проект, когда я встречался с трудностями, которые казались непреодолимыми или заставляли переделывать половину проекта.

Конечно, мной двигали вовсе не рациональные побуждения, а желание сделать что-то интересное, необычное, творчески самореализоваться. Всё рациональное собрано уже «задним числом», после окончания.

Тяга делать что-то подобное, к счастью, жива, хотя часто выпускать проекты с таким градусом безумия не смогу — сил много уходит.

В прошлом я несколько лет программировал на Перле, очень любил этот язык и неплохо знал, до сих пор могу без особых проблем читать программы на нём. Прошло немало лет, наиболее часто я теперь использую ПХП и Джаваскрипт, на Перле не пишу вовсе (хотя в «Яндексе» был краткий эпизод — написал небольшой пример для документации к какому-то сервису).

Вообще я сейчас считаю, что будущее скорее за языками с лаконичным синтаксисом (Пайтон), чем за тем, у кого он сверхнасыщен (Перл, Руби).

Тем не менее, некоторых вещей из Перла мне до сих пор нехвает в других языках. Я научился без этого обходиться, но много лет меня не отпускает чувство, что у меня чего-то нет, что было раньше — как будто трогаешь языком ямку, где раньше был зуб.

Например, локальные переменные. В ПХП часто приходится смотреть (особенно, если достаётся код-лапша), не определяется ли выше и не используется ли ниже переменная с каким-нибудь глубокомысленным названием — «temp», «i» или что-то в подобном роде. Ну мне тоже хочется что-то временное сохранить и в цикле какой-то счётчик использовать, причём посредь чужого кода.

В Перле такой проблемы нет — там локальную переменную можно создать почти в любом месте, произвольном месте кода, просто поставив фигурные скобки — так создаётся новый лексический блок, у которого могут быть свои локальные переменные:

my @a = (1, 2, 3);
my @b = ('a', 'b', 'c');

for my $i (@a) { # первая переменная $i
     for my $i (@b) { # вторая переменная $i, перекроет первую только внутри цикла
         print $i . "\n";
    }

    {
         my $i = 'end'; # третья переменная $i, перекроет первую только в этом блоке
         print $i . "\n";
    }

    print $i . "\n"; # выводится первая переменная $i
}

Конечно, я не призываю именно так писать код — во вложенных циклах с одной и той же переменной легко запутаться, просто иллюстрирую принцип.

В Джаваскрипте ситуация меняется, появилась конструкция «let» (впрочем, раньше её можно было эмулировать), а ПХП ничего похожего так и нет. Я переписывался с разработчиками много лет назад на эту тему, но воз и ныне там.

Сейчас есть возможность опубликовать предложение, описав его в виде RFC — эта новая процедура появилась недавно, если предложение понравится, то синтаксис имеет все шансы попасть в язык. Надо будет как-нибудь заняться.

Тридцатого декабря полетим праздновать Новый год на Шри-Ланку, в отель «Бентота Бич» (фото с сайта «Топхотелс»).

Если вы были на Шри-Ланке, поделитесь ощущениями, советами: на что смотреть, какую валюту брать, где менять и так далее.

Кстати, удобнее всего рейсы из Казани и в Казань у «Татарстана», мы их брать, естетственно, не стали. В одну сторону полетели «Аэрофлотом», в другую — «Трансаэро».

Про Небритябрь я узнал из видеоблога Стаса Давыдова («This is ХОРОШО»). Смысл простой — на весь ноябрь нужно прекратить бриться.

У Небритября есть какая-то подоплёка и вообще движение международное; если честно, мне до лампочки — я просто подумал, что будет неплохо чем-то оправдать лень. Оказалось, блин, что это очень непросто — не бриться целый месяц. В бороде, пусть и такой небольшой как у меня, постоянно застревает шерсть кота, растущие волосы немного кудрявятся и колят мою же кожу.

Сплошные неудобства, сейчас я не бреюсь уже из принципа, раз ввязался, но, кажется, начал привыкать. Чего доброго, когда всё закончится оставлю всё как есть, только щёки побрею.

В модуле stem для ПХП обнаружилась неожиданная проблема. Этот модуль — стеммер, позволяющий обрезать окончания слов для того, чтобы искать потом по тексту без учёта падежей и склонений.

Для русского языка в нём целых две функции — для кодировки КОИ-8 и УТФ-8. Наш код работает в КС1251, потому для стеммера мы перегоняем текст в УТФ-8.

Я обратил внимание, что из командной строки код с этим модулем работает нормально, а в рабочем проекте кодировка портится — как будто стеммер где-то внутри себя рассматривает УТФ-8 как однобайтовую русскую кодировку и приводит её к нижнему регистру.

У меня возникла мысль, что дело в выставляемой локали, мы провели эксперимент — так и есть, дело в этом. Такой код работать правильно не будет:

setlocale(LC_TIME, 'ru_RU.cp1251');
echo stem_russian_unicode(iconv('windows-1251', 'utf-8', 'Приветы'));

Кодировка получится битой. Перед вызовом функций стеммера нужно переставлять кодировку (setlocale) в УТФ-8. Ошибочное место в модуле ищется элементарно:

// файл stem.c
     php_strtolower(z->p, arglen); // ← вот искомый вызов
     stem(z);
     z->p[z->l]= '\0';

// … ищем эту функцию в исходниках PHP…
// string.c из PHP
    PHPAPI char* php_strtolower(char * s, size_t len) {
        unsigned char *c, *e;

        c = (unsigned char *)s;
        e = c+len;

        while (c < e) {
            *c = tolower(*c); // ← а это проблемное место
            c++;
        }
         return s;
    }

Согласно манам, функция tolower ориентируется в своей работе на локаль, в этом и проблема.

Вчера был на станции метро Царицыно в Москве, посмотрите как работники метрополитена решают проблему «зайцев», прыгающих через турникеты. Я так же вчера был ещё на нескольких станциях (Комсомольская, Новые Черёмушки, Парк Культуры), более такой модификации турникета нигде не видел.

Тут у меня много читателей, которые знают, что я часто летаю по маршруту Казань—Москва. Думаю, надо сообшить, что на сегодняшнем рейсе авиакомпании «Татарстан» (У9-363) меня не было. Я, как и многие сотрудники нашей компании, стараемся не летать самолётами этой авиакомпании.

Есть версия ошибки экипажа, самолёт разбился на третьей попытке посадки (ударился носом о землю), примерно в 19:35, на борту было 50 человек — 44 пассажира и 6 человек экипажа, все погибли. Известен бортовой номер — VQ-BBN, судну было 23,5 года.



Командиром был Рустам Салихов, летчик, совсем недавно введенный в командиры воздушного судна.

На сайте авиакомпании уже опубликован предварительный список зарегистрировавшихся на рейс.

Фотография Дмитрия Баландина.

Боже мой, сейчас написали ребята из «Яндекса». Там состоялось эпохальное событие — несколько часов назад последним коммитом из кода внутренней вики «Яндекса» удалён последний код на ПХП. Внутренняя вики «Яндекса» была основана на движке «ВаккоВики» и была полностью написана на ПХП. Несколько лет назад мы с Сашей Покатиловым начали процесс постепенного переписывания её на Пайтон, причём прямо на живой системе — части на Пайтоне и ПХП общались друг с другом по обычному протоколу HTTP, очень хитрая получалась штука. Я помню как мы неделю провели в Симферополе — ребята из тамошнего офиса «Яндекса» писали спецификацию на синтаксис вики-разметки, чтобы повторить парсер на Пайтоне и мы потом вносили в неё правки. Вообще, много интересного было, много сложностей.

И вот этот титанический труд закончен. Ребята, поздравляю, это круто!

Сегодня таксист выдал абсолют веры во всё натуральное.

С утра у нас дождь и, как всегда при такой погоде, затруднено движение, куча ДТП. Для меня это удивительно, не понимаю почему лёгкий дождик так влияет на дорожную обстановку, своим удивлением не преминул поделиться с таксистом.

Узнал много нового. Оказывается во время Универсиады положили какой-то иной, неправильный асфальт, тормозить на нём в дождь трудно. Что, по мнению таксиста неудивительно, так как асфальт, видите ли… синтетический.

Поддельные ёлочные игрушки. Выглядят как настоящие, но не радуют.

Есть такой хороший сайт — «Жертвы политического террора в СССР». Если я слышу рассказы родственников о репрессиях (да, у меня большинство предков — крестьяне, но часто они были зажиточными), я иду на этот сайт и пытаюсь найти какие-то упоминания там.

Сегодня решил этот процесс чуточку автоматизировать — поискал Гуглом два села из которых у меня много родственников — Старая и Новая Письмянки, потом скачал простым скриптом полученные страницы. Кстати, «wget» срабатывает только при условии наличия двух определённых параметров, что-то типа такого:

wget -U "Firefox/3.0.15" -e robots=off ваш-урл

Скачал те урлы, на которые указал Гугл:

grep -hoE 'lists.memo.ru/d[^.]+\.htm' * | sort -u | xargs -n1 wget

и выделил из них все фамилии, рядом с которыми встречалось слово «Письмянка»:

iconv -f cp1251 -t utf8 * | grep -B3 'Письмянка' | sed -nE '/"n[0-9]+"/ {s/<[^>]+>//g;p;}' | sort -u

Получилось 282 строки, потом простым грепом выделил фамилии родственников, проживавших в этой местности: Земсковы, Ануфриевы (у меня есть Онуфриевы), Макридины (так же попался один Микридин — очевидная опечатка) и Евдокимовы.

После чего сел выяснять нет ли у меня в дереве кого-то похожего. Нашёл пять чётких совпадений (совпадают ФИО и год рождения ± пара лет) и два предполагаемых — найденные вполне тянут на сыновей одного из братьев моего прямого предка.

Больше всего пострадали Макридины, правда не прямые мои родственники, а боковая ветвь, приговорили целую семью — родителей и сына, теперь стала известна часть их судьбы. Например, Макридин Николай Митрофанович отправился на Беломор-Балтийский канал, бежал, был расстрелян 5 июля 1938, похоронен в Карелии, вблизи станции Медвежья Гора.

Из прямых родственников нет никого, но дополнительная информация никогда не помешает — иногда части дерева строятся на гипотезах, каждая новая информация их подтвержает. Вообще, чем дальше в архив, тем больше сомнений, ведь точных сведений нет, всё держится на подборе дат, имён и отчеств, особенно в моём случае — у крестьян с фамилиями туго.

Сейчас дерево, на мой взгляд, выстроено на твёрдых фактах, но кто знает — не всплывёт ли что-то, что пошатнёт мою уверенность, проверить по всем источникам очень полезно.

Я тут последний месяц сильно занят проектом на работе, он занимает всё моё время — выходные, вечера, каждую свободную минуту. Очень много проблем, требуются сверхусилия, чтобы его завершить.

Тут не до личных проектов и, в частности, не до спортзала. Я уже давненько сделал паузу в занятиях спортом и она грозила стать перманентной. Решил что-то с этим сделать и купил хороший турник.

«Поддержал российского производителя», купил турник местного производства, кстати, если вы из Казани и у вас те же проблемы, что и у меня, рекомендую — смело заказывайте. Качество отличное, всё в наличии, за 500 рублей они вам его ещё и установят.

Турник вешается в двух положениях — посмотрите крючки на фото, в таком положении на нём подтягиваются, а если повесить так, чтобы нижние ручки смотрели вперёд — то отжимаются, как на брусьях, либо качают пресс. Я пока, в основном, только отжимаюсь, зато по многу подходов за день.

Сначала всё было очень плачевно — я еле-еле подтягивался четыре раза, за пару недель довёл до 11 раз, сейчас прогресс уже не такой бойкий, но за последнюю неделю я довёл уже до 12. Поставил себе цель — довести до 20. Буду стараться.

Очередным комментарием навеяло. Ребят, вы когда мне в комментариях даёте ссылку на ЖЖ Тёмы Лебедева, где написано что он ещё ненавидит из того что я люблю, вы зачем это делаете? Я уважаю Артемия Андреевича как профессионала, на него надо равняться, он молодец. Увы, непосредственно у него учиться трудно — человек он не публичный, тихий, застенчивый ботан. Есть редкие полезные посты в ЖЖ, высказывания в «Линче», «Ководство», опосредованно можно смотреть на то что и как делает его студия.

ЖЖ Тёмы — по большей части бесполезная помойка, вроде «Воффки.ком», «Пикабу» и прочего. Это его виртуал — развязный типчик, читать которого всерьёз нельзя, можно только надеяться рассмотреть в этой горе навоза пару алмазов (что случается, поэтому я его читаю).

Но, ребят, всерьёз давать мне ссылку на эту помойку, ну вы чего?

Все сайты для работы с деревьями рода — полная ерунда. Такое ощущение, что те, кто их делают, вообще ими не пользуются. С трудом удерживаюсь, чтобы не начать постоянно писать про то как надо делать.

Сегодня не удержался.

Одна из вещей, которых нет — работа с местностью. Как правило, люди жили в сёлах семьями и поколениями. Расписать их по группам, с указанием в каких архивах что искать, когда родились те или иные люди, кем приходились, в каких архивах по ним что есть — никто такого не предлагает.

А видеть это нужно. У меня в дереве почти 2000 человек и, конечно, я путаюсь. Даже в ближайших ветках. В каких архивах уже проводилась работа и по каким людям? Забывается. Быстро окинуть взглядом — невозможно.

Я в выходные примерно за час накидал прототип (на скриншоте) как бы это могло выглядеть. Ему ещё далековато до того, что мне нужно, но уже похоже на требуемое и даже это уже облегчает положение.

Линия времени строится на основе такой конфигурации (это реальный конфиг):

[Старая Письмянка]

1834, 1850, 1858: Самарский архив
1859: Архив мэрии Тольятти (Фонд 48, оп. 1, д.1)
1861-1864, 1866, 1871-1916: Нацархив Татарстана

-1825: Гордей Меркулов
-1840: Феодор Емельянович Евдокимов
-1842: Феодор Иванович Старостин
-1844: Евдоким Гордеевич Меркулов
-1848: Пелагея Артемьевна Меркулова
-1870: Николай Феодорович Старостин
-1870: Василий Феодорович Евдокимов
-1872: Анастасия Евдокимовна Старостина (Меркулова)
-1872: Параскева Козьминична Евдокимова (Онуфриева)
-1904: Анна Васильевна Старостина (Евдокимова)
-1904: Феодор Николаевич Старостин

Слева на линию накладываются люди (у них года с отрицательным знаком, легко запомнить, ведь отрицательные числа на оси слева), справа — архивы, в которых есть информация об этом селе.

Тут ещё работать и работать, но мне, по правде, уже хочется остановиться. Начинать такой большой проект без хорошего дизайнера интерфейсов мне не под силу. Например, этот интерфейс очевидно плох — с первого взгляда, без описания неясно что происходит.