Чем смотрят логи многопоточных приложений?

Добрый день.

Хорошей программы для просмотра логов мне пока найти не удалось. Иногда чешутся руки написать свою, но позвать grep оказывается гораздо быстрее. Видимо, это одна из причин, почему подобных программ мало и они умеют не совсем то, что лично мне в данный момент требуется. Иногда попадаются вроде бы достаточно продуманные системы подсветки нужных ключевых слов, фильтрации подстрок, которые ещё и позволяют быстро сохранять профили (чтобы при последующем открытии логов с той же целью быстро настроить систему под тот же режим), но как же они тормозят... Или не умеют на растущем файле жить, что тоже делает работу почти невозможной. Да, grep выигрывает с большим отрывом. (ругань в сторону: вот если я попросил «покрасить подстроку 'not created' красненьким», то зачем это начинать делать с самого начала полугигабайтного файла, если я смотрю на его последние строчки? перекрась мне сперва текущий экран, а уже потом занимайся чем хочешь)

Но ещё не всё так плохо, как будет вот-вот: теперь надо повозиться с логами многопоточного приложения. Имеем те же радости: сотни мегабайт, в которых ищем одну единственную важную букву, но теперь в них ещё и строчки каждый раз новым образом перемешаны. Выглядит это, например, так (сначала имя потока, потом текущее время, далее сообщение):

Thread0 001 Message00
Thread1 002 Message10
Thread0 005 Message01
Thread1 006 Message11
Thread0 007 Message03
Thread1 008 Message12
Thread0 017 Message04

Читать это всё вполне легко, столбец времени фильтруется запросто, жизнь прекрасна. Но вот у нас есть два лога, которые надо сравнить. Второй выглядит, например, так:

Thread0 001 Message00
Thread0 003 Message01
Thread1 006 Message10
Thread1 007 Message11
Thread1 008 Message12
Thread0 007 Message03
Thread0 017 Message04

Легко видеть, что не поменялось ничего, просто так распорядилась судьба, что в этот раз Thread1 успел выдать три сообщения подряд. Мне надо сравнивать эти два файла, не замечая подобных перестановок строк (естественно, замечая всё остальное). Что значит «не замечая»? Например, когда вы средствами какого-нибудь KDiff3 сравниваете два почти одинаковых файла, то программа обращает ваше внимание на изменившиеся строки, а одинаковые (или одинаковые с точностью до замены табов на пробелы и т.д.) игнорирует. Вот хочется как-то так. Вам попадались средства для решения этой задачи? Было удобно? На каких объёмах файлов?

Хорошего дня!

(о других хороших программах мы говорили в записи Три программы для удобной работы)

Саша Грей и штангисты

Добрый день.

Из нескольких утюгов мне рассказали, что Александра Грей, участвующая в музыкальной группе aTelecine, а также известная своим творчеством в сфере кинематографа, моды и музыки, пользуется огромной популярностью в народе: её и центральные телеканалы в популярных передачах демонстрировали, и в жёлтых Калинах по России катали, и её встречи с людьми в крупных городах организовывали.

И я осознал, что совершенно не понимаю этого. Нет, я верю, что почти у любого направления могут найтись тысячи сторонников, которые будут приходить на встречи, чтобы ярко демонстрировать свою приверженность. Но тут всё выглядит так, как будто этих сторонников не тысячи, а миллионы. Как так-то? Я же легко могу посмотреть примеры её творчества! И сразу должен сказать, что у меня нет позиции «порнография — это плохо». Но вот мне говорят, что Саша Грей — яркий представитель этой индустрии, а я не могу толком представить, как это может быть правдой.

Как может так быть, что многих радует, что... Даже не радует, а считается допустимым и нормальным процесс, при котором в глазах девушки совершенно однозначно читается мысль «Ну ничего, скоро это кончится, а пока надо просто отключиться и потерпеть»? С одной стороны, это можно назвать её осознанным выбором, но с другой стороны я склонен скорее считать её жертвой обстоятельств, которая совершила над собой работу, чтобы убедить себя в правильности этого выбора (без такой внутренней работы было бы совсем тяжело).

Я понимаю, почему это теоретически кому-то может нравиться — людей уже так много, что можно среди них найти любое отклонение. Но похоже, что ни о каком отклонении мы тут не говорим, так как это у нас такая норма. И вот это у меня как раз плохо укладывается в голове.

Примерно такие же глаза я наблюдаю у штангистов. Эх, я искренне не хочу одной этой записью обижать сразу две категории людей (и фанатов Саши Грей, и штангистов). Будем надеяться, что меня достаточно правильно поймут — я не хочу кого-либо тут обидеть. Но вернёмся к штангистам: глядя в глаза этих спортсменов на соревнованиях, особенно прямо перед выполнением упражнения, я вижу в них мысль «так много здоровья уже на это угробил, что сейчас было бы глупо остановиться — надо отключиться и потерпеть». Кстати, обе обсуждаемые категории объединяет мысль «у меня остались считанные месяцы, пока я лучше и моложе конкурентов, после этого карьера прекратится (а здоровье не вернётся)».

Ладно, я понимаю, что тот же волейбол тоже можно отнести к вредным для здоровья занятиям, как и любой вид спорта. В этом смысле, я признаю, что упоминание тут именно штангистов основано лишь на моём ограниченном жизненном опыте (просто на соревнованиях по другим видам спорта я видел хоть какую-то жизнерадостность участников).

Но эта аналогия позволяет нам легко сформулировать ту же мысль про порнографию: существуют ведь жанры, характерные жизнерадостностью всех участников — и именно они вроде бы должны быть популярны и востребованы большинством. Я не специалист, поэтому ни ярких представителей, ни названий жанров перечислить не смогу, но такое точно бывает. И вроде бы именно бывшие актрисы из этого направления должны проезжать через всю Россию с востока на запад.

А теперь вопрос: Вы понимаете моё недоумение по поводу популярности Саши Грей? Разделяете его? Если нет, то можете объяснить, что я не так вижу? Выборка роликов была неудачной? Или что?

Хорошего дня!

Седьмой год!

Добрый день!

Блог «Привычка не думать» недавно тихо отметил свои первые полтора миллиона просмотров страниц (сейчас статистика Google сообщает о 1710417 просмотрах), а сегодня громко отпразднует семилетие. За это время опубликовано 537 заметок и получено 10285 комментариев (не считая спама).

А кто читает?

Состав читателей по странам:
- Россия — 67%,
- Украина — 13%,
- Белоруссия — 5%,
- США — 4%,
- Казахстан — 3%,
- Германия — 3%,
- Латвия — 0.8%,
- Молдавия — 0.5%,
- Израиль — 0.5%,
- Франция — 0.5%,
- Великобритания — 0.5%.

Состав по полу и возрастам:
- Мужчины 18-24 — 16%
- Мужчины 25-34 — 15%
- Мужчины младше 18 — 14%
- Женщины 25-34 — 10%
- Мужчины 35-44 — 9%
- Женщины младше 18 — 8%
- Женщины 18-24 — 7.5%
- Женщины 35-44 — 7%
- Мужчины старше 45 — 6%
- Женщины старше 45 — 5%

Состав по браузерам (вроде бы технический момент, но иногда достаточно информативный):
- Chrome — 49%
- Firefox — 15%
- Opera — 12%
- Safari — 6%
- Internet Explorer — 3%

Что читают? Самые популярные записи за семь лет:
- Как взрослому освоить велосипед?,
- Тся-ться пиши через "я"!,
- Терминал D аэропорта Шереметьево,
- 36.6 - температура здорового человека,
- Пластиковые окна с форточкой,
- Мойка воздуха = увлажнитель + очиститель,
- Чтобы или что бы? Также и так же? Тоже или то же?,
- Вирусы на флешках,
- Прямоугольный треугольник,
- Сохранение энергии.

Это был непростой год. И никто не обещает, что следующий будет легче. К счастью, не только мир иногда показывает нам свою сложную грань, но и мы умеем становиться сильнее. Будет трудно (это от нас не зависит), но интересно (вот за это только мы сами отвечаем). Спасибо вам всем за поддержку, за интересные письма и комментарии, за идеи и советы!

Хорошего вам здоровья и настроения! Пусть всё получается!

Интересное в феврале 2011

Добрый день!

Во-первых, если вы давно не заходили на страничку для экспорта своих данных из gmail и других сервисов Google, то рекомендую это сделать. В суеверия я не верю, но это не мешает им иногда срабатывать (см. про потерю доменов, аккаунтов разработчиков и честно заработанных денег; хорошо хоть платёжные системы решили не блокировать чужие средства, а предоставили механизмы их вывода). Идёт экономическое противостояние, которое я совершенно не хочу сейчас подробно обсуждать, но в котором легко можно напрасно и нелепо потерять всю свою переписку за много лет. Лучше лишний раз зря сохраниться, чем через неделю сожалеть, что поленился сделать это.

А во-вторых, сегодня мы возвращаемся к давней традиции вспоминать, что же было когда-то давно. Дошла очередь и до февраля 2011 года (идём уже с отставанием в 4 года, но это нормально):

- мы обсудили «задачу Менделеева-Пуассона» о переливаниях;

- проанализировали результаты опроса про Мартина Гарднера (кстати, если хотите порефлексировать на эту тему, то очень рекомендую перевод недавней хорошей подборки по поводу его столетия);

- и ещё обсудили нужность людей-переводчиков для эффективности почти чего угодно, а также разобрались с одной карточной игрой (именно через перевод её на другой язык, что существенно, пусть для математиков вполне обыденно).

Хорошего дня!

Запись о заметках прошлых месяцев стала традиционной, поэтому перечислю предыдущие выпуски: интересное в январе 2011 года, декабре, ноябре, сентябре-октябре, августе, интересное в июле, июне, мае, интересное в апреле, марте, феврале, январе 2010 года, интересное в декабре, интересное в ноябре, интересное в октябре, сентябре, августе, июле, июне, мае, апреле, марте, феврале, январе 2009 года, интересное в декабре, ноябре, октябре, сентябре, августе, июле и июне, интересное в первые три месяца жизни блога.

С днём студента, не попадайте в муравьеворот!

Если вы имеете отношение к МГУ, то помните, что он образован 260 лет назад, из-за чего, вероятно, ощущаете юбилейную радость. Но и если вы обучаете студентов, когда-то были или являетесь студентом, скоро станете студентом или хотя бы видели человека, который где-то про студентов слышал, то поздравляю вас Татьяниным днём!

А теперь к делу:
- ложными аналогиями можно создать забавные иллюзии (см. пример про кризис), чем мы сейчас займёмся,
- но не надо видеть проблему только в манипуляторе, ведь мозг так смешно устроен, что и сам себя прекрасно обманывает,
- мы даже памяти своей не должны бы доверять (см. «Что-то с памятью моей стало» или «A mass experiment in altering political memories»).

К чему это всё? О каком муравьевороте речь?

Если смотреть на людей под определённым углом, то можно увидеть большую ораву слепых муравьёв. Каждый занимается своим делом, имеет мнение, принимает или отрицает чьи-либо права и обязанности, воспитывает, учится и другими способами влияет на других и управляется другими. Кстати, если ещё чуть-чуть сместить точку сборки, то можно обнаружить, что нередко это всё выглядит примерно так:



Но поскольку изнутри системы разобраться в системе крайне сложно, то мы как правило остаёмся слепыми (и хорошо ещё, если хотя бы в малой степени осознаём это). Ну а действовать всё равно как-то надо. И даже кажется, что иногда проще это делать, не видя муравьеворота вокруг. И вот мы действуем: гоняемся за любознательными козлятами, недоумеваем, когда происходит ровно то, что должно было произойти... Занимаемся своими обычными делами.

А ведь вполне может быть (да кого я обманываю? именно так и есть), что мы бегаем по кругу за такими же слепыми муравьями, пока не растратим всю энергию на это жутко нужное дело. Рекомендую найти время на минутное невнятное видеообъяснение — https://www.youtube.com/watch?v=prjhQcqiGQc#t=19s. Если хочется чуть подробнее, то есть ещё википедия.

Иногда большая группа людей совершает фантастическую глупость (во всяком случае, их потомки, разобравшись, с пониманием к этому постыдному эпизоду не относятся), потому что «что-то всех переклинило». В самом деле, раз один человек запросто творит ерунду (кто разговаривал с отдавшими все свои сбережения цыганам после считанных десяти минут общения с теми, тот в дееспособность большинства людей вообще не верит), то и группа людей не всегда успевает успешно контролировать своё коллективное безумие. И вот эта группа начинает бегать, при этом все довольны и даже иногда рычат.

Почему так бывает и что делать? Естественно, вакцины не будет, но кое-что предложу. Есть такой взгляд, что спираль смерти у муравьёв возникает из-за того, что им не хватает памяти. Мол, слишком много в неё приходится запихнуть в процессе ведущейся деятельности, что приводит к сбоям (сбои бывают и у систем с огромной памятью и вычислительной мощностью, что, кстати, иногда может привести к случайной победе, но радоваться тут почти нечему). Поэтому, учитывая упомянутые в начале этой заметки соображения про общую чахлость наших мозгов и ненадёжность памяти, кажется разумным предложить вести дневник.

Если вы ведёте блог и иногда перечитываете старые записи, то, возможно, задавались естественным вопросом из серии «Каким идиотом нужно было быть, чтобы вот это написать?» Схожие ощущения можно получить при прослушивание записей собственного голоса или просмотре видеозаписей со своим участием, только свой текст читать ещё тяжелее (и полезнее, поэтому здесь существует рубрика лучшее). Но ведение блога в малой степени снижает остроту проблемы, ведь есть личные или вроде бы незначительные моменты, про которые никому не станешь писать. Вот их и надо помещать в дневник. И перечитывать, что думал год/пять/пятнадцать лет назад. Возможно, на следующем обороте это позволит хотя бы обнаружить, что сбой был (мозг хитрый, он прячет от нас следы таких эпизодов). И тогда есть шанс заметить только что пройденный круг. Если повезёт, то удастся даже свернуть с проторенной круговой дорожки, чтобы попробовать найти путь к муравейнику.

А вы ведёте дневник? Давно? Сколько раз возобновляли?

Хорошей вам следующей недели!

Предиктивный набор номера

Бывает так, что придумал что-то, но не знаешь, как оно должно называться. Понимание сути вроде бы есть, но никак не удаётся найти такое же в интернете по вроде бы вменяемым запросам. В данном случае повезло — мне случайно попался телефон, который умеет ровно то, что необходимо, поэтому удалось выяснить, что называется эта функция «предиктивным вводом номера». Тем, кто использует телефон для совершения звонков, а не для кидания птиц в свиней, эта функциональность должна очень экономить время и нервы.

Как мы звоним обычно, например, Алексею Иванову? Как-то так:
1) Разблокировали телефон,
2) Нажали «Записная книжка»,
3) Нажали «2444433», чтобы увидеть сокрашённый список контактов с подстрокой «але» (т.е. Алексеи и Александры преимущественно),
4) Оценили, что набирать его популярное имя целиком, чтобы перейти к вводу не менее популярной фамилии — дело достаточно долгое (пришлось бы набрать следующую последовательность: «444663344»), поэтому решаем двигаться стрелочками вниз и вверх, чтобы скорее долистать до нужного контакта.

Итого, примерно за полтора десятка нажатий кнопок мы совершили нужный звонок. Это не слишком много, можно и потерпеть, если нет нормальных альтернатив. Но они, оказывается, есть! Итак, как мы выполняем ту же задачу, имея предиктивный набор номеров?
1) Разблокировали телефон,
2) Набрали сразу короткое «243» (это чтобы мгновенно попасть в состояние после пункта (3) из предыдущего подхода) — ведь специально для нас сформировался список всех строк записной книжки, которые содержат подстроку, которую можно собрать из букв, находящихся на второй, четвёртой и третьей кнопках, соответственно.
3) И в этом списке можно теми же кнопочками вверх и вниз добежать до нужного Алексея Иванова, а если список всё ещё слишком длинный, то достаточно набрать ещё несколько цифр («463»), чтобы отсеять ещё и Александров из получившегося списка.

Вроде бы сэкономили мы всего один пункт (открытие записной книжки), но на самом деле мы очень разгрузили свои пальцы и голову: не надо набирать длинную последовательность цифр, не надо помнить, какой по порядку идёт буква «л» на кнопке «4» — всё получается заметно быстрее и проще. Кстати, в случае с сенсорными экранами такое тоже иногда используется (диалер смартфона часто оказывается более удобным, чем честная клавиатура записной книжки, так как в крупные кнопки с цифрами проще попасть, чем в маленькие кнопочки с буквами, см. начало поясняющего ролика про RapDialer).

Но почему-то в сети про эту функциональность почти не написано ни по-русски, ни по-английски. Мне не удалось даже найти поясняющего видео про кнопочный телефон, а ведь с ним этот текст был бы куда понятнее. Я даже не знаю, как выяснить, встроена ли в телефон-кандидат данная возможность (про предиктивный ввод-то почти у всех моделей пишут, но обычно это означает поддержку Т9 при вводе текста сообщений), поэтому всё приходится проверять в салоне, что требует времени. Поэтому давайте в комментариях к этой заметке составим список моделей, поддерживающих предиктивный набор номеров, если знаете такие (или покажите, пожалуйста, ссылку на подобный список). А я потом помещу всю информацию из этих комментариев в текст заметки, потому что уверен, что он многим пригодится. Заранее благодарю.

Ну а недавняя задачка про двоичные матрички уже кратко разобрана на сайте IBM (и я не рекомендую ходить по этой ссылке, чтобы не лишать себя возможности решить её самостоятельно), но есть и неплохо с ней связанное продолжение — про японские кроссворды, которое тоже рекомендую.

Хорошего дня!

Что хорошо в нынешнем КВН?

Добрый праздничный день!

Год переполнен событиями, среди них есть хорошие, есть перспективные и многообещающие, но хватает и разных — не будем сейчас о них. Давайте лучше чуть-чуть поговорим о веселье и формах расслабления, ведь отдыхать тоже надо.

У меня редко получается радостно окунуться в КВН, потому что и времени мало, и раздражает он как-то быстро (или это признак наступающей старости?). Но за последние годы три команды смогли обратить на себя внимание. Думаю, анализируя особенности команд КВН, которые нравятся пациенту, можно многое о нём понять (тут ещё есть).

Вот мой набор (в скобках ссылки на некоторые примеры):
1) Фёдор Двинятин (видео),
2) Кефир (видео),
3) Мурманск (видео).

Если не боитесь, что про ваши детские комплексы все всё поймут, поделитесь, пожалуйста, своим списком интересных команд. А если вам тоже нравится мой выбор команд, то покажите на другие команды, которые вызывают у вас схожие эмоции. Заранее благодарю.

Хорошего Нового года! Тёплого общения с близкими! Надеюсь, вы прочитали это сообщение в 2015 году, а ещё лучше — на 2-3 неделе января :) Если будет скучно на длинных выходных, то предлагаю добить задачку «про немагические прямоугольники».