От Колмогорова к Максвеллу, Лапласу, Байесу

Добрый день.

Вот и пришло время для обещанной ранее заметки о поисках выходов за рамки классической теории вероятностей. Эта заметка возникла в результате переписки с читателем, многим известным по регулярным содержательным комментариям на страницах блога. Например, в комментариях к последней заметке о многомерных сферах и кубах Артур Бараов поддержал предложенную мною игру в дополнение текста (помните, я оставлял квадратные скобки, чтобы потом заменить их на ваши версии ответов?). Он написал достаточно краткий, но при этом вполне ясный поясняющий текст. Сегодня с его подачи мы поговорим о вероятностях.

Но сперва я бы хотел обратить внимание на статью Александра Привалова «О границах дискуссии». На мой взгляд, проблема монополии на концепцию очень важна, так как, например, совсем неинтересно влиять на решение, в виде котлеты или гуляша быть съеденным, а хотелось бы полностью уйти от идеи людоедства.

А теперь я передаю слово Артуру.

Адекватное раскрытие темы, подразумеваемой таким провокационным названием, потребовало бы целого трактата. Но наши цели здесь гораздо скромнее:

• обратить внимание на важный факт, что есть как минимум два понятия вероятности (соответственно, можно говорить о двух разных теориях вероятностей).
• и разница между различными понятиями вероятности, и разница между основанными на этих понятиях теориями гораздо шире и глубже, чем может показаться с первого взгляда.

Одна теория, которая ассоциируется с именем Колмогорова, основана на достаточно узком и ограниченном понимании вероятности, как частоты повторяющихся событий; она является замкнутой и чисто математической теорией. Другая теория, которая ассоциируется с такими именами как Байес, Лаплас и Максвелл, основана на очень широком понимании вероятности, как степени достоверности умозаключений любого характера; она является открытой логической теорией познания.

В теории Колмогорова рассматриваются только так называемые прямые задачи, где вероятности всех элементарных событий просто по определению равны между собой (или заданы, например, как результат каких-то повторяющихся экспериментов). В теории же вероятностей, как логической теории познания, главной целью считается решение так называемых обратных задач. Есть набор фактов, свидетельских показаний, экспериментальных наблюдений и так далее, а требуется оценить достоверность всевозможных гипотез, которые теоретически могли вызвать к жизни этот набор наблюдаемых событий. Другими словами, по характеру, практической важности и разнообразию решаемых задач «частотная» теория вероятностей является детской игрушкой, если сравнивать её с «логической» теорией вероятностей.

Вот почему теорема Байеса рассматривается в качестве инструмента познания, а не просто как формула для решения прямых задач теории вероятностей. Вот почему, по меткому выражению Лапласа «теория вероятностей есть ни что иное, как здравый смысл, сведенный к расчёту».

Мысль, которую мы пытаемся здесь передать, наиболее выпукло была выражена в 1850 году основателем классической электродинамики Максвеллом в его письме к Льюису Кэмпбеллу:

«Я сегодня размышлял о функциях познавательной способности человека. По общепринятому мнению, эти функции подвластны воле, а воля управляет познанием посредством контроля внимания. Говорят, что понимание должно вырабатываться согласно правилам правильного суждения. Эти правила содержатся или должны содержаться в логике; но в настоящее время логика как наука имеет дело только с утверждениями, которые являются несомненными, невозможными или полностью неопределенными, т. е. с вещами, которых (к счастью) у нас практически никогда не бывает, чтобы делать выводы на их основе. Следовательно, настоящая логика этого мира — это исчисление вероятностей, дающее величину вероятности, которая есть, или должна быть в уме разумного человека.

Эта ветвь математики ассоциируется с азартными играми, игрой в кости и заключением пари, поэтому считается в высшей степени аморальной. На самом деле она является чуть ли не единственной «математикой для практичных людей», каковыми мы и должны быть. Теперь, поскольку человеческое знание достигается посредством чувств таким образом, что существование внешнего мира может быть не более чем логическим выводом на основе не противоречащих друг другу (необязательно подобных) свидетельств различных чувств, понимание, действуя согласно законам правильного суждения, приписывает различным правдам (фактам, или свидетельствам, или как их еще мне называть) различные степени вероятности. Теперь, поскольку чувства доставляют нам непрерывный поток всё новых впечатлений, и поскольку никто никогда еще не обнаружил в них серьезных противоречий, то ясно, что степень доверия к показаниям чувств будет расти изо дня в день, и чем больше человек пользуется этими показаниями, тем больше он им верит. Он верит этим показаниям. А что значить верить? Когда в уме человека есть вероятность (лучшего слова пока не придумали) того, что некое умозаключение скорее верно, чем неверно, то он верит в это в прямой пропорции с той верой, которая соответствует этой вероятности. А эта вероятность может расти или падать в зависимости от новых фактов. Когда человек думает, что у него есть достаточно свидетельств в пользу некоторого суждения, он иногда отказывается рассматривать любые дополнительные свидетельства за или против, говоря, «Этот вопрос разрешен, он не нуждается в свидетельствах, это истина». Это уже знание, а не вера. Он говорит: «Я не верю; я знаю».

Если кто-то думает, что он знает что-то абсолютно достоверно, он ничего не знает, как ему следовало бы знать. Подобное знание равносильно затыканию ушей ко всем аргументам и фактам, и оно ничем по существу не отличается от «слепой веры». Не следует путать эту веру с «детской верой», поскольку дети вовсе не верят слепо, а открывают для себя, гораздо раньше, чем многие думают, что взрослые часто врут.»

Мысль, выраженная в общей и абстрактной форме, обычно трудно переваривается. Поэтому давайте в следующей заметке рассмотрим конкретный пример, где мы сможем буквально почувствовать глубинную разницу между классической теорией вероятностей и теорией вероятностей, как логики познания.

На всякий случай напомню, о задачах какого типа идёт речь:
- Парадокс двух конвертов (вопрос в том, можем ли мы что-то сделать, не зная, как устроено распределение возможных сумм),
- N шкатулок, неизвестное количество призов (вопрос в том, правильно ли игрок отвечает ведущему на первый вопрос, говоря следующее: «Я не знаю, потому что не имею никакой информации о количестве призов в этих шкатулках»).

Приглашаю в комментарии людей, которые уже сталкивались с ограничениями классической теории вероятностей или сталкивались с разговорами о возможности или невозможности её расширения.