Эмпирическая вероятность

image

(кадр из телешоу Монти-Холла: гость не сумел правильно подсчитать вероятности, поэтому вместо автомобиля выиграл удивленную ламу)

Давайте обсудим, что мы имеем ввиду, когда произносим слово "вероятность". Я прошу вас попытаться ответить на этот вопрос не с позиции студента или «чистого» математика, а так, как его должны понимать инженер, прикладной исследователь или любой другой человек, которому предстоит принять решение на основании эмпирических данных.

Наивный подход

Что касается лично меня, то, например, высказывание:«симметричная монетка с 50%-ной вероятностью падает вверх орлом», я понимаю следующим образом:

«Если подбросить монетку много раз, то примерно в половине случае она упадет так, что орел окажется сверху».

Говоря точнее, я обычно использую упрощенное правило «шести сигм», согласно которому в серии, например, из 100 подбрасываний количество выпавших орлов будет определятся формулой:

$100astfrac{1}{2}pmsqrt{100astfrac{1}{2}astleft(1-frac{1}{2}right)}$

то есть лежать между 35 и 65.

Вне всякого сомнения, мое утверждение содержит логическую ошибку и теоретически по результатам опыта количество орлов может оказаться как меньше 35-ти, так и больше, чем 65. Однако, если на практике в первых же ста подбрасываниях число орлов действительно выйдет за указанные границы, я очень сильно удивлюсь такому обстоятельству.

Точка зрения академической науки

Противоречия и ошибки — это не очень хорошо, даже если они появляются редко. Быть может существует какой-то лучший способ придать понятию вероятности смысл, способ, лишенный логических ошибок и не вступающий в противоречие с опытом? Обратимся за советом к точной науке — попытаемся вспомнить университетский курс!

Если ограничиться случаями, когда в эксперименте имеется только конечное число возможных исходов, то согласно традиционным университетским курсам понятие вероятности будет сводится к приписыванию каждому такому исходу некоторого неотрицательного веса, и дополнительному требованию, чтобы сумма всех весов равнялась единице.

Представленная в таком виде, теория вероятности действительно оказывается свободной от противоречий (имеет модель) и позволяет формально доказать много интересных результатов, вроде Закона больших чисел или Центральной предельной теоремы. Однако для экспериментатора все эти результаты остаются чисто формальными и не имеющими никакого смысла до тех пор, пока он не ответит на следующие вопросы:

  1. Как правильно выбрать веса для исходов конкретного эксперимента?
  2. Если веса приписаны неправильно, можно ли это понять из наблюдений?
  3. Если веса приписаны правильно, какие предсказания можно сделать относительно будущих опытов?

Абстрактные теории

На этом месте я бы хотел остановиться и сделать небольшую ремарку по поводу абстрактных теорий в их современном понимании. По мнению «чистых» математиков чтобы создать абстрактную теорию (первого порядка), вам достаточно выполнить три действия:

  • Зарезервировать слова (цепочки символов), которые будут обозначать формальные переменные

  • Зарезервировать слова, которые будут обозначать (одно-, двух-, трех-… местные) формальные отношения между формальными переменными
  • Используя формальные отношения между формальными переменными в качестве атомарных высказываний, выписать любое количество логических формул, которые будут служит формальными аксиомами вашей абстрактной теории

Давайте я приведу простой пример.

Зарезервируем все маленькие буквы латинского алфавита в качестве имен формальных переменных.

Зарезервируем два слова: «является_прямой» и «является_точкой» — для одноместных формальных отношений и еще два слова: «принадлежит» и «совпадает_с» — для двуместных отношений нашей теории.

В качестве аксиом возьмем такие логические высказывания:

i) Для всех a, b: если [a является_прямой] и [b является_прямой] и не-[a совпадает_с b], то существует d такая, что: [d является_точкой] и [d принадлежит a] и [d принадлежит b] и (для всякого c: если [c является_точкой] и [c принадлежит a] и [c принадлежит b], то [c совпадает_с d])

ii) Для всех a, b: если [a является_точкой] и [b является_точкой] и не-[a совпадает_с b], то существует d такая, что: [d является_прямой] и [a принадлежит d] и [b принадлежит d] и (для всякого c: если [c является_прямой] и [a принадлежит c] и [b принадлежит c], то [c совпадает_с d])

image

(Параллельные прямые пересекаются. Иллюстрация взята с сайта robinurton.com)

Ради удобства чтения я заключил атомарные высказывания в квадратные скобки. Если вы изучали проективную геометрию, то наверняка узнали в этом примере аксиоматику абстрактной проективной плоскости. В переводе на русский аксиома i) говорит, что любые две различные прямые пересекаются ровно в одной точке, а аксиома ii) — что через любые две различные точки проходит в точности одна прямая.

Здесь стоит напомнить, что формальные переменные и формальные отношения — это всего лишь последовательности печатных или рукописных символов. Когда вы создаете абстрактную теорию, не обязательно даже предполагать, что формальные переменные в действительности могут обозначать какие-то вещи, а формальные отношения — реальные отношения между этими вещами. Таким образом какой-либо смысл у формальных высказываний изначально отсутствует.

Используя формальные отношения между формальными высказываниями в качестве атомарных формул, помимо аксиом вы можете построить и другие формальные логические высказывания. Если какое-то из этих высказываний можно вывести из аксиом теории по правилам символьной логики, то оно будет являться (формальной) теоремой для этой теории. Ровно как и формальные аксиомы, формальные теоремы изначально не несут какого-либо смысла и не выражают никаких свойств окружающего нас мира.

Для чего тогда вообще создаются абстрактные теории?

Модель и интерпретация

Возьмем какое-нибудь предложения из нашей повседневной речи, например: «Черная кошка сидит на окошке». То же самое предложение можно записать по другому:«Существуют x и y такие, что: [x является_кошкой] и [x имеет_черный_окрас] и [y является_окном] и [x сидит_на y]».

Как вы видите, наше шуточное предложение во второй своей записи имеет определенное сходство с формальными логическими высказываниями. Однако нужно заметить, что между ними есть и важное отличие. В то время как формальные переменные и формальные отношения, входящие в состав формальных высказываний, ничего не обозначают, переменные x и y в последнем примере обозначают эмпирические объекты: конкретную кошку и окно, а каждое из отношений: «являться_кошкой», «являться_окном», «иметь_черный_окрас», «сидеть_на» — называет вполне определенное индивидуальное или взаимное эмпирическое качества этих объектов.

Под «эмпирическими» я подразумеваю любое понятие, определение которому может быть дано исключительно в терминах эмпирических данных, и в добавок, для которого существует алгоритм, позволяющий понять, присутствует ли оно на опытных данных или нет. Все понятия, используемые в макроскопической физике, такие так длинна, масса, сила тока или количество энергии — эмпирические, а понятия «бог» и «истина» на данный момент таковыми не считаются.

Переменные, обозначающие эмпирические объекты, и отношения, называющие эмпирические свойства, разумно назвать материальными. Таким образом, если все атомарные утверждения некоторой логических формулы являются материальными отношениями между материальными переменными, то все эти атомарные утверждения и в целом сама логическая формула становятся содержательными, то есть приобретают смысл и значение. Их смысл — в заявлении некоторого свойства окружающего мира, а значение — это либо истина, либо ложь.

Простейшим способом убедится, что некоторое содержательное логическое утверждение истинно, служит многократно поставленный эксперимент или длительные наблюдения за окружающим миром. К примеру, чтобы считать истинным утверждение: «Нельзя засунуть слона в коробок из под спичек», вам всего-то достаточно много раз попытаться его туда затолкать.

Будучи от природы существами смышлеными, люди быстро догадались, что проверять каждое утверждение опытным путем — долго и не всегда безопасно для жизни. Поэтому они быстро открыли другой способ. Собственно выяснилось, что выполняя над наборами истинных утверждений определенные манипуляции, можно получить много новых логических утверждений и все они магическим образом оказываются истинными.

Большой неожиданностью стало то, что вид упомянутых манипуляций и правила их использования никоим образом не требовали знания смысла высказываний, а опирались только на способ написания их логических формул. К примеру, какими бы ни были и каков бы смысл не несли содержательные высказывания A и B, если высказывания: "A" и «Если A, то B» — оба истинны, то истинным оказывается и утверждение "B".

Итак, чтобы понять, истинно ли высказывание, уже не обязательно знать его смысл. Как следствие, теперь любой человек может взять произвольный список логических формул, и считая их условно «истинными» (иначе говоря — формальными аксиомами), с помощью определенного набора манипуляций (формальных правил вывода) получить другие, условно «истинные» логические формулы.

Польза от таких, казалось бы, бессмысленных упражнений, может появиться лишь тогда, когда другой человек, имеющий дело с экспериментом, по какой-то причине решит использовать формальные переменные и формальные отношения в качестве имен для реальных объектов и их взаимных эмпирических свойств. Уже само по себе такое решение означает, что у формальной теории появилась содержательная интерпретация и каждое высказывание на ее языке становится значимым и приобретает смысл.

Если теория интерпретирована так, что все ее аксиомы оказались истинными, то истинными будут и все ее теоремы, сама интерпретация считается непротиворечивой для этой теории и служит ей (материальной) моделью.

Примеры
Давайте вернемся к абстрактной теории проективной плоскости и тремя способами «вдохнем» в нее смысл.

  1. Возьмем достаточно большой ватманский лист. Пусть:
    «являться_точкой» означает быть углублением от циркульной иглы;
    «являться_прямой» — быть линией, проведенной карандашом вдоль инструментальной линейки, уже или в будущем;
    «совпадать» — быть неразличимыми глазом;
    «точке» «принадлежать» «прямой» — игольчатому оттиску помещаться на графитовом следе.
  2. Возьмем глобус насколько можно более сферичной формы.
    «точкой» будем считать любые два углубления циркульной иглы, нанесенные на глобус диаметрально-противоположно друг другу;
    «прямыми» — совпадающие с окружностей большого диаметра карандашные линии, уже начерченные, или те, что могут быть начерчены в будущем;
    «совпадать» и «принадлежать» — как и в предыдущем примере, но только с той оговоркой, что вместо одного игольных оттиска у нас их теперь пара.
  3. Возьмем три цветных шарика: красный, синий и зеленый.
    Собственно шарики и будем считать «точками». Да, их всего три;
    «прямых» тоже три — это три пары, которые можно составить из наших шариков;
    «совпадать» — быть собой (паре или одному шарику);
    «принадлежать» — быть включенным в пару.

Интерпретация под номером 1) не является моделью. Действительно, на плоском ватманском листе некоторые прямые будут параллельны и не пересекутся, даже если лист неограниченно велик. Оставшиеся две — служат для проективной плоскости моделями.

Проверка на ошибки

Что произойдет, если экспериментатор, пытаясь объяснить свои наблюдения, выберет «не ту» теорию? Как правило, в подобных случаях экспериментатор быстро обнаружит несоответствие между тем, что предсказывает теория, и тем, что происходит на деле.

image

(Когда с Вашей моделью мира что-то не так)

Возьмем, к примеру, землемера. До тех пор пока он имеет дело с маленькими плоскими наделами, точность используемых им измерительных инструментов не позволяет обнаружить нарушения каких-либо аксиом или теорем Евклидовой геометрии. Однако стоит землемеру взяться за работу планетарного масштаба, как тут же обнаружатся прямые, пересекающие друг друга дважды, в больших треугольниках изменится сумма углов, а длинна окружности перестанет быть равной π r. Расхождения между предсказаниями и опытными данными должны заставит землемера в качестве модели взять какую-нибудь другую геометрию.

Другой пример — это физик. Пока его наблюдения касаются медленно движущихся тел, он может смело применять Галилево правило для сложения скоростей и Ньютонову динамику: в пределах требуемых точностей теоретические предсказания будут совпадать с результатами эксперимента. Однако, если физик попытается применить эти же (в сущности абстрактные) теории для предсказания траектории электрона в ускорителе элементарных частиц, то потерпит сокрушительное фиаско: здесь действуют законы Лоренцева мира.

Реакция противоречием на неуместное применение — это «джентельменская» черта почти всех естественно-научных теорий. Если бы они ею не обладали, то, как вы увидите позже, на основании одних и тех же эмпирических данных, экспериментаторы могли бы делать обоснованные, но противоречащие друг другу заключения.

Итак, вернемся к нашей основной теме. Попробуйте нарисовать в своем воображении трех математиков, которые попросили случайного прохожего сто раз к ряду подбросить любую из имеющихся у него монеток.

Первый математик предположил, что монетка будет описываться теорией бернулевских испытаний с весами 1/2 как для орла так и для решки. Второй когда-то читал, что технология чеканки нарушает симметрию монет, поэтому он выбрал теорию бернулевских испытаний, в которой решка имеет вес в 1/3, а орел — в 2/3. Третий математик увлекался философией и ради экзистенциального эксперимента назначил орлу вес 1, а решке — 0. В итоге все три математика выбрали по абстрактной теории, с помощью которой они собирались смотреть на результат.

В сорока семи из ста подбрасываний монетка упала вверх орлом.

Первый математик воскликнул, что результат отклоняется от рассчитанного им среднего меньше чем на «три сигмы», и никаких противоречий между его интерпретацией и опытом нет.

Второй математик воскликнул, что результат отклоняется от рассчитанного им среднего больше чем на «три сигмы», что общий вес подобных исходов меньше 5/1000 и никаких противоречий между его интерпретацией и опытом нет.

Философ воскликнул, что согласно его расчетам вес полученной в эксперименте последовательности равен нулю, суммарный вес всех последовательностей, включающих в себя хотя бы одну решку, тоже равен нулю и никаких противоречий между его интерпретацией и опытом нет.

По всей видимости, придется признать, что каждый из математиков прав. Какой же тогда смысл в присвоенных весах?

Доказательная сила

Как уже говорилось, выбрав подходящую теорию и построив ее интерпретацию, исследователь получает возможность доказывать истинность гипотез с помощью одной только процедуры формального вывода. Доверие к истинности выведенных из аксиом высказываний определяется только доверием по отношению к истинности самих аксиом в их интерпретированном смысле.

Использование дедуктивных методов отнюдь не запрещает искать закономерности непосредственно в данных и пытаться обосновывать их экспериментально. Более того, эти два подхода не эквивалентны: наличие у гипотезы экспериментального обоснования еще не означает возможности доказать эту гипотезу формально, ровно как и наоборот. Например, благодаря личному опыту, я почти уверен, что все вороны черные, а благодаря теоремам геометрии — что площадь круга радиусом в километр составляет π квадратных километров. В то же время, у меня нет ни одной теории, чтобы формально доказать первое утверждение, и никакого опыта, чтобы экспериментально обосновать второе.

В тех случаях, когда гипотеза об эмпирической закономерности, имеет как экспериментальное обоснование, так и может быть формально доказана в рамках принятой теории, говорят, что эта закономерность получила теоретическое объяснение. Например, обнаруженная Кеплером закономерность у форм орбит небесных тел имеет теоретическое объяснение в рамках Ньютоновой теории гравитации.

Если задуматься, то любая закономерность — есть некое ограничение возможных результатов наблюдений: ворона может быть только черной, площадь круга не может быть сильно больше или меньше π r2, планеты не могут двигаться иначе как по эллипсу.

Также должно быть интуитивно понятно, что методы формального вывода не имеют права вносить каких-либо дополнительных ограничений по сравнению с теми, которые накладываются содержательным значением аксиом. Действительно, будь наоборот, то возникла бы ситуация, когда аксиомы «верны», а одна из теорем противоречит наблюдениям.

По сути, содержательные утверждения теорем — это всего лишь удобные переформулировки совокупных «аксиомных» ограничений, примененные к какому-нибудь особому набору обстоятельств. Например, эллиптичность орбит — это следствие Закона тяготения и трех динамических законов Ньютона в обстоятельствах, когда из двух небесных тел одно — тяжелое и «неподвижное», а второе — легкое и движется не слишком «быстро».

Выводом к настоящему параграфу будет следующее утверждение:" Ограничения, накладываемые аксиомами теории, должны быть по совокупности не слабее ограничений, наложенных теми эмпирическими закономерностями, которые экспериментатор собирается с помощью этой теории объяснить.

«Голый король»

«В столице этого короля жилось очень весело; почти каждый день приезжали иностранные гости, и вот раз явилось двое обманщиков. Они выдали себя за ткачей и сказали, что могут изготовить такую чудесную ткань, лучше которой ничего и представить себе нельзя: кроме необыкновенно красивого рисунка и расцветки, она отличается ещё удивительным свойством — становиться невидимой для всякого человека, который не на своём месте или непроходимо глуп.»
………………………………………………………………..Ганс Кристиан Андерсон «Новое платье короля»

Эмпирическая вероятность — IT-МИР. ПОМОЩЬ В IT-МИРЕ 2020
(Французские студенты требуют новую философию науки. Источник: salamancartvaldia.es)

Вернемся к теории вероятности и трем математикам с монеткой.

Как вы думаете, если математики попытаются много раз повторить свой эксперимент, обнаружат ли они какие-либо эмпирические закономерности? Другими словами, смогут ли они сделать обоснованный вывод, что некоторого типа последовательности в их экспериментах невозможно наблюдать?

И второй вопрос: если эмпирические закономерности есть, то какие из них могут быть объяснены в рамках общепринятой теории вероятностей?

Боюсь вас разочаровать, но ответ на второй вопрос предельно прост: «Никакие.»

Действительно, все, чего требует содержательный смысл аксиом тории вероятностей — чтобы веса, назначенные орлу и решке, были неотрицательными и в сумме давали единицу. Когда это требование выполнено, любая последовательность орлов и решек оказывается в наблюдениях допустимой, поскольку она не меняет назначенных весов и тем самым не создает противоречий с аксиомами. Отсюда следует вывод: в своем содержательном значении аксиомы теории вероятностей не накладывают на возможные результаты наблюдений ровно никаких ограничений и поэтому в строгом логическом смысле не способны объяснить каких бы то ни было закономерностей в данных.

Что касается вопроса о существовании эмпирических закономерностей, то здесь возможно двоякое мнение.

С одной стороны, если монетка не изготовлена с какими-то особыми премудростями, то в каждом опыте она может упасть вверх, как орлом, так и решкой, поэтому эксперимент может закончится любой их последовательностью, а значит эмпирических закономерностей, в строгом определении этого понятия, — нет.

С другой стороны, даже посвятив опытам над симметричной монеткой целую жизнь, вряд ли удастся увидеть хотя бы одну серию из 100 подбрасываний, в которой орлов будет не больше 10 (в единичной серии шансы меньше 1 к 1015). Последнее означает, что экспериментатор с чистой совестью имеет право принять высказывание: «В серии из 100 подбрасываний симметричная монетка упадет вверх орлом не менее 11 раз» в качестве хорошо обоснованной эмпирической закономерности.

Здесь мы явно приходим к противоречию между философией науки и здравым смыслом, чему из них следовать?

Когда дело доходит до конкретных решений, нам приходится поступать категорично: атаковать — или обороняться, оперировать — или продолжать лечить медикаментозно, заключить сделку — или отказаться от предложения. В подобных обстоятельствах у вас не получится с какой-либо пользой применить теорию вероятности, предварительно не совершив ошибок в ее интерпретации. В одних случаях маловероятные события придется считать невозможными, в других — заменять вероятность на частоту или думать о математическом ожидании как о среднем значении для конечной серии экспериментов.

Причину такой странной ситуации вряд ли стоит искать в дефектах абстрактной теории вероятностей: есть все основания полагать, что эта математическая дисциплина как раз-таки непротиворечива. Другое дело, что любая теория, построенная на философии однозначных «Да» и «Нет», абсолютной «Истины» и «Объективной реальности», вряд ли сможет соответствовать нашему интуитивному пониманию, что такое «вероятность» и как ее измерять. Нет даже полной уверенности, что это понятие реально, а не является упрощением какой-то еще не открытой концепции (Как было когда-то с «Небесной сферой» или «Эфирным ветром»).

Если теория до конца не разработана, а ее интерпретации часто противоречивы, стоит ли применять эту теорию на практике? В тех случаях, когда результат не слишком расходится со здравым смыслом — наверное, стоит! Например, Лейбниц, Эйлер, Лагранж, Фурье и многие их современники успешно использовали «Анализ бесконечно малых» еще задолго до того, как удалось создать хоть какую-то теорию действительных чисел.
Не относитесь к наукам слишком строго!

В качестве запоздалой первоапрельской шутки.
Сергей Коваленко, 2020 год.

Эмпирическая вероятность — IT-МИР. ПОМОЩЬ В IT-МИРЕ 2020
(автор: Alexas_Fotos)

Специально для сайта ITWORLD.UZ. Новость взята с сайта Хабр