Объясняем производящую функцию моментов

Data Science

1. Начнем с главного — что такое “момент” в вероятности и статистике?

Скажем, нас интересует случайная переменная X.

Моменты — это ожидаемые значения X, например, E(X), E(X²), E(X³) и т.д.

 Первый момент — E(X),
 Второй момент — E(X²),
 Третий момент — E(X³),
 …
 n-й момент — E(X^n).

Нам очень хорошо знакомы первые два момента: математическое ожидание μ = E(X) и дисперсия E(X²) − μ². Это важные характеристики X.Математическое ожидание — это среднее значение случайной величины, дисперсия — мера разброса значений. Но должны быть и другие функции, также определяющие распределение. Например, третий момент указывает на асимметрию, четвертый — насколько тяжелы хвосты распределения.

Объясняем производящую функцию моментов — IT-МИР. ПОМОЩЬ В IT-МИРЕ 2020Моменты говорят нам о свойствах распределения.

2. Что же такое производящая функция моментов?

Эта функция определяет распределение значений случайной величины— E(X), E(X²), E(X³), … , E(X^n).

Объясняем производящую функцию моментов — IT-МИР. ПОМОЩЬ В IT-МИРЕ 2020Определение производящей функции моментов

Глядя на определение, вы можете сказать:

“Меня не интересует E(e^tx). Мне нужно E(X^n).”

Возьмите производную от ПФМ n раз и подставьте t = 0. Так вы получите E(X^n).

Объясняем производящую функцию моментов — IT-МИР. ПОМОЩЬ В IT-МИРЕ 2020Как получить моменты из ПФМ

3. Почему n-й момент является n-й производной ПФМ?

Для доказательства используем ряды Тейлора:

Объясняем производящую функцию моментов — IT-МИР. ПОМОЩЬ В IT-МИРЕ 2020

Затем берем ожидаемое значение:

Объясняем производящую функцию моментов — IT-МИР. ПОМОЩЬ В IT-МИРЕ 2020

Теперь берем производную по t:

Объясняем производящую функцию моментов — IT-МИР. ПОМОЩЬ В IT-МИРЕ 2020

Если возьмем другую производную (то есть производную дважды), получим E(X²).
Снова возьмем производную (третью), получим E(X³), и так далее.

Когда я впервые увидела ПФМ, я не поняла роль t в функции, потому что t показалась произвольной переменной, которая не особенно меня интересовала. Между тем t является вспомогательной переменной — мы вводим t, чтобы использовать исчисление (производные) и обнулить значения (которые нас не интересуют).

Подождите… но мы можем вычислить моменты, используя определение ожидаемых значений. Зачем нам ПФМ? 

4. Так зачем нам нужна ПФМ?

Для удобства.

Производящая функция моментов упрощает вычисление моментов.

Как?

В моем учебнике математики написано: “найдите производящую функцию момента биномиального (n, p), пуассонового (λ), экспоненциального (λ), нормального (0, 1) распределений и так далее”. Однако в нем никогда не объяснялось, почему ПФМ полезна и удобна.

Я думаю, пример ниже порадует вас — самый яркий пример, где есть простое использование ПФМ: ПФМ экспоненциального распределения. (Не знакомы с экспоненциальным распределением? 👉 Экспоненциальное распределение: восприятие, происхождение, применение)

Начнем с плотности вероятности:

Объясняем производящую функцию моментов — IT-МИР. ПОМОЩЬ В IT-МИРЕ 2020Плотность вероятности экспоненциального распределения

Продифференцируем экспоненциальную ПФМ:

Объясняем производящую функцию моментов — IT-МИР. ПОМОЩЬ В IT-МИРЕ 2020

Чтобы ПФМ существовала, должно существовать ожидаемое значение E(e^tx).
Вот почему t — λ < 0 — важное условие: в противном случае интеграл не будет сходиться (это называется тестом на сходимость и проверяется первым делом, когда нужно определить, сходится интеграл или расходится).

Раз у нас есть ПФМ: λ/(λ-t), вычисление моментов становится просто вопросом взятия производных, что проще, чем использование интегралов для расчета ожидаемого значения напрямую.

Объясняем производящую функцию моментов — IT-МИР. ПОМОЩЬ В IT-МИРЕ 2020

Используя ПФМ, можно находить моменты при помощи производных, а не интегралов! 

Несколько замечаний:

  1. Для любой действительной ПФМ M(0) = 1.
    Всякий раз при вычислении ПФМ подставляйте t = 0 и смотрите, получите ли 1.
  2. Моменты помогают подробнее описать распределение. Например, можно полностью описать нормальное распределение по первым двум моментам — математическому ожиданию и дисперсии. Чем больше моментов вы знаете, тем больше вы знаете о распределении. Если вы никогда не встречали человека, но знаете его рост, вес, цвет кожи, хобби и т.д., вы по-прежнему не знаете его полностью, но у вас есть много информации о нем.
  3. Прелесть ПФМ в том, что, получив ПФМ (когда ожидаемое значение существует), вы можете получить любой n-й момент, так как ПФМ кодирует все моменты случайной переменной в одну функцию, из которой их легко снова извлечь.
  4. Распределение вероятностей однозначно определяется его ПФМ. Если у двух случайных переменных одинаковая ПФМ, они должны иметь одинаковое распределение.
  5. Одно из важнейших свойств распределения — насколько тяжелы его хвосты, особенно, в управлении финансовыми рисками. Если вспомнить финансовый кризис 2008 года, в основе которого по сути лежали неудачные определения вероятностей редких событий, управляющие рисками недооценили эксцесс (“выпуклость”) финансового обеспечения, лежащего в основе торговых позиций фонда. Иногда выглядящие случайными распределения с гипотетически гладкими кривыми риска могут содержать скрытые эксцессы. И мы можем найти их, используя ПФМ!

Специально для сайта ITWORLD.UZ. Новость взята с сайта NOP::Nuances of programming