Многомерные распределения

Совместное распределение

Пусть случайные величины $$\xi_1,\,\dots,\,\xi_n$$ заданы на одном вероятностном пространстве $$\langle\Omega,\,\mathcal F,\,\Prob\rangle$$.

Определение 28. Функция$$F_{\xi_1,\,\ldots,\,\xi_n}(x_1,\,\dots,\,x_n)= \Prob(\xi_1<x_1,\,\dots,\,\xi_n<x_n)$$ называется функцией распределения вектора $$(\xi_1,\,\dots,\,\xi_n)$$ или функцией совместного распределения случайных величин $$\xi_1,\,\dots,\,\xi_n$$.

Перечислим свойства функции совместного распределения. Для простоты обозначений ограничимся вектором $$(\xi_1,\,\xi_2)$$ из двух величин.

(F0) Для любых $$x_1,\,x_2$$ верно неравенство: $$0\le F_{\xi_1,\,\xi_2}(x_1,\,x_2)\le 1$$.

(F1) $$F_{\xi_1,\,\xi_2}(x_1,\,x_2)$$ не убывает по каждой координате вектора $$(x_1,\,x_2)$$.

(F2) Для любого $$i=1,\,2$$ существует $$\lim\limits_{x_i\to-\infty}F_{\xi_1,\,\xi_2}(x_1,\,x_2)=0$$. Существует двойной предел $$\lim\limits_{x_1\to+\infty}\lim\limits_{x_2\to+\infty}F_{\xi_1,\,\xi_2}(x_1,\,x_2)=1$$.

(F3) Функция $$F_{\xi_1,\,\xi_2}(x_1,\,x_2)$$ по каждой координате вектора $$(x_1,\,x_2)$$ непрерывна слева.

(F4) Чтобы по функции совместного распределения восстановить функции распределения $$\xi_1$$ и $$\xi_2$$ в отдельности, следует устремить мешающую переменную к $$+\infty$$:$$\begin{equation} \lim\limits_{x_1\to+\infty}F_{\xi_1,\,\xi_2}(x_1,\,x_2)= F_{\xi_2}(x_2),\quad \lim\limits_{x_2\to+\infty}F_{\xi_1,\,\xi_2}(x_1,\,x_2)= F_{\xi_1}(x_1). \end{equation}$$

Доказательство всех этих свойств совершенно аналогично одномерному случаю. Но теперь свойств (F0)-(F3) не хватает для описания класса функций совместного распределения. Иначе говоря, выполнение этих свойств для некоторой функции $$F:\mathbb R^2\to\mathbb R$$ не гарантирует, что эта функция является функцией распределения некоторого случайного вектора.

Упражнение. Доказать, что функция$$F(x_1,\, x_2)= \begin{cases} 0, \text{ если }\, x_1\le 0\, \text{ или }\, x_2\le 0\, \text{ или }\, x_1+x_2\le 1, \cr 1, \text{ если одновременно }\, x_1>0,\, x_2>0,\, x_1+x_2>1 \end{cases}$$ удовлетворяет всем свойствам (F0)-(F3), но не является функцией распределения никакого вектора $$(\xi_1,\,\xi_2)$$ хотя бы потому, что, найдись такой вектор, найдется и прямоугольник $$[a_1,\,b_1)\times[a_2,\,b_2)$$, "вероятность" попасть в который (вычисленная с помощью этой якобы "функции распределения") отрицательна: $$\Prob(a_1\le \xi_1<b_1,\,\, a_2\le \xi_2<b_2)<0$$.

Легко убедиться, что вероятность вектору $$(\xi_1,\,\xi_2)$$ попасть в прямоугольник $$[a_1,\,b_1)\times[a_2,\,b_2)$$ по функции распределения этого вектора вычисляется так: $$\Prob(a_1\le \xi_1<b_1,\,a_2\le \xi_2<b_2) = F(b_1,\,b_2)+F(a_1,\,a_2)- F(a_1,\,b_2)-F(b_1,\,a_2)$$.

Дополнительно к свойствам (F0)-(F3) от функции $$F$$ требуют неотрицательности этого выражения (при любых $$a_1<b_1$$, $$a_2<b_2$$ ).

Типы многомерных распределений

Ограничимся рассмотрением двух типичных случаев: когда совместное распределение координат случайного вектора $$(\xi_1,\,\xi_2)$$ либо дискретно, либо абсолютно непрерывно. Заметим, что сингулярные совместные распределения тоже не являются редкостью, в отличие от одномерного случая: стоит бросить точку наудачу на отрезок на плоскости, и мы получим сингулярное совместное распределение ( доказать ).

Определение 29. Случайные величины $$\xi_1$$, $$\xi_2$$ имеют дискретное совместное распределение, если существует конечный или счетный набор пар чисел $$\{a_i,\,b_j\}$$ такой, что$$\sum\limits_{i=1}^{\infty}\sum\limits_{j=1}^\infty \Prob(\xi_1=a_i,\;\xi_2=b_j)=1.$$ Таблицу, на пересечении $$i$$ -й строки и $$j$$ -го столбца которой стоит вероятность $$\Prob(\xi_1=a_i,\;\xi_2=b_j)$$, называют таблицей совместного распределения случайных величин $$\xi_1$$ и $$\xi_2$$.

Таблицы распределения каждой из случайных величин $$\xi_1$$, $$\xi_2$$ в отдельности (таблицы частных, или маргинальных распределений) восстанавливаются по таблице совместного распределения с помощью формул$$\Prob(\xi_1=a_i)=\sum\limits_{j=1}^\infty \Prob(\xi_1=a_i,\,\xi_2=b_j),\quad \Prob(\xi_2=b_j)=\sum\limits_{i=1}^\infty \Prob(\xi_1=a_i,\,\xi_2=b_j).$$ Так, первое равенство следует из того, что набор $$\{\xi_2=b_1\}$$, $$\{\xi_2=b_2\}$$, $$\dots$$ есть полная группа событий, и поэтому событие $$\{\xi_1=a_i\}$$ раскладывается в объединение попарно несовместных событий:$$\{\xi_1=a_i\}=\bigcup_{j=1}^\infty \{\xi_1=a_i,\,\xi_2=b_j\}.$$

Определение 30. Случайные величины $$\xi_1$$, $$\xi_2$$ имеют абсолютно непрерывное совместное распределение, если существует неотрицательная функция $$f_{\xi_1,\,\xi_2}(x,\,y)$$ такая, что для любого множества $${B\in\mathfrak\mathfrak {B}(\mathbb R^2)}$$ имеет место равенство$$\Prob((\xi_1,\,\xi_2)\in B)= \mathop{\int\int}\limits_{\!\!B} f_{\xi_1,\,\xi_2}(x,\,y)\,dx\,dy.$$ Если такая функция $$f_{\xi_1,\,\xi_2}(x,\,y)$$ существует, она называется плотностью совместного распределения случайных величин $$\xi_1,\,\xi_2$$.

Достаточно, если двойной интеграл по множеству $$B$$ читатель будет понимать как объем области под графиком функции $$f_{\xi_1,\,\xi_2}(x,\,y)$$ над множеством $$B$$ в плоскости переменных $$(x,\, y)$$, как показано на рис 8.1.

Плотность совместного распределения обладает такими же свойствами, как и плотность распределения одной случайной величины:

(f1) неотрицательность: $$\displaystyle f_{\xi_1,\,\xi_2}(x,\,y)\ge 0$$ для любых $$x,\,y\in\mathbb R;$$

(f2) нормированность:$$\displaystyle\mathop{\int\int}\limits_{\!\mathbb R^2} f_{\xi_1,\,\xi_2}(x,\,y)\,dx\,dy=1.$$

Справедливо и обратное: любая функция, обладающая этими свойствами, является плотностью некоторого совместного распределения. Доказательство этого факта ничем не отличается от одномерного случая.

Если случайные величины $$\xi_1$$, $$\xi_2$$ имеют абсолютно непрерывное совместное распределение, то для любых $$x_1,\,x_2$$ имеет место равенство$$F_{\xi_1,\,\xi_2}(x_1,\,x_2)=\Prob(\xi_1<x_1,\,\xi_2<x_2)= \int\limits_{-\infty}^{x_1}\left(\int\limits_{-\infty}^{x_2} f_{\xi_1,\,\xi_2}(x,\,y)\;dy\right)dx.$$

Если совместное распределение абсолютно непрерывно, то по функции совместного распределения его плотность находится как смешанная частная производная: $$\displaystyle f_{\xi_1,\,\xi_2}(x,\,y)=\frac{\partial^2}{\partial x\partial y}\, F_{\xi_1,\,\xi_2}(x,\,y)$$ для почти всех $$(x,\, y)$$.

Из существования плотностей $$\xi_1$$ и $$\xi_2$$ не следует абсолютная непрерывность совместного распределения этих случайных величин. Например, вектор $$(\xi,\,\xi)$$ принимает значения только на диагонали в $$\mathbb R^2$$ и уже поэтому не имеет плотности распределения (его распределение сингулярно). Обратное же свойство, как показывает следующая теорема, всегда верно: если совместное распределение абсолютно непрерывно, то и частные распределения тоже таковы.

Теорема 24. Если случайные величины $$\xi_1$$ и $$\xi_2$$ имеют абсолютно непрерывное совместное распределение с плотностью $$f(x,\,y)$$, то $$\xi_1$$ и $$\xi_2$$ в отдельности также имеют абсолютно непрерывное распределение с плотностями:$$f_{\xi_1}(x)=\int\limits_{-\infty}^\infty f(x,\,y)\,dy; \quad f_{\xi_2}(y)=\int\limits_{-\infty}^\infty f(x,\,y)\,dx.$$

Для $$n>2$$ плотности случайных величин $$\xi_1,\, \dots,\, \xi_n$$ по плотности их совместного распределения $$f(x_1,\,\dots,\,x_n)$$ находятся интегрированием функции $$f$$ по всем "лишним" координатам.

Доказательство. Например, в силу равенств (14),$$F_{\xi_1}(x_1) =\! \lim\limits_{x_2\to+\infty}F_{\xi_1,\,\xi_2}(x_1,\,x_2)= \!\!\int\limits_{-\infty}^{x_1}\!\!\!\left(\,\int\limits_{-\infty}^{\infty} \!f(x,\,y)\,dy\!\right)\!dx=\!\!\int\limits_{-\infty}^{x_1}\!\!f_{\xi_1}(x)\,dx.$$ Аналогично устанавливается и справедливость второго равенства.

Примеры многомерных распределений

Приведем два наиболее употребительных примера абсолютно непрерывных многомерных распределений.

Равномерное распределение. Пусть $$S\subset \mathbb R^n$$ - борелевское множество с конечной лебеговой мерой $$\lambda(S)$$. Говорят, что вектор $$(\xi_1,\,\dots,\,\xi_n)$$ имеет равномерное распределение в области $$S$$, если плотность совместного распределения $$f_{\xi_1,\,\dots,\,\xi_n}(x_1,\,\dots,\,x_n)$$ постоянна в области $$S$$ и равна нулю вне этой области:$$\begin{equation} f_{\xi_1,\,\dots,\xi_n}(x_1,\,\dots,\,x_n)=\begin{cases} \frac{1}{\lambda(S)}, \textrm{\, если\, } (x_1,\,\dots,\,x_n)\in S, \cr \,0, \textrm{\, если\, } (x_1,\,\dots,\,x_n)\not\in S. \end{cases} \end{equation}$$ Убедимся, что эта функция является плотностью распределения:$$\displaystyle\mathop{ \int\limits_{\;\mathbb R^n} \!f_{\xi_1,\,\dots,\,\xi_n}(x_1,\,\dots,\,x_n)\,dx_1\,\dots\,dx_n=\\ \frac{1}{\lambda(S)} \int\limits_{\;S} dx_1\,\dots\,dx_n= \frac{1}{\lambda(S)}\,\lambda(S)=1.$$

Как и в одномерном случае, вектор $$(\xi_1,\,\dots,\,\xi_n)$$ с равномерным распределением в области $$S$$ есть просто вектор координат точки, брошенной наудачу в область $$S$$.

Многомерное нормальное распределение. Пусть $$\Sigma>0$$ - положительно определенная симметричная матрица $$(n\times n)$$, матрица $$\Sigma^{-1}$$ - обратная к $$\Sigma$$, и $$\vec a\in\mathbb R^n$$ - $$n$$ -мерный вектор-столбец. Транспонированный вектор мы будем обозначать так: $${\vec a}^T=(a_1,\,\dots,\,a_n)$$.

Говорят, что вектор $$(\xi_1,\,\dots,\,\xi_n)$$ имеет многомерное нормальное распределение $${\mathrm N}_{\vec a,\,\Sigma}$$ с вектором средних $$\vec a$$ и матрицей ковариаций $$\Sigma$$, если плотность совместного распределения $$f_{\xi_1,\,\dots,\,\xi_n}(x_1,\,\dots,\,x_n)$$ равна$$f_{\vec \xi}(\vec x)= \frac{1}{\sqrt{\textrm{det} \Sigma}\left(\sqrt{2\pi}\mspace{2mu}\right)^n}\, \exp\left\{ -\frac12 (\vec x-\vec a)^T \cdot\Sigma^{-1}\cdot(\vec x-\vec a) \right\}.$$ Мы не будем проверять, что эта функция является плотностью совместного распределения, поскольку для этого требуется умение заменять переменные в многомерном интеграле. Выражение $$(\vec x-\vec a)^T \Sigma^{-1}(\vec x-\vec a)$$ в показателе экспоненты является квадратичной формой от переменных $$(x_i-a_i)$$. Действительно, для матрицы $$B=\Sigma^{-1}$$ с элементами $$b_{ij}$$ имеем$$(\vec x-\vec a)^T B (\vec x-\vec a) = \sum_{i=1}^n \sum_{j=1}^n b_{ij}(x_i-a_i)(x_j-a_j).$$ Подробно с многомерным нормальным распределением мы познакомимся в курсе математической статистики, и там же выясним, что означают слова "с вектором средних $$\vec a$$ и матрицей ковариаций $$\Sigma$$ ".

В частном случае, когда $$\Sigma$$ - диагональная матрица с элементами $$\sigma_1^2,\,\dots,\,\sigma_n^2$$ на диагонали, совместная плотность превращается в произведение плотностей нормальных случайных величин:$$\begin{multiple} f_{\vec \xi}(\vec x) =\frac{1}{\sigma_1\ldots\sigma_n\left(\sqrt{2\pi}\mspace{2mu}\right)^n} \exp\left\{-\frac12 \sum_{i=1}^n \frac1{\sigma_i^2}(x_i-a_i)^2\right\}=\\=\frac{1}{\sigma_1\sqrt{2\pi}} e^{-\tfrac{(x-a)^2}{2\sigma_1^2}}\cdot \ldots \cdot \frac{1}{\sigma_n\sqrt{2\pi}} e^{-\tfrac{(x-a)^2}{2\sigma_n^2}}. \end{multiple}$$ Скоро мы увидим, что это равенство означает независимость случайных величин $$\xi_1,\,\dots,\,\xi_n$$.

Роль совместного распределения

Если нам известно совместное распределение двух или нескольких случайных величин, становится возможным отыскать распределение суммы, разности, произведения, частного, иных функций от этих случайных величин. Заметим (но не будем доказывать), что применение к набору случайных величин многих привычных нам функций не выводит нас из класса случайных величин. Интересующийся читатель может попробовать доказать, например, что сумма двух случайных величин есть снова случайная величина.

Следующие два примера показывают, что знания только частных распределений двух случайных величин недостаточно для отыскания распределения, например, суммы этих величин. Для этого необходимо знать их совместное распределение. Распределение суммы (и любой иной функции) не определяется, вообще говоря, распределениями слагаемых: при одних и тех же распределениях слагаемых распределение суммы может быть разным в зависимости от совместного} распределения слагаемых.

Пример 42. Рассмотрим две случайные величины $$\xi$$ и $$\eta$$ с одним и тем же распределением Бернулли с параметром $$p=1/2$$ и следующей таблицей совместного распределения: для $$0\le r \le 1/2$$ положим$$\begin{array}{ll} \Prob(\xi=0,\,\eta=0)=r, \qquad \Prob(\xi=0,\,\eta=1)=\frac12-r,\\ \Prob(\xi=1,\,\eta=0)=\frac12-r, \qquad \Prob(\xi=1,\,\eta=1)=r, \end{array}$$

Если $$r=0$$, то $$\Prob(\xi+\eta=1)=\Prob(\xi=0,\,\eta=1)+\Prob(\xi=1,\,\eta=0)=1$$, т.е. распределение $$\xi+\eta$$ вырождено в точке $$1$$.

Если $$r=1/2$$, то $$\Prob(\xi+\eta=0)=\Prob(\xi+\eta=2)=1/2$$, т.е. $$\xi+\eta$$ имеет невырожденное дискретное распределение, принимая значения $$0$$ и $$2$$ с равными вероятностями.

Взяв $$r=1/4$$, получим $$\Prob(\xi+\eta=0)=1/4$$, $$\Prob(\xi+\eta=2)=1/4$$ и $$\Prob(\xi+\eta=1)=1/2$$, т.е. $$\xi+\eta\prinC_{2,\,\frac12}$$.

Если взять $$r=1/3$$, получим $$\Prob(\xi+\eta=0)=1/3$$, $$\Prob(\xi+\eta=1)=1/3$$ и $$\Prob(\xi+\eta=2)=1/3$$, т.е. $$\xi+\eta$$ принимает значения $$1,\,2$$ и $$3$$ с равными вероятностями (это не биномиальное распределение).

Еще раз отметим, что частные распределения $$\xi$$ и $$\eta$$ от $$r$$ не зависят. Распределение суммы меняется вместе с совместным распределением $$\xi$$ и $$\eta$$ при неизменных частных распределениях величин $$\xi$$ и $$\eta$$.

Пример 43. Пусть случайная величина $$\xi$$ имеет стандартное нормальное распределение.

Возьмем $$\eta=-\xi$$. Тогда $$\eta$$ тоже имеет стандартное нормальное распределение, а сумма $$\xi+\eta=0$$ имеет вырожденное распределение.

Возьмем теперь $$\eta=\xi$$. Тогда сумма $$\xi+\eta=2\xi$$ имеет уже не вырожденное, а нормальное распределение $${\mathrm N}_{0,\,4}$$ ( проверить ).

Распределение функции нескольких случайных величин может определяться их частными распределениями только если совместное распределение этих случайных величин определяется их частными распределениями. Так бывает для независимых случайных величин.

Независимость случайных величин

Как всегда, предполагается заданным вероятностное пространство $$\langle\Omega,\mathcal F,\Prob\rangle$$, на котором определены все рассматриваемые случайные величины.

Определение 31. Случайные величины $$\xi_1,\,\dots,\,\xi_n$$ называют независимыми (в совокупности), если для любого набора борелевских множеств $$B_1,\, \dots,\,B_n\,\in\mathfrak {B}(\mathbb R)$$ имеет место равенство$$\Prob(\xi_1\in B_1,\,\dots,\, \xi_n\in B_n)= \Prob(\xi_1\in B_1)\cdot\ldots\cdot\Prob(\xi_n\in B_n).$$

Определение 32. Случайные величины $$\xi_1,\,\,\dots,\,\,\xi_n$$ называют попарно независимыми если независимы любые две из них.

Оба этих определения годятся не только для конечного набора случайных величин, но и для их бесконечной последовательности.

Замечание Независимость случайных величин в совокупности влечет попарную независимость. Достаточно в определении независимости в качестве "лишних" борелевских множеств взять $$\mathbb R$$.

Пример 44. Вспомним пример Бернштейна 32. Свяжем с событиями $$A$$, $$B$$ и $$C$$ случайные величины $$\xi_1$$, $$\xi_2$$ и $$\xi_3$$ - индикаторы этих событий. Например, $$\xi_1=1$$, если $$A$$ произошло, и $$\xi_1=0$$, если $$A$$ не произошло. Случайные величины $$\xi_1$$, $$\xi_2$$ и $$\xi_3$$ независимы попарно (проверить), но зависимы в совокупности:$$\begin{align*} \Prob(\xi_1=1,\,\xi_2=1,\,\xi_3=1)=\Prob(A\cap B\cap C)=\smash{\frac14},\\ \Prob(\xi_1=1)\,\Prob(\xi_2=1)\,\Prob(\xi_3=1)=\Prob(A)\,\Prob(B)\,\Prob(C)=\frac18. \end{align*}$$

Попарная независимость случайных величин встречается редко. Поэтому всюду, где мы будем употреблять термин "независимы", будет подразумеваться независимость в совокупности.

Определение независимости можно сформулировать в терминах функций распределения.

Определение 33. Случайные величины $$\xi_1,\,\dots,\,\xi_n$$ независимы (в совокупности), если для любых $$x_1,\,\dots,\,x_n$$ имеет место равенство$$F_{\xi_1,\,\dots,\, \xi_n}(x_1,\,\dots,\,x_n)= F_{\xi_1}(x_1)\cdot\ldots\cdot F_{\xi_n}(x_n).$$

Описать независимость случайных величин с дискретным распределением можно с помощью таблицы их совместного распределения.

Определение 34. Случайные величины $$\xi_1,\,\dots,\,\xi_n$$ с дискретным распределением независимы (в совокупности), если для любых чисел $$a_1,\,\dots,\,a_n$$ имеет место равенство$$\Prob(\xi_1=a_1,\,\dots,\, \xi_n=a_n)= \Prob(\xi_1=a_1)\cdot\ldots\cdot\Prob(\xi_n=a_n).$$

Упражнение. Доказать, что из независимости в смысле определения 31 следует независимость в смысле определения 33.

Упражнение. Доказать, что для случайных величин с дискретным распределением определения 31 и 34 эквивалентны.

Для случайных величин с абсолютно непрерывными распределениями справедливо утверждение.

Теорема 25. Случайные величины $$\xi_1,\,\dots,\,\xi_n$$ с абсолютно непрерывными распределениями независимы (в совокупности) тогда и только тогда, когда плотность их совместного распределения существует и равна произведению плотностей, т.е. для любых $$x_1,\,\dots,\,x_n$$ имеет место равенство: $$f_{\xi_1,\dots,\,\xi_n}(x_1,\,\dots,\,x_n)= f_{\xi_1}(x_1)\cdot\ldots\cdot f_{\xi_n}(x_n)\vphantom{a_{1_2}}$$.

Замечание Плотность распределения определяется с точностью до ее значений на множестве нулевой лебеговой меры (распределение не меняется от изменения плотности на множестве нулевой меры). Поэтому равенство плотности совместного распределения и произведения плотностей можно понимать тоже как равенство "почти всюду".

Доказательство. Пусть случайные величины $$\xi_1,\,\dots,\,\xi_n$$ независимы, т.е. для любых $$x_1,\,\dots,\,x_n$$$$F_{\xi_1,\dots,\,\xi_n}(x_1,\,\dots,\,x_n)=F_{\xi_1}(x_1)\cdot\ldots\cdot F_{\xi_n}(x_n).$$ Но произведение функций распределения записывается произведением интегралов, или одним $$n$$ -мерным интегралом:$$\begin{multiline*} F_{\xi_1}(x_1)\cdot\ldots\cdot F_{\xi_n}(x_n)= \int\limits_{-\infty}^{x_1}\!\! f_{\xi_1}(s_1)\,ds_1 \,\cdot\, \ldots\,\cdot\!\int\limits_{-\infty}^{x_n}\!\! f_{\xi_n}(s_n)\,ds_n\,=\\[2pt] =\!\int\limits_{-\infty}^{\,x_1} \!{\ldots}\!\int\limits_{-\infty}^{\,x_n} f_{\xi_1}(s_1)\, \ldots\, f_{\xi_n}(s_n)\,\,ds_1\,\dots\,ds_n=F_{\xi_1,\dots,\,\xi_n}(x_1,\,\dots,\,x_n).=I_2. \; \end{multiline*}$$ Мы представили функцию совместного распределения в виде интеграла от плотности совместного распределения, которая оказалась равной произведению плотностей частных распределений.

Пусть теперь известно, что плотность совместного распределения существует и распадается в произведение плотностей. В таком случае функция совместного распределения распадается в произведение функций распределения:$$\begin{multiline*} F_{\xi_1,\dots,\,\xi_n}(x_1,\,\dots,\,x_n)= \!\int\limits_{-\infty}^{\,x_1} \!{\ldots}\!\int\limits_{-\infty}^{\,x_n} f_{\xi_1}(s_1)\, \ldots\, f_{\xi_n}(s_n)\,\,ds_1\,\dots\,ds_n = \\ = F_{\xi_1}(x_1)\cdot\ldots\cdot F_{\xi_n}(x_n), \quad \end{multiline*}$$ т.е. случайные величины независимы согласно определению 33.