Основные понятия теории вероятностей

Введение

Теория вероятностей изучает объективные закономерности, присущие массовым случайным явлениям. Значительная часть содержащихся в лекциях сведений дается в рамках вполне конкретных задач и примеров. Методам данной теории отведено три лекции.

Опыт с равновероятными исходами

Рассмотрим такой простой опыт, как бросание монеты. Он имеет два взаимно исключающих исхода: выпадение "орла" и выпадение "решки". Рассмотрим некоторый опыт с конечным числом взаимно исключающих друг друга исходов, которые равноправны по отношению к условию данного опыта, то есть равновероятны. Обозначим как $$A$$ некоторое событие, связанное с указанными исходами.

Вероятность $$P(A)=\frac{N(A)}{N}$$,

где $$N$$ — общее число исходов рассматриваемого опыта, $$N(A)$$ — число тех из них, которые приводят к наступлению события $$A$$. Например, при бросании монеты имеется 2 взаимно исключающих равновероятных исхода (выпадение "орла" и выпадение "решки"), и если $$A$$ — любое из этих событий, то вероятность $$P(A) = 1$$, поскольку $$N(A)=2$$.

Накопленные практикой многочисленные наблюдения выявили одну замечательную закономерность, которая позволяет придать глубокий смысл понятию вероятности как в рассмотренном выше опыте с равновероятными исходами, так и в самом общем случае. А именно: предположим, что рассматриваемый опыт, явление и тому подобное могут быть воспроизведены многократно. Так что, в принципе, осуществима целая серия одинаковых и независимых друг от друга испытаний, в каждом из которых по воле случая происходит или не происходит интересующее наблюдателя событие $$A$$. Пусть $$n$$ обозначает число всех опытов в отдельной серии испытаний и n $$(A)$$ — число тех из них, в которых осуществляется событие $$A$$. Отношение $$\frac{n(A)}{n}$$ называется частотой события $$A$$ в данной серии испытаний. Оказывается, в различных сериях испытаний соответствующие частоты $$\frac{n(A)}{n}$$ при больших $$n$$ практически совпадают. И P $$(A)$$ приблизительно равно $$\frac{n(A)}{n}$$.

Формально это нужно понимать следующим образом:

$$P(A)=\lim\limits_{n\to \infty} \frac{n(A)}{n}$$.

Согласно этой эмпирически установленной закономерности вероятность $$P(A)$$ события $$A$$ характеризует долю тех случаев в большой серии опытов, которые приводят к наступлению события.

При подсчете вероятностей большую пользу оказывают комбинаторные формулы. Приведем наиболее важные из них.

Закон сложения вероятностей

Предположим, что в результате рассматриваемого опыта или явления происходит один из взаимно исключающих друг друга исходов, которые будем обозначать греческой буквой $$\omega$$ и называть элементарными событиями или элементарными исходами.

Будем говорить, что событие $$A$$ связано с рассматриваемым опытом (или с элементарными исходами $$\omega$$ ), если по каждому элементарному исходу $$\omega$$ можно точно судить о том, осуществляется или нет данное событие $$A$$. Обозначим тем же символом $$A$$ совокупность (иначе множество) всех элементарных исходов $$\omega$$, в результате которых наступает событие $$A$$. Очевидно, событие $$A$$ происходит тогда и только тогда, когда наступает один из элементарных исходов $$\omega$$, входящих в указанную совокупность $$A$$. Вместо того чтобы говорить об исходном событии $$A$$, можно говорить лишь о событии "наступает элементарный исход $$\omega$$, входящий в совокупность $$A$$ ".

События $$A_{1}$$ и $$A_{2}$$ называют равными ( $$A_{1}=A_{2}$$ ), если осуществление события $$A_{1}$$ влечет за собой осуществление события $$A_{2}$$ и наоборот, осуществление $$A_{2}$$ влечет за собой осуществление события $$A_{1}$$.

События $$A_{1}$$ и $$A_{2}$$ называются несовместными или непересекающимися, если наступление одного из этих событий исключает возможность наступления другого, иначе говоря, $$A_{1}$$ и $$A_{2}$$ не могут произойти одновременно.

Объединением или суммой событий $$A_{1}$$ и $$A_{2}$$ называется событие $$A$$, которое означает осуществление хотя бы одного из событий $$A_{1}, A_{2}: A= A_{1} \cup A_{2}$$ где $$\cup$$ — специальный символ объединения. Аналогично определяется объединение событий $$A_{1},A_{2},...$$, обозначаемое как $$A=\mathop{\cup}\limits_k A_k$$.

Пересечением или произведением событий $$A_{1}$$ и $$A_{2}$$ называется событие $$A$$, которое означает осуществление и события $$A_{1}$$, и события $$A_{2}: A= A_{1} \cap A_{2}$$, где $$\cap$$ — специальный символ пересечения. Аналогично определяется произведение событий $$A_{1},A_{2},...$$, обозначаемое как $$A=\mathop{\cap}\limits_k A_k$$.

Разностью событий $$A_{1}$$ и $$A_{2}$$ называется событие $$A$$, которое означает, что происходит событие $$A_{1}$$, но не происходит событие $$A_{2}: A = A_1 \setminus A_2$$. Дополнительным к событию $$A$$ называется событие $$\bar A$$, которое означает, что событие $$A$$ не происходит: $$\bar A= \Omega \setminus A_2$$.

Рассмотрим несовместные события $$A_{1}$$ и $$A_{2}$$. Представим себе, что проводится серия одинаковых и независимых между собой опытов, результатом каждого из которых могут быть указанные события $$A, A_1$$ и $$A_2$$. Пусть $$n$$ — число всех испытаний, $$n(A),n(A_1),n(A_2)$$ — число тех из них, которые привели к наступлению соответствующих событий $$A, A_1$$ и $$A_2$$. Если в каком-то опыте произошло событие $$A$$, то это значит, $$A_2$$ (одновременно $$A_1$$ и $$A_2$$ произойти не могут, так как по условию они являются несовместимыми). Поэтому числа $$n(A),n(A_1),n(A_2)$$ связаны между собой следующим равенством:

$$n(A) = n(A_1) + N(A_2)$$.

Следовательно, частоты рассматриваемых событий таковы, что

$$\frac{n(A)}{n}=\frac{n(A_1)}{n}+\frac{n(A_2)}{n}$$.

При достаточно большом числе испытаний частоты практически совпадают с соответствующими вероятностями, так что вероятности рассматриваемых событий $$A=A_1\cup A_2$$, $$A_1$$ и $$A_2$$ должны быть связаны между собой следующим равенством:

$$P(A)=P(A_1)+P(A_2)$$.

Полученное равенство является выражением так называемого закона сложения вероятностей , согласно которому для любых непересекающихся событий $$A_1,A_2,..$$. вероятность их объединения $$\mathop{\cup}\limits_k A_k$$ есть

$$P(\mathop{\cup}\limits_k A_k)=\sum\limits_kP(A_k)$$.

Условные вероятности

При анализе того или иного явления часто возникает вопрос о том, как влияет на возможность осуществления некоторого события $$A$$ наступление другого события $$B$$. Простейшим примером связи событий $$A$$ и $$B$$ может служить следующее: наступление $$B$$ ведет к обязательному осуществлению события $$A$$ или, наоборот, наступление $$B$$ исключает возможность осуществления события $$A$$. В теории вероятностей характеристикой связи событий $$A$$ и $$B$$ служит так называемая условная вероятность $$P(A|B)$$ события $$A$$ при условии $$B$$, определяемая как

$$P(A|B)= \frac{P(AB)}{P(B)}$$

(предполагается, что вероятность события $$B$$ является положительной).

Величина $$P(A|B)$$ может рассматриваться как вероятность осуществления события $$A$$ при условии наступления события $$B$$. Поясним это на примере опыта с конечным числом равновероятных элементарных исходов $$\omega$$. Пусть $$N$$ — число всех элементарных исходов, $$N(B)$$ — число тех из них, которые приводят к наступлению события $$B$$. В этом случае вероятности событий $$B$$ и $$AB$$ суть $$P(B)=\frac{N(B)}{N}$$ и $$P(AB)=\frac{N(AB)}{N}$$, так что условная вероятность $$P(A|B)$$ выражается следующей формулой:

$$P(A|B)=\frac{N(AB)}{N(B)}$$.

Здесь $$N(B)$$ — число всех элементарных исходов $$\omega$$, возможных при условии наступления события $$B$$, а $$N(AB)$$ — число тех из них, которые приводят к осуществлению события $$A$$. В соответствии с общей формулой 2.1. равенство 2.5. определяет вероятность события $$A$$ в новых условиях, которые возникают при наступлении события $$B$$.

Условные вероятности обладают всеми свойствами, присущими обычным вероятностям. Именно,

$$0\le P(A|B)\le 1;$$

если наступление события $$B$$ исключает возможность осуществления $$A(AB=\emptyset)$$, то

$$P(A|B)=0;$$

если событие $$B$$ ведет к обязательному осуществлению события $$A(B\subseteq A)$$, то

$$P(A B)=1;$$

если событие $$A$$ есть объединение непересекающихся событий $$A_1,A_2,...(A= \cup {A_k}_{\substack{k}}$$, то

$$P(A|B)=\sum\limits_k P(A_k|B)$$.

Действительно, если $$A(AB=\emptyset)$$, то есть $$A$$ и $$B$$ являются непересекающимися, то $$P(AB)=0$$, откуда и $$P(A|B)=0$$ ; если $$B\subseteq A$$, то $$AB=B$$ и $$P(AB)=P(B)$$, что равносильно равенству $$P(A|B)=1$$ ; если событие $$A$$ есть объединение непересекающихся событий $$A_1,A_2,...$$, то произведение $$AB$$ является объединением непересекающихся событий $$A_1B,A_2B,..$$. и согласно формуле 2.3.

$$P(AB)=\sum\limits_k P(A_kB)$$

откуда и вытекает указанный выше закон сложения условных вероятностей.

При нахождении вероятности того или иного события $$A$$ бывает удобным сначала считать осуществившимся подходящим образом выбранное событие $$B$$ и определить условную вероятность $$P(A|B)$$ как вероятность события $$A$$ в новых условиях, когда событие $$B$$ является достоверным. Если имеется некоторая полная система несовместных событий $$B=B_1,B_2,...$$, то есть таких, что хотя бы одно из них обязательно осуществится, то вероятность $$P(A)$$ события $$A$$ выражается через соответствующие условные вероятности $$P(A|B)$$ при помощи следующей формулы:

$$P(A)=\sum\limits_k P(A|B_k)P(B_k)$$.

Это соотношение называется формулой полной вероятности. Оно вытекает из закона сложения вероятностей. Действительно, объединение событий $$B_1,B_2,..$$. по условию является достоверным событием $$\mathop{\cup}\limits_k B_k=\Omega$$ ; следовательно, $$A=\mathop{\cup}\limits_k B_k$$ и

$$P(A)=\sum\limits_k P(AB_k)=\sum\limits_k \frac{P(AB_k)}{P(B_k)} P(B_k)$$.

Общая теоретико-вероятностная схема

Числовая величина $$\xi$$, значения которой зависят от элементарных исходов $$\omega\in\Omega$$, называется случайной величиной:

$$\xi=\xi(\omega), \omega\in\Omega$$.

Говорят, что задано распределение вероятностей случайной величины $$\xi$$, если определены вероятности $$P\{x^{\prime}\le\xi\le x^{\prime\prime}\}$$ всевозможных событий $$\{x^{\prime}\le\xi\le x^{\prime\prime}\}$$, каждое из которых означает, что $$\xi$$ принимает одно из значений $$x=\xi(\omega)$$ в соответствующих пределах $$\{x^{\prime}\le\xi\le x^{\prime\prime}\}$$.

Случайная величина $$\xi$$ имеет дискретное распределение (иначе, величина $$\xi$$ является дискретной), если в зависимости от элементарных исходов $$\omega$$ величина $$\xi=\xi(\omega)$$ принимает конечное или счетное число различных значений $$x$$ с соответствующими вероятностями $$P_{\xi}(x)$$:

$$P_{\xi}(x)=P\{\xi=x\}(x),// \sum\limits^{\infty}_{-\infty} P_{\xi}(x)=1$$.

Для таких величин

$$P\{x^{\prime}\le\xi\le x^{\prime\prime}\}=\sum\limits_{x^{\prime}}^{x^{\prime\prime}} P_{\xi}(x)$$

(суммирование идет по конечному или счетному числу значений $$x$$ в пределах $$x^{\prime}\le\xi\le x^{\prime\prime}$$, которые может принять дискретная случайная величина $$\xi$$ ).

Говорят, что $$\xi=\xi(\omega)$$ имеет непрерывное распределение вероятностей, если для любых $$x^{\prime}$$ и $$x^{\prime\prime}$$ $$(x^{\prime}\le x^{\prime\prime})$$

$$P\{x^{\prime}\le\xi\le x^{\prime\prime}\}=\int\limits_{x^{\prime}}^{x^{\prime\prime}} p_{\xi}(x)dx$$,

где $$p_{\xi}(x)$$ — некоторая неотрицательная интегрируемая функция,

$$\int\limits_{-\infty}^{\infty} p_{\xi}(x)dx=1$$,

называемая плотностью распределения вероятностей величины $$\xi$$.

Рассмотрим дискретную случайную величину $$\xi$$. Говорят, что $$\xi$$ имеет математическое ожидание, если

$$\sum\limits_{-\infty}^{\infty}|x|P\{\xi=x\}>\infty$$ ;

математическим ожиданием (или средним значением ) называется выражение

$$M\xi= \sum\limits_{-\infty}^{\infty}xP\{\xi=x\}$$

(суммирование идет по конечному или счетному числу значений $$x,-\infty <\infty$$ которые может принимать дискретная величина $$\xi$$ ).

Если задано распределение вероятностей случайной величины $$\xi$$, то математическое ожидание случайной величины вида $$\eta=\varphi (\xi)$$ может быть подсчитано по следующей формуле:

$$M\varphi (\xi)= \sum\limits_{-\infty}^{\infty}\varphi (x)P_{\xi}(x)$$,

где $$\varphi=\varphi (x)$$ — некоторая функция от $$x$$.

Как видно из самого определения, математическое ожидание обладает следующими свойствами:

$$M1=1;$$

для любой постоянной $$c$$

$$M(c\xi )=cM\xi;$$

для любых величин $$\xi_1$$ и $$\xi_2$$ имеющих математические ожидания $$M \xi_1$$ и $$M \xi_2$$,

$$M(\xi_1+\xi_2)=M \xi_1+M \xi_2;$$

если $$\xi\ge 0$$, то $$M\xi\ge 0$$

если $$\xi_1 \le\xi_2$$, то

$$M\xi_1 \le M\xi_2;$$

если случайные величины $$\xi_1$$ и $$\xi_2$$ независимы, то

$$M(\xi_1 \xi_2)=M\xi_1 M\xi_2;$$

Математическое ожидание определяется и для непрерывно распределенных случайных величин. Именно, всякая случайная величина $$\xi$$ может быть сколь угодно точно аппроксимирована дискретными величинами. Например, если разбить действительную прямую $$-\infty<x<\infty$$ точками $$x_{kn}$$, $$-\infty<k<\infty$$ так, чтобы

$$\mathop{sup}\limits_k|x_{kn}-x_{k-1,n}|=\varepsilon$$,

и определить дискретные случайные величины $$\xi_n$$ как

$$\xi_n=x_{kn}$$ при $$x_{k-1}<\xi\le x_{kn}$$,

то, очевидно, $$|\xi - \xi_n|\le\varepsilon$$, где $$\varepsilon > 0$$ можно выбрать сколь угодно малыми. Если взять последовательность величин $$\xi_n$$ такого типа $$(n=1,2,3,...)$$, для которых

$$\mathop{sup}\limits_k|x_{kn}-x_{k-1,n}|=\varepsilon_n \to 0$$,

то

$$|\xi_m - \xi_n| \le |\xi_m - \xi|+|\xi_n - \xi| \le (\varepsilon_m + \varepsilon_n)$$

и, согласно неравенству (2.12.) ,

$$|M\xi_m - M\xi_n| \le M|\xi_m - \xi_n| \le (\varepsilon_m + \varepsilon_n) \to 0$$

при $$m,n \to \infty$$. Следовательно, существует предел

$$\lim\limits_{n\to \infty} M\xi_n$$.

Для непрерывно распределенной случайной величины $$\xi$$ такой предел и называется математическим ожиданием (или средним значением):

$$M\xi=\lim\limits_{n\to \infty} \sum\limits_{-\infty}^{\infty}x_{kn}P\{x_{k-1,n}<\xi\le x_{kn}\}$$.