Условная вероятность и независимость

Условная вероятность

Пример 29. Игральная кость подбрасывается один раз. Известно, что выпало более трех очков. Какова при этом вероятность того, что выпало нечетное число очков?

Пусть событие $$B= \{4,\,5,\,6\}$$ означает, что выпало более трех очков, событие $$A=\{1,\,3,\,5\}$$ - выпало нечетное число очков. Как понимать вероятность события $$A$$, если известно, что $$B$$ случилось? Знаем, что произошло событие $$B$$, но все равно не знаем, что именно выпало на кости. Однако теперь возможностей осталось только три: могло выпасть $$4$$, $$5$$ или $$6$$ очков. Событию $$A$$ из этих равновозможных исходов благоприятен единственный исход: выпадение пяти очков. Поэтому искомая вероятность равна $$1/ 3$$.

Итак, при вычислении условной вероятности события $$A$$ при случившемся событии $$B$$ мы ищем долю исходов, благоприятствующих $$A$$, среди всех исходов события $$B$$. Эту условную вероятность будем обозначать $$\Prob(A{\hspace{3pt}{\left|\right.}\mspace{1mu}} B)$$.

Определение 12. Условной вероятностью события $$A$$ при условии, что произошло событие $$B$$, называется число$$\Prob(A{\hspace{3pt}{\left|\right.}\mspace{1mu}} B)=\frac{\Prob(A\cap B)}{\Prob(B)}.$$ Условная вероятность определена только в случае, когда $$\Prob(B)>0$$.

Следует отличать условную вероятность одного события при осуществлении другого от вероятности им одновременно произойти.

Это определение бывает полезно использовать не для вычисления условной вероятности, а для последовательного вычисления вероятности нескольким событиям случиться одновременно, если известны соответствующие условные вероятности. Справедливы следующие "теоремы умножения вероятностей".

Теорема 9. Если $$\Prob(B)>0$$ и $$\Prob(A)>0$$, то$$\Prob(A\cap B)=\Prob(B)\,\Prob(A{\hspace{3pt}{\left|\right.}\mspace{1mu}} B)=\Prob(A)\,\Prob(B{\hspace{3pt}{\left|\right.}\mspace{1mu}} A).$$

Теорема 10. Для любых событий $$A_1,\, \ldots,\, A_n$$ верно равенство:$$\Prob(A_1 \ldots A_n)= \Prob(A_1)\,\Prob(A_2{\hspace{3pt}{\left|\right.}\mspace{1mu}} A_1)\, \Prob(A_3{\hspace{3pt}{\left|\right.}\mspace{1mu}} A_1 A_2)\cdot\ldots\cdot \Prob(A_n{\hspace{3pt}{\left|\right.}\mspace{1mu}} A_1\ldots A_{n-1}),$$ если все участвующие в нем условные вероятности определены.

Упражнение. Доказать теорему 10 методом математической индукции. Доказать, что все условные вероятности в теореме 10 определены тогда и только тогда, когда $$\Prob(A_1 \ldots A_{n-1})>0$$.

Независимость событий

Определение 13. События $$A$$ и $$B$$ называются независимыми, если $$\Prob(A\cap B)=\Prob(A)\Prob(B)$$.

Пример 30. Из колоды в 36 карт наугад берут одну. Независимы ли события "вынут туз" и "вынута пиковая карта"?

Решение. Вероятность вытянуть туза равна $$\Prob(A)=\frac{4}{36}=\frac19\mspace{1mu}$$. Вероятность вытянуть пиковую карту равна $$\Prob(B)=\vphantom{\frac12}\smash{\frac14}\mspace{1mu}$$. Пересечение этих событий означает появление туза пик и имеет вероятность $$\Prob(AB)=\frac{1}{36}\mspace{1mu}$$. Cобытия $$A$$ и $$B$$ независимы, так как $$\Prob(AB)=\Prob(A)\Prob(B){\text.}$$

Естественно считать события $$A$$ и $$B$$ независимыми, когда условная вероятность $$A$$ при условии, что $$B$$ произошло, остается такой же, как и безусловная. Убедимся, что этим свойством обладают события, независимые согласно определению 13.

Свойство 4. Пусть $$\Prob(B)>0$$. Тогда события $$A$$ и $$B$$ независимы тогда и только тогда, когда $$\Prob(A{\hspace{3pt}{\left|\right.}\mspace{1mu}} B)=\Prob(A)$$.

Упражнение. Доказать по определению условной вероятности.

Независимые события возникают, например, при повторении испытаний. Выпадение герба и выпадение решки при двух разных бросках монеты независимы. Любые события, относящиеся к двум разным подбрасываниям игральной кости, независимы.

Свойство 5. Пусть события $$A$$ и $$B$$ несовместны. Тогда независимыми они будут только в том случае, если $$\Prob(A)=0$$ или $$\Prob(B)=0$$.

Это свойство означает, что в невырожденном случае (когда вероятности событий положительны) несовместные события не могут быть независимыми. Зависимость между ними - просто причинно следственная: если $$A\cap B=\emptyset$$, то $$A\subseteq \overline B$$, т.е. при выполнении $$A$$ событие $$B$$ не происходит.

Упражнение. Доказать с помощью свойства монотонности вероятности, что событие $$A$$, вероятность которого равна нулю или единице, не зависит ни от какого события $$B$$, в том числе и от самого себя.

Свойство 6. Если события $$A$$ и $$B$$ независимы, то независимы и события $$A$$ и $$\overline B$$, $$\overline A$$ и $$B$$, $$\overline A$$ и $$\overline B$$.

Доказательство. Так как $$A=(A \cap B)\cup(A \cap\overline B)$$, и события $$A\cap B$$ и $$A\cap\overline B$$ несовместны, то $$\Prob(A)=\Prob(A\cap B)+\Prob(A\cap\overline B)$$. Поэтому $$\Prob(A \cap\overline B)=\Prob(A)-\Prob(A\cap B) =\Prob(A)-\Prob(A)\Prob(B)=\\=\Prob(A)(1-\Prob(B)) =\Prob(A)\Prob(\overline B)$$. Остальные утверждения вытекают из первого.

Если у нас не два, а большее число событий, выполнение только одного равенства $$\Prob(A_1\cap\ldots\cap A_n)=\Prob(A_1)\cdot\ldots\cdot\Prob(A_n)$$ вовсе не означает независимости этих событий. Например, при таком равенстве события $$A_1$$ и $$A_2$$ вполне могут оказаться зависимыми.

Пример 31. Пусть $$0<\Prob(A)<1$$. События $$A_1=A_2=A,\,A_3=\emptyset$$ обладают свойством$$0=\Prob(A_1\cap A_2\cap A_3)=\Prob(A_1)\cdot\Prob(A_2)\cdot\Prob(A_3)=0,$$ что не мешает событиям $$A_1$$ и $$A_2$$ быть зависимыми:$$\Prob(A_1\cap A_2)=\Prob(A)\neq \Prob(A_1)\cdot\Prob(A_2)=\bigl(\Prob(A)\bigr)^2.$$

Хотелось бы независимостью нескольких событий считать такое свойство, при котором любые комбинации этих событий будут независимы между собой: например, независимы $$A_1\cap A_2$$ и $$A_3\cup A_4\cup A_5$$.

Определение 14. События $$A_1,\,\ldots,\,A_n$$ называются независимыми в совокупности, если для любого $$1\le k\le n$$ и любого набора различных меж собой индексов $$1 \le i_1,\, \ldots,\, i_k\le n$$ имеет место равенство$$\begin{equation}\label{3.2} \Prob(A_{i_1}\cap\ldots\cap A_{i_k})= \Prob(A_{i_1})\cdot\ldots\cdot\Prob(A_{i_k}). \end{equation}$$

Замечание. Если события $$A_1,\,\ldots,\,A_n$$ независимы в совокупности, то они попарно независимы, т.е. любые два события $$A_i$$ и $$A_j$$ независимы. Достаточно в равенстве (4.1) взять $$k=2$$. Обратное, как показывает следующий пример, неверно: из попарной независимости не вытекает независимость в совокупности.

Пример 32(пример Бернштейна).

Рассмотрим правильный тетраэдр, три грани которого окрашены соответственно в красный, синий, зеленый цвета, а четвертая грань содержит все три цвета. Событие $$A$$ ( $$B$$, $$C$$ ) означает, что выпала грань, содержащая красный (соответственно синий, зеленый) цвета.

Вероятность каждого из этих событий равна $$\frac12\mspace{1mu}$$, так как каждый цвет есть на двух гранях из четырех. Вероятность пересечения любых двух событий равна $$\frac14\mspace{1mu}$$, так как только одна грань из четырех содержит два цвета. Поэтому любые два события из трех независимы, так как $$\vphantom{\frac1{2_2}}\smash{\frac14=\frac12 \cdot \frac12\mspace{1mu}}$$.

Но вероятность события $$ABC$$ (на грани есть все три цвета) тоже равна $$\frac14\mspace{1mu}$$, а не $$\vphantom{\frac1{\sum_1}}\smash{\frac18}\mspace{1mu}$$, т.е. события не являются независимыми в совокупности.

Заметьте, что равенство (4.1) выполнено при $$k=2$$, но не при $$k=3$$.

Формула полной вероятности

Пример 33.

Есть три завода, производящих одну и ту же продукцию. Первый завод производит 25%, второй завод - 35%, третий - 40% всей производимой продукции. Брак составляет 5% от продукции первого завода, 3% от продукции второго и 4% от продукции третьего завода. Вся продукция смешивается и поступает в продажу. Найти:

Первая вероятность равна доле бракованных изделий в объеме всей продукции, т.е. $$0{,}05\cdot 0{,}25+0{,}03\cdot 0{,}35+0{,}04\cdot 0{,}4$$. Вторая вероятность равна доле брака первого завода среди всего брака, т.е.$$\frac{0{,}05 \cdot 0{,}25}{0{,}05 \cdot 0{,}25+0{,}03 \cdot 0{,}35+0{,}04 \cdot 0{,}4}.$$

Определение 15. Конечный или счетный набор попарно несовместных событий $$H_1,\, H_2,\, \ldots$$ таких, что $${\Prob(H_i)>0}$$ для всех $$i$$ и $${H_1\cup H_2\cup\,\ldots\,=\Omega}$$, называется полной группой событий или разбиением пространства $$\Omega$$.

События $$H_1,H_2,\ldots$$, образующие полную группу событий, часто называют гипотезами. При подходящем выборе гипотез для любого события $$A$$ могут быть сравнительно просто вычислены $$\Prob(A{\hspace{3pt}{\left|\right.}\mspace{1mu}} H_i)$$ и собственно $$\Prob(H_i)$$. Как, используя эти данные, посчитать вероятность события $$A$$?

Теорема 11 (формула полной вероятности). Пусть дана полная группа событий $$H_1$$, $$H_2,\,\ldots$$, Тогда вероятность любого события $$A$$ может быть вычислена по формуле$$\Prob(A)=\sum_{i=1}^\infty\Prob(H_i)\,\Prob(A{\hspace{3pt}{\left|\right.}\mspace{1mu}} H_i).$$

Доказательство. Заметим, что$$A = A\cap\Omega = A\cap\biggl(\,{\textstyle\bigcup\limits_{i=1}^\infty H_i}\biggr)= {\textstyle\bigcup\limits_{i=1}^\infty}\, (A\cap H_i),$$ и события $$A\cap H_1$$, $$A\cap H_2,\, \ldots$$, попарно несовместны. Поэтому$$\Prob(A)=\Prob\biggl(\,{\textstyle\bigcup\limits_{i=1}^\infty\, (A\cap H_i)}\biggr) =\sum_{i=1}^\infty\Prob(A\cap H_i)= \sum_{i=1}^\infty\Prob(H_i)\,\Prob(A{\hspace{3pt}{\left|\right.}\mspace{1mu}} H_i).$$ Во втором равенстве мы использовали $$\sigma$$ -аддитивность вероятностной меры, а в третьем - теорему 9 умножения вероятностей.

Формула Байеса

Теорема 12 (формула Байеса). Пусть $$H_1,H_2,\ldots$$ - полная группа событий, и $$A$$ - некоторое событие, вероятность которого положительна. Тогда условная вероятность того, что имело место событие $$H_k$$, если в результате эксперимента наблюдалось событие $$A$$, может быть вычислена по формуле$$\Prob(H_k{\hspace{3pt}{\left|\right.}\mspace{1mu}} A)= \frac{\Prob(H_k)\Prob(A{\hspace{3pt}{\left|\right.}\mspace{1mu}} H_k)} {\sum\limits_{i=1}^\infty\Prob(H_i)\,\Prob(A{\hspace{3pt}{\left|\right.}\mspace{1mu}} H_i)}.$$

Доказательство. По определению условной вероятности,$$\qquad\Prob(H_k{\hspace{3pt}{\left|\right.}\mspace{1mu}} A)=\frac{\Prob(H_k\cap A)}{\Prob(A)}= \frac{\Prob(H_k)\,\Prob(A{\hspace{3pt}{\left|\right.}\mspace{1mu}} H_k)} {\sum\limits_{i=1}^\infty\Prob(H_i)\,\Prob(A{\hspace{3pt}{\left|\right.}\mspace{1mu}} H_i)}. \qquad$$

Пример 34. Вернемся к примеру 33. Изделие выбирается наудачу из всей произведенной продукции. Рассмотрим три гипотезы: $$H_i=\{\text{изделие изготовлено i-м заводом}\} $$, $$i=1,2,3$$. Вероятности этих событий даны: $$\Prob(H_1)=0{,}25$$, $$\Prob(H_2)=0{,}35$$, $$\Prob(H_3)=0{,}4$$.

Пусть $$A=\{\text{изделие оказалось бракованным}\}$$. Даны также условные вероятности $$P(A{\hspace{3pt}{\left|\right.}\mspace{1mu}} H_1)=0{,}05$$, $$P(A{\hspace{3pt}{\left|\right.}\mspace{1mu}} H_2)=0{,}03$$, $$P(A{\hspace{3pt}{\left|\right.}\mspace{1mu}} H_3)=0{,}04$$.

Убедитесь, что полученные нами в примере 33 вероятности совпадают с вероятностями, вычисленными по формуле полной вероятности и по формуле Байеса.

Вероятности $$\Prob(H_i)$$, вычисленные заранее, до проведения эксперимента, называют априорными вероятностями ( a'priori - "до опыта"). Условные вероятности $$\Prob(H_i {\hspace{3pt}{\left|\right.}\mspace{1mu}} A)$$ называют апостериорными вероятностями ( a'posteriori - "после опыта"). Формула Байеса позволяет переоценить заранее известные вероятности после того, как получено знание о результате эксперимента. Эта формула находит многочисленные применения в экономике, статистике, социологии и т.п.

Пример 35. Два стрелка подбрасывают монетку и выбирают, кто из них будет стрелять по мишени (одной пулей). Первый стрелок попадает по мишени с вероятностью $$1$$, второй стрелок - с вероятностью $$10^{-5}$$.

Можно сделать два предположения об эксперименте: $$H_1$$ - стреляет 1-й стрелок (выпал герб) и $$H_2$$ - стреляет 2-й стрелок (выпала решка). Априорные вероятности этих гипотез одинаковы: $$\Prob(H_1)=\Prob(H_2)=\frac12$$.

Как изменятся вероятности гипотез после проведения опыта? Рассмотрим событие $$A$$ - пуля попала в мишень. Известно, что$$\Prob(A{\hspace{3pt}{\left|\right.}\mspace{1mu}} H_1)=1, \quad \Prob(A{\hspace{3pt}{\left|\right.}\mspace{1mu}} H_2)=10^{-5}.$$ Вероятность пуле попасть в мишень равна$$\Prob(A)=\frac12\cdot 1+\frac12\cdot 10^{-5}.$$

Предположим, что событие $$A$$ произошло. Тогда по формуле Байеса$$\Prob(H_1{\hspace{3pt}{\left|\right.}\mspace{1mu}} A)=\frac{\frac12 \cdot 1}{\frac12 \cdot 1+\frac12 \cdot 10^{-5}}= \frac{1}{1+10^{-5}}\approx 0{,}999\,99,$$ $$\Prob(H_2{\hspace{3pt}{\left|\right.}\mspace{1mu}} A)=\frac{\frac12 \cdot 10^{-5}}{\frac12 \cdot 1+\frac12 \cdot 10^{-5}}= \frac{10^{-5}}{1+10^{-5}}\approx 0{,}000\,01.$$ Попадание пули в мишень сделало выпадение герба в $$10^{5}$$ раз более вероятным, чем выпадение решки.