D. Элементарная теория вероятностей

Теория вероятностей играет очень важную роль в криптографии, потому что она обеспечивает лучший способ количественно определить степень неопределенности, а криптография в большинстве случаев основана на неопределенности. Это приложение рассматривает основные концепции теории вероятностей, которые необходимы, чтобы понять некоторые темы, рассмотренные в этой книге.

D.I. Введение

Мы начинаем с некоторых определений, аксиом и свойств.

Определения

Случайный эксперимент

Эксперимент может быть определен как любое действие, которое на некоторые изменения на входе отвечает изменениями на выходе. Случайный эксперимент - эксперимент, в котором одно и то же значение на входе может дать различные значения на выходе. Другими словами, выход не может быть однозначно определен значением на входе. Например, когда мы бросаем правильную монету два раза, вход (монета) один и тот же, но выход ("орел" или "решка") может быть различен.

Результаты

Каждый выход случайного эксперимента называется результатом.Например, когда бросается шестисторонняя игральная кость, возможными событиями могут быть выпадение одного из перечисленных ниже чисел - 1, 2, 3, 4, 5 и 6.

Типовое пространство

Типовое пространство элементарных событий ( S ) является множеством всех возможных результатов случайного эксперимента. При бросании монеты пространство элементарных событий имеет только два элемента, S = {"орел", "решка"}. При бросании игровой кости типовое пространство имеет шесть элементов, S = {1, 2, 3, 4, 5, 6}. Типовое пространство иногда называют вероятностным пространством, случайным пространством или полным множеством (универсумом).

События

Когда случайный эксперимент закончен, нас интересует полученное подмножество типового пространства, не обязательно состоящее из одного результата. Например, когда игральная кость брошена, нас может интересовать выпадение числа 2, либо любого четного числа, либо числа меньше, чем 4. Каждый из этих возможных результатов можно представлять как событие. Событие A является подмножеством типового пространства, содержащее один результат. Все ранее упомянутые события могут быть определены следующим образом:

• Получение 2 (простой результат): A₁ = {2}
• Получение четного числа: A₂ = {2, 4, 6}
• Получение числа меньше, чем 4: A₃ = {1, 2, 3}

Определение вероятности

Главная идея в теории вероятностей - идея появления события. Но какова вероятность данного события? Этот вопрос обсуждался в течение многих столетий. Недавно математики пришли к соглашению, что мы можем определить вероятности событий, используя три метода: классический, статистический и вычислительный.

Классическое определение вероятности

В классическом определении вероятности вероятность события - число, интерпретируемое как P (A) = n_A/n, где n - общее количество возможных результатов и n_A - число возможных результатов, связанных с событием A. Это определение полезно, только если каждый результат одинаково вероятен.

Пример D.I

Мы бросаем правильную монету. Какова вероятность, что результатом этого эксперимента будет "орел"?

Решение

Общее количество возможных результатов - 2 ("орел" или "решка"). Число возможных результатов, связанных с этим событием, - 1 ( выпадает "решка"). Поэтому мы имеем

P ("решка") = nрешка/n = 1/2 .

Пример D.2

Мы бросаем игральную кость. Какова вероятность выпадения цифры 5?

Решение

Общее количество возможных результатов - 6, S = {1, 2, 3, 4, 5, 6}. Число возможных результатов, связанных с этим событием, - 1 (выпадение 5). Поэтому мы имеем

P (5) = n5 /n = 1/6.

Статистическое определение вероятности

В статистическом определении вероятности эксперимент выполняется n раз при равных условиях. Если событие возникает m раз.и n является разумно большим, вероятность события -- это число, интерпретируемое как P (A) = m/n. Это определение полезно, когда события не одинаково вероятны.

Пример D.3

Мы бросаем неправильную монету 10 000 раз и получаем "орел" 2600 раз и "решку" 7400 раз. Поэтому P ("орел") = 2600/10 000 = 0,26 и P (решка) = 7400/10 000 = 0,74.

Вычислительное определение вероятности

В вычислительном определении вероятности определяют вероятность события исходя из вероятностей других событий, используя аксиомы и свойства, приведенные ниже.

Аксиомы

Аксиомы вероятности не могут быть доказаны. Они вводятся как предположения при их использовании в теории вероятностей. Следующие три аксиомы - это фундаментальные аксиомы теории вероятностей.

• Аксиома 1. Вероятность события - это неотрицательное значение: P (A)> 0.
• Аксиома 2. Вероятность случайного пространства равна 1: P (S) = 1. Другими словами, при испытаниях всегда возникает один из возможных в пространстве результатов.
• Аксиома 3. Если A₁, A₂, A₃... - пара непересекающихся событий, то

  P (A1 , или A2,  или A3, или ...) = P (A1) + P (A2 ) + P (A3) + ooo

  События A₁, A₂, A₃...являются попарно непересекающимися событиями, если появление каждого из них не изменяет вероятность появления других.

Свойства

Если принять вышеупомянутые аксиомы, можно доказать список свойств. Ниже приведен минимальный список свойств, требуемый для понимания разделов в этой книге (доказательства следует искать в книгах по теории вероятностей):

• Вероятность события находится всегда между 0 и 1: 0 < P (A) < 1.
• Вероятность никакого результата - 0: P (S) = 0. Другими словами, если мы бросаем игральную кость, вероятность, что одно из чисел будет равно 7, равно 0 (невозможное событие).
• Если - дополнение A, то P ( ) = 1 - P (A). Например, если вероятность выпадения цифры 2 при бросании игральной кости - 1/6, вероятность неполучения цифры 2 - это (1 - 1/6).
• Если A - подмножество B, то P (A) P (B). Например, когда мы бросаем игральную кость P (2 или 3), - меньше чем P (2 или 3 или 4).
• Если события A, B, C... независимы, то P (A и B и C и ...) = P (A) P (B) P (C) ...

Условная вероятность

Появление одного события может быть связано с появлением другого события.

Условную вероятность события B, при условии возникновения события A, записывают в виде P (B|A). Может быть доказано, что P (B |A) =P (A и B)/P (A). Примечание: если A и B - независимые события, то P (B|A) = P (B).

Пример D.4

Бросается игральная кость. Если нам сообщают, что результат - четное число, какова вероятность, что это - 4?

Решение

P (4) = P (4)/P (четн). Если число является четным, есть только один способ получить число 4, P (4) = 1/6. P (четн) = P (2, или 4, или 6) = 3/6. Поэтому,

P (4 | четн) = (1/6) / (3/6) = 1/3

Обратите внимание, что условная вероятность 'P (4 | четн) больше, чем P (4).

D.2. Случайные переменные

Переменная может принять различные значения. Переменные, значения которых зависят от результатов случайного эксперимента, названы случайными переменными.

Непрерывные случайные переменные

Случайные переменные, которые могут принимать бесконечное число значений, называются непрерывными случайными переменными. Мы в криптографии обычно не интересуемся этим типом случайных переменных.

Дискретные случайные переменные

В криптографии нас интересуют случайные эксперименты с конечным числом результатов (такие как с игральной костью). Случайные переменные, связанные с этим типом эксперимента, называются дискретными случайными переменными. Дискретная случайная переменная - отображение множества результатов на множество значений реальных чисел. Например, мы можем отобразить результаты подбрасывания монеты ("орел", "решка") на множество чисел {0, 1}.