НОУ ИНТУИТ | Эконометрика. Лекция 8: Статистика нечисловых данных

Учитесь и получайте официальные документы БЕСПЛАТНО. Вы можете поддержать наш проект.

Регистрация Вход

Твой путь к знаниям!

Опубликован: 16.12.2009 | Уровень: для всех | Доступ: свободно

|

Вам нравится? Нравится 55 студентам

| Поделиться |

Поддержать программу

Структура статистики объектов нечисловой природы

Как уже отмечалось, термин "статистика объектов нечисловой природы" впервые появился в 1979 г. в монографии [3]. В том же году в статье [16] была сформулирована программа развития этого нового направления прикладной математической статистики, которая к 1985 г. в основном была реализована.

Статистика объектов нечисловой природы как самостоятельное научное направление была выделена в нашей стране. Со второй половины 80-х годов существенно возрос интерес к этой тематике и у зарубежных исследователей. Это нашло отражение, в частности, на Первом Всемирном Конгрессе Общества математической статистики и теории вероятностей им. Бернулли, состоявшемся в сентябре 1986 г. в Ташкенте. Статистика объектов нечисловой природы используется в нормативно-технической и методической документации, ее применение позволяет получить существенный технико-экономический эффект (см. например, сводку [26]).

Однако тематика статистики объектов нечисловой природы обсуждалась до сих пор в основном в кругу развивающих ее специалистов, в результате она недостаточно отражена в монографической литературе. Цель настоящего пункта - дать введение в статистику объектов нечисловой природы, выделить ее структуру, указать основные идеи и результаты.

Напомним, что объектами нечисловой природы (см. также предыдущие пункты настоящей лекции) называют элементы пространств, не являющихся линейными. Примерами являются бинарные отношения (ранжировки, разбиения, толерантности), множества, последовательности символов (тексты). Объекты нечисловой природы нельзя складывать и умножать на числа, не теряя при этом содержательного смысла. Этим они отличаются от издавна используемых в прикладной статистике (в качестве элементов выборок) чисел, векторов и функций.

Прикладную статистику по виду статистических данных принято делить на следующие направления:

статистика случайных величин (одномерная статистика);
многомерный статистический анализ;
статистика временных рядов и случайных процессов;
статистика объектов нечисловой природы.

При создании теории вероятностей и математической статистики исторически первыми были рассмотрены объекты нечисловой природы - белые и черные шары в урне. На основе соответствующих вероятностных моделей были введены биномиальное, гипергеометрическое и другие распределения, получены теоремы Муавра-Лапласа, Пуассона и др. Современное развитие этой тематики привело, в частности, к созданию теории статистического контроля качества продукции по альтернативному признаку (годен - не годен) в работах А.Н.Колмогорова, Б.В. Гнеденко, Ю.К. Беляева, Я.П. Лумельского и многих других (см., например, классические монографии [7], [8]).

В семидесятых годах в связи с запросами практики весьма усилился интерес к статистическому анализу нечисловых данных. Московская группа, организованная Ю.Н. Тюриным и другими специалистами вокруг созданного в 1973 г. научного семинара "Экспертные оценки и нечисловая статистика", развивала в основном вероятностную статистику нечисловых данных. Были установлены разнообразные связи между различными видами объектов нечисловой природы и изучены свойства этих объектов. Московской группой выпущены десятки сборников и обзоров, перечень которых приведен в итоговой работе [4]. Хотя в названиях многих из этих изданий стоят слова "экспертные оценки", анализ содержания сборников показывает, что подавляющая часть статей посвящена математико-статистическим вопросам, а не проблемам проведения экспертиз. Частое употребление указанных слов отражает лишь один из импульсов, стимулирующих развитие статистики объектов нечисловой природы и идущих от запросов практики. При этом необходимо подчеркнуть, что полученные результаты могут и должны активно использоваться в теории и практике экспертных оценок.

Новосибирская группа (Г.С. Лбов, Б.Г. Миркин и др.), как правило, не использовала вероятностные модели, т.е. вела исследования в рамках анализа данных. В московской группе в рамках анализа данных также велись работы, в частности, Б.Г.Литваком. Исследования по статистике объектов нечисловой природы выполнялись также в Ленинграде, Ереване, Киеве, Таллине, Тарту, Красноярске, Минске, Днепропетровске, Владивостоке, Калинине и других научных центрах.

Внутреннее деление статистики объектов нечисловой природы. Внутри рассматриваемого направления эконометрики и прикладной статистики выделим следующие области.

Статистика конкретных видов объектов нечисловой природы.
Статистика в пространствах общей (произвольной) природы.
Применение идей, подходов и результатов статистики объектов нечисловой природы в классических областях прикладной статистики.

Единство рассматриваемому направлению придает прежде всего вторая составляющая, позволяющая с единой точки зрения подходить к статистическим задачам описания данных, оценивания, проверки гипотез при рассмотрении выборки, элементы которой имеют ту или иную конкретную природу. Внутри первой составляющей рассмотрим:

теорию измерений;
статистику бинарных отношений;
теорию люсианов (бернуллиевских векторов);
статистику случайных множеств;
статистику нечетких множеств;
многомерное шкалирование;
аксиоматическое введение метрик.

Перечисленные разделы тесно связаны друг с другом, как продемонстрировано, в частности, в работах [3], [15] и первых двух пунктах настоящей лекции. Вне данного перечня остались работы по хорошо развитым классическим областям - статистическому контролю, таблицам сопряженности, а также по анализу текстов и некоторые другие (см. [4]). Таким образом, рассмотрим постановки 1970-2000 гг. вероятностной статистики объектов нечисловой природы.

Статистика в пространствах общей природы. Пусть $x_1,x_2,\dots,x_n$ -элементы пространства , не являющегося линейным. Как определить среднее значение для $x_1,x_2,\dots,x_n$ ? Поскольку нельзя складывать элементы , сравнивать их по величине, то необходимы подходы, принципиально новые по сравнению с классическими. В статистике объектов нечисловой природы предложено использовать показатель различия $d:X^2 \to [0; +\infty)$ (содержательный смысл показателя различия: чем больше d(x,y) , тем больше различаются и ) и определять среднее как решение экстремальной задачи

$E_n(d)=Arg min\{\sum_{1 \le i \le n}d(x_i,x), x \in X\}$

( 1)

Таким образом, среднее E_n(d) - это совокупность всех тех $x\in X$ , для которых функция

$f_n(x)=\frac 1n \sum_{1 \le i \le n}d(x_i, x)$

( 2)

достигает минимума на .

Для классического случая X = R_1 при d(x,y) = (x-y)^2 имеем $E_n(d) =\bar x$ , а при d(x,y)=|x-y| среднее E_n(d) совпадает с выборочной медианой (при нечетном объеме выборки; а при четном - E_n(d) является отрезком с концами в двух средних элементах вариационного ряда).

Для ряда конкретных объектов среднее как решение экстремальной задачи вводилось рядом авторов. В 1929 г. итальянские статистики Джини и Гальвани применили такой подход для усреднения точек на плоскости и в пространстве Американский исследователь Джон Кемени решение задачи (1) называл медианой или средним для выборки, состоящей из ранжировок (см. монографию [24]). При моделировании лесных пожаров согласно выражению (1) было введено "среднеуклоняемое множество" для описания средней выгоревшей площади (см. об этом в монографии [3]). Общее определение среднего вида (1) было впервые введено в работе [16].

Основной результат, связанный со средними вида (1) - аналог закона больших чисел. Пусть $x_1,x_2,\dots,x_n$ - независимые одинаково распределенные случайные элементы со значениями в пространстве общей природы X. Теоретическим средним, или математическим ожиданием, в статистике объектов нечисловой природы называют

$E_n(x_1,d)=Arg min\{Ed(x_1,x), x \in X\}$

( 3)

Закон больших чисел состоит в сходимости E_n(d) к E_n(x_1,d) при $n \to \infty$ . Поскольку и эмпирическое, и теоретическое средние - множества, то понятие сходимости требует уточнения.

Одно из возможных уточнений, впервые введенное в работе [16], таково. Для функции

$f(x)Ed(x_1(\omega),x), f:X \to R^1$

( 4)

введем понятие " $\epsilon$ -пятки" $(\epsilon>0)$

$K_{\epsilon}(f)=\{x \in X:f(x) < inf\{f(y), y \in X\}+\epsilon\}$

( 5)

Очевидно, $\epsilon$ - пятка - это окрестность Argmin(f) (если он достигается), заданная в терминах минимизируемой функции. Тем самым снимается вопрос о выборе метрики в пространстве . Тогда при некоторых условиях регулярности для любого $\epsilon \gt;0$ вероятность события

$\{\omega:E_n(d)\subseteq K_{\delta}(f)\}$

( 6)

стремится к 1 при. $n \to \infty$ , т.е. справедлив закон больших чисел. Подробное доказательство приводится в следующем пункте настоящей лекции.

Естественное обобщение рассматриваемой задачи позволяет построить общую теорию оптимизационного подхода в статистике. Как известно, большинство задач прикладной статистики может быть представлено в качестве оптимизационных [12]. Как себя ведут решения экстремальных задач? Частные случаи этой постановки: как ведут себя при росте объема выборки оценки максимального правдоподобия, минимального контраста (в том числе робастные в смысле Тьюки-Хьюбера - см. "Проблемы устойчивости эконометрических процедур" ), оценки нагрузок в факторном анализе и методе главных компонент при отсутствии нормальности, оценки метода наименьших модулей в регрессии и т.д.

Обычно легко устанавливается, что для некоторых пространств и последовательности случайных функций. f_n(x) при. $n \to \infty$ найдется функция f(x) такая, что

$f_n(x) \to f(x)$

( 7)

для любого $x \in X$ (сходимость по вероятности). Требуется вывести отсюда, что

$Arg min f_n(x) \to Arg min f(x)$

( 8)

т.е. решения экстремальных задач также сходятся. Понятие сходимости в соотношении (8) уточняется с помощью $\epsilon$ -пяток, как это сделано выше для закона больших чисел. Условия регулярности, при которых справедливо предельное соотношение (8), приведены в исследовании [27]. В подавляющем большинстве реальных задач эти условия выполняются.

Как оценить распределение случайного элемента в пространстве общей природы? Поскольку понятие функции распределения неприменимо, естественно использовать непараметрические оценки плотности. Что такое плотность распределения вероятностей в пространстве произвольной природы? Это функция $g:X\to[0, +\infty)$ такая, что для любого измеримого множества (т.е. случайного события) $A \subseteq X$ справедливо соотношение

$P(x_1, (\omega) \in A)= \int_Ag(x)\mu(dx)$

( 9)

где. $\mu$ - некоторая мера в . Ряд непараметрических оценок плотности был предложен в работе [16]. Например, аналогом ядерных оценок плотности является оценка

$g_n(x)=\frac{1}{v(h_n,x)}\sum_{1 \le i \le n}H(\frac{d(x_i, x)}{h_n})$

( 10)

где - показатель различия; - ядерная функция; h_n - последовательность положительных чисел; v(h_n,x) - нормирующий множитель. Удалось установить, что, что статистики типа (10) обладают такими же свойствами, по крайней мере при фиксированном , что и их классические аналоги при X = R^1 . В частности, такой же скоростью сходимости. Некоторые изменения необходимы при рассмотрении дискретных , каковыми являются многие пространства конкретных объектов нечисловой природы. С помощью непараметрических оценок плотности можно развивать регрессионный анализ, дискриминантный анализ и другие направления в пространствах общей природы.

Для проверки гипотез согласия, однородности, независимости в пространствах общей природы могут быть использованы статистики интегрального типа

$\int F_n(x, \omega)dF_n(x, \omega)$

( 11)

где $f_n(x, \omega)$ -последовательность случайных функций на $X; F_n(x, \omega)$ - последовательность случайных распределений (или зарядов). Обычно $f_n(x, \omega)$ при $n \to \infty$ сходится по распределению к некоторой случайной функции $f_x, \omega)$ , а $F_n(x, \omega)$ - к распределению F(x) . Тогда распределение статистики интегрального типа (11) сходится к распределению случайного элемента

$\int f(x,\omega)dF(x)$

( 12)

Условия, при которых это справедливо, даны в работе [28]. Пример применения - вывод предельного распределения статистики типа омега-квадрат для проверки симметрии распределения (см. "Статистический анализ числовых величин (непараметрическая статистика)" ).

Перейдем к статистике конкретных видов объектов нечисловой природы.

Дальше >>

Авторизоваться

Эконометрика

Статистика нечисловых данных

Структура статистики объектов нечисловой природы

Вопросы и ответы