Асимптотические свойства критериев симметрии и согласия, основанных на характеризациях. Асимптотические свойства критериев согласия для проверки гипотез в схеме выбора без возвращения, основанных на заполнении ячеек в обобщенной схеме размещения колодзей

Для описания асимптотических оценок имеется система нотаций:

§ Говорят, что f(n)=O (g(n)), если существует такая константа c>0 и такое число n0, что выполняется условие 0≤f(n)≤c*g(n) для всех n≥n0. Более формально:

(()) { () | 0, } 0 0 O g n = f n $c > $n "n > n £ f n £ cg n

O (g(n)) используется для указания функций, которые не более чем в постоянное число раз превосходят g(n), этот вариант используется для описания оценок сверху (в смысле «не хуже чем»). Когда речь идет о конкретном алгоритме решения конкретной задачи, то целью анализа временной сложности этого алгоритма является получение оценки для времени в худшем или в среднем, обычно асимптотической оценки сверху O (g(n)), при возможности – и асимптотической оценки снизу W(g(n)), а еще лучше - асимптотически точной оценки Q(g(n)).

Но при этом остается вопрос – а могут ли быть для этой задачи алгоритмы решения еще лучше? Этот вопрос ставит задачу о нахождении нижней оценки временной сложности для самой задачи (по всем возможным алгоритмам ее решения, а не для одного из известных алгоритмов ее решения). Вопрос получения нетривиальных нижних оценок очень сложный. На сегодняшний день имеется не так уж много таких результатов, но для некоторых ограниченных моделей вычислителей доказаны нетривиальные нижние оценки, и некоторые из них играют важную роль в практическом программировании. Одной из задач, для которых известна нижняя оценка временной сложности, является задача сортировки:

§ Дана последовательность из n элементов a1,a2,... an, выбранных из множества, на котором задан линейный порядок.

§ Требуется найти перестановку p этих n элементов, которая отобразит данную последовательность в неубывающую последовательность ap(1),ap(2),... ap(n), т.е. ap(i)≤ap(i+1) при 1≤iметод сведения . Пусть у нас есть две задачи A и B, которые связаны так, что задачу A можно решить следующим образом:

1) Исходные данные к задаче A преобразуются в соответствующие исходные

данные для задачи B.

2) Решается задача B.

3) Результат решения задачи B преобразуется в правильное решение задачи A .__ В этом случае мы говорим, что задача A сводима к задаче B. Если шаги (1) и (3) вышеприведенного сведения можно выполнить за время O (t(n)), где, как обычно, n – 25 «объем» задачи A , то скажем, что A t(n)-сводима к B, и запишем это так: A μt(n) B. Вообще говоря, сводимость не симметричное отношение, в частном случае, когда A и B взаимно сводимы, мы назовем их эквивалентными. Следующие два самоочевидных утверждения характеризуют мощь метода сведения в предположении, что это сведение сохраняет порядок «объема» задачи.

«O» большое и «o» малое ( и ) - математические обозначения для сравнения асимптотического поведения функций. Используются в различных разделах математики, но активнее всего - в математическом анализе, теории чисел и комбинаторике, а также в информатике и теории алгоритмов.

, «о малое от » обозначает «бесконечно малое относительно » [ , пренебрежимо малую величину при рассмотрении. Смысл термина «О большое» зависит от его области применения, но всегда растёт не быстрее, чем, «O большое от » (точные определения приведены ниже).

В частности:

Продолжение 7

фраза «сложность алгоритма есть » означает, что с увеличением параметра, характеризующего количество входной информации алгоритма, время работы алгоритма не может быть ограничено величиной, которая растет медленнее, чем n !;

фраза «функция является „о“ малым от функции в окрестности точки » означает, что с приближением к уменьшается быстрее, чем (отношение стремится к нулю).

Правило суммы : Пусть конечное множество M разбито на два непересекающихся подмножества M 1 и M 2 (в объединении дающих все множество М). Тогда мощность |M| = |M 1 | + |M 2 |.

Правило произведения : Пусть в некотором множестве объект а может быть выбран n способами, и после этого (то есть после выбора объекта а) объект b может быть выбран m способами. Тогда объект ab может быть выбран n*m способами.

Замечание : Оба правила допускают индуктивное обобщение. Если конечное множество М допускает разбиение на r попарно непересекающихся подмножеств M 1 , M 2 ,…,M r , то мощность |M| = |M 1 |+|M 2 |+…+|M r |. Если объект A 1 может быть выбран k 1 способами, затем (после выбора объекта A 1) объект A 2 может быть выбран k 2 способами, и так далее и наконец, объект AR может быть выбран kr способами, то объект А 1 А 2 …А r может быть выбран k 1 k 2 …k r способами.

Асимптотическим поведением (или асимптотикой) функции в окрестности некоторой точки а (конечной или бесконечной) понимают характер изменения функции при стремлении ее аргумента х к этой точке. Это поведение обычно стараются представить с помощью другой, более простой и изученной функции, которая в окрестности точки а с достаточной точностью описывает изменение интересующей нас функции или оценивает ее поведение с той или иной стороны. В связи с этим возникает задача сравнения характера изменения двух функций в окрестности точки а, связанная с рассмотрением их частного. Особый интерес представляют случаи, когда при х а обе функции являются либо бесконечно малыми (б.м.), либо бесконечно большими (б.б.). 10.1. Сравнение бесконечно малых функций Основная цель сравнения б.м. функций состоит в сопоставлении характера их приближения к нулю при х а, или скорости их стремления к нулю. Пусть б.м. при х а функции а(я) и Р(х) отличны от нуля в некоторой проколотой окрестности (а) точки а, а в точке а они равны нулю или не определены. Определение 10.1. Функции а(ж) и 0(х) называют б.м. одного порядка при а и записывают ог(а:)=в О (/?(«)) (символ О читают „О большое"), если при х а существует отличный от нуля конечный предел отношения а(ж)//?(я), т.е. Очевидно, что тогда, согласно (7.24), ЗИт €R\{0}, и правомерна запись Х^а0[а(х)). Символ О обладает свойством транзитивности, т.е. если - в самом деле, с учетом определения 10.1 и свойства произведения функций (см. (7.23)), имеющих конечные (в данном случае не равные нулю) пределы, получим АСИМПТОТИЧЕСКОЕ ПОВЕДЕНИЕ ФУНКЦИЙ. Сравнение бесконечно малых функций. Определение 10.2. Функцию а(х) называют б.м. более высокого порядка малости по сравнению с (3(х) (или относительно /3(х)) при х а и записывают) (символ о читают ио малое если существует и равен нулю предел отношения а В этом случае также говорят, что функция является б.м. более низкого порядка малости по сравнению с а(х) при х а, причем слово малости обычно опускают (как и в случае более высокого порядка в определении 10.2). Сказанное означает, что если lim (то функция /}(х) является, согласно определению 10.2, б.м. более высокого порядка по сравнению с а(х) при х а и а(я) есть б.м. более низкого порядка по сравнению с /3(х) при х а, ибо в этом случае lijTi (fi(x)/ot(x)) . Так что можно записать Согласно теореме 7.3 о связи функции, ее предела и б.м. функции из (10.3) следует, что ot) - функция, б.м. при. Отсюда а(х) , т.е. значения |а(з)| при х, близких к а, много меньше значений \0(х)\. Иными словами, функция а(х) стремится к нулю быстрее функции /?(х). Теорема 10.1. Произведение любых б.м. при х а функций а(х) и Р(х)} отличных от нуля в некоторой проколотой окрестности точки а, есть при х-¥а б.м. функция более высокого порядка по сравнению с каждым из сомножителей. Действительно, согласно определению 10.2 б.м. более высокого порядка (с учетом определения 7.10 б.м. функции), равенства означают справедливость утверждения теоремы. Равенства, содержащие символы О и о, иногда называют асимптотическими оценками. Определение 10.3. Функции ot(x) и /3(х) называют несравнимыми б.м. при х -¥ а, если не существует ни конечного, ни бесконечного предела их отношения, т.е. если $ lim а(х)/0(х) (р£внокак $ lim 0(х)/а(х)). Пример 10.1. а. Функции а(х) = х и /?(x) = sin2ar в силу определения 10.1 - б.м. одного порядка при х 0, так как с учетом (б. Функция а{х) = 1 -coss, по определению 10.2, - б.м. более высокого порядка по сравнению с 0(х) = х при х 0, поскольку с учетом в. Функция а(зг) = \/x есть б.м. более низкого порядка по сравнению с fl(x) = х при х 0, так как г. Функции a(s) = = х согласно определению 10.3 - несравнимые б.м. при х 0, поскольку предела АСИМПТОТИЧЕСКОЕ ПОВЕДЕНИЕ ФУНКЦИЙ. Сравнение бесконечно малых функций. не существует (ни конечного, ни бесконечного - см. пример 7.5). Степенная функция х11 с показателем степени п 6 N, п > 1, является при х а б.м. более высокого порядка по сравнению с хп~1} т.е. япа=ао(а:п"*1), так как lim (хЛ/хп"1) = При необходимости более точной сравнительной характеристики поведения б.м. функций при х - а одну из них выбирают в качестве своего рода эталона и называют ее основной. Конечно, выбор основной б.м. в известной мере произволен (стремятся выбрать попроще: х при ж-*0; х-1 при х -41; 1/х при х ->оо и т.п.). Из степеней 0к(х) основной б.м. функции /}(х) с различными показателями к > 0 (при к ^ 0 0к(х) не является б.м.) составляют шпалу сравнения для оценки более сложной б.м. функции a(z). Определение 10.4. Функцию a(z) называют б.м. к-го порядка малости относительно (3(х) при х а, а число к - порядком малости, если функции a(z) и /Зк(х) являются б.м. одного порядка при х а) т.е. если Слово „малости" и в этом случае обычно опускают. Отметим: 1) порядок к одной б.м. функции относительно другой может быть любым положительным числом; 2) если порядок функции а(х) относительно /3(х) равен к, то порядок функции Р(х) относительно а(х) равен 1/к; 3) не всегда для б.м. функции а(х), даже сравнимой со всеми степенями /?*(х), можно указать определенный порядок к. Пример 10.2. а. Функция cosx, согласно определению 10.4,- б.м. порядка к = 2 относительно 0(х) = х при х 0, так как с учетом б. Рассмотрим функции. Покажем, что при любом Действительно, согласно (7.32). Таким образом, б.м. при х-»+0 функция а1/1 сравнима с хк при любом к > О, но указать для этой функции порядок малости относительно х не удается. # Определить порядок одной б.м. функции относительно другой не всегда просто. Можно рекомендовать такой порядок действий: 1) написать под знаком предела отношение а(х)/0к(х)\ 2) проанализировать записанное отношение и попытаться упростить его; 3) опираясь на известные результаты, выдвинуть предположение о возможном значении к} при котором будет существовать не равный нулю конечный предел; 4) проверить предположение путем вычисления предела. Пример 10.3. Определим порядок б.м. функции tgx - sin х относительно х при х -» 0, т.е. найдем такое число к > О, чтобы Имеем АСИМПТОТИЧЕСКОЕ ПОВЕДЕНИЕ ФУНКЦИЙ. Сравнение бесконечно малых функций. На этом этапе, зная, что при х 0, согласно (7.35) и (7.36), (sinx)/x 1 и cosx -> 1, и учитывая (7.23) и (7.33), можно определить, что условие (10.7) будет выполнено при к = 3. Действительно, непосредственное вычисление предела при к = 3 дает значение А = 1/2: Отметим, что при к > 3 получим бесконечный предел, а при предел будет равен нулю.

Определение . Направление, определяемое ненулевым вектором называется асимптотическимнаправлением относительно линии второго порядка, если любая прямая этого направления (то есть параллельная вектору ) либо имеет с линией не более одной общей точки, либо содержится в этой линии.

? Сколько общих точек может быть у линии второго порядка и прямой асимптотического направления относительно этой линии?

В общей теории линий второго порядка доказывается, что если

То ненулевой вектор ( задаёт асимптотическое направление относительно линии

(общий критерий асимптотического направления ).

Для линий второго порядка

если , то нет асимптотических направлений,

если то существует два асимптотических направления,

если то существует только одно асимптотическое направление.

Полезной оказывается следующая лемма (критерий асимптотического направления линии параболического типа ).

Лемма . Пусть - линия параболического типа.

Ненулевой вектор имеет асимптотическое направление

относительно . (5)

(Задача. Доказать лемму.)

Определение . Прямая асимптотического направления называется асимптотой линии второго порядка, если эта прямая либо не пересекается с , либо содержится в ней.

Теорема . Если имеет асимптотическое направление относительно , то асимптота, параллельная вектору , определяется уравнением

Заполняем таблицу.

ЗАДАЧИ .

1. Найти векторы асимптотических направлений для следующих линий второго поря дка:

4 - гиперболического типа два асимптотических направления.

Воспользуемся критерием асимптотического направления:

Имеет асимптотическое направление относительно данной линии 4 .

Если =0, то =0, то есть - нулевой. Тогда Поделим на Получаем квадратное уравнение: , где t = . Решаем это квадратное уравнение и находим два решения: t = 4 и t = 1. Тогда асимптотические направления линии .

(Можно рассмотреть два способа, так как линия – параболического типа.)

2. Выясните, имеют ли оси координат асимптотические направления относительно линий второго порядка:

3. Напишите общее уравнение линии второго порядка, для которой

а) ось абсцисс имеет асимптотическое направление;

б) Обе оси координат имеют асимптотические направления;

в) оси координат имеют асимптотические направления и О – центр линии.

4. Напишите уравнения асимптот для линий:

а) ng w:val="EN-US"/>y=0"> ;

5. Докажите, что если линия второго порядка имеет две непараллельные асимптоты, то их точка пересечения является центром данной линии.

Указание: Так как есть две непараллельные асимптоты, то существует два асимптотических направления, тогда , а, значит, линия – центральная.

Запишите уравнения асимптот в общем виде и систему для нахождения центра. Всё очевидно.

6.(№920) Напишите уравнение гиперболы, проходящей через точку А(0, -5) и имеющей асимптоты х – 1 = 0 и 2х – y + 1 = 0.

Указание . Воспользуйтесь утверждением предыдущей задачи.

Домашнее задание . , №915(в,д,е), №916 (в,г,д), №920 (если не успели);

Шпаргалки;

Силаев, Тимошенко. Практические задания по геометрии,

1 семестр. С.67, вопросы 1-8, с.70, вопросы 1-3 (устно).

ДИАМЕТРЫ ЛИНИИ ВТОРОГО ПОРЯДКА.

СОПРЯЖЕННЫЕ ДИАМЕТРЫ.

Дана аффинная система координат .

Определение. Диаметром линии второго порядка, сопряженным вектору не асимптотического направления относительно , называется множество середин всех хорд линии , параллельных вектору .

На лекции доказано, что диаметр – это прямая и получено её уравнение

Рекомендации : Показать (на эллипсе), как строится (задаём не асимптотическое направление; проводим [две] прямые этого направления, пересекающие линию; находим середины отсекаемых хорд; проводим через середины прямую – это и есть диаметр).

Обсудить:

1. Почему в определении диаметра берётся вектор не асимптотического направления. Если не могут ответить, то попросите построить диаметр, например, для параболы.

2. Любая ли линия второго порядка имеет хотя бы один диаметр? Почему?

3. На лекции доказано, что диаметр – это прямая. Серединой какой хорды является точка М на рисунке?

4. Посмотрите на скобки в уравнении (7). Что они напоминают?

Вывод: 1) каждый центр принадлежит каждому диаметру;

2) если существует прямая центров, то существует единственный диаметр.

5. Какое направление имеют диаметры линии параболического типа? (Асимптотическое)

Доказательство (наверно, на лекции).

Пусть диаметр d, заданный уравнением (7`) сопряжен вектору не асимптотического направления. Тогда его направляющий вектор

(-(), ). Покажем, что этот вектор имеет асимптотическое направление. Воспользуемся критерием вектора асимптотического направления для линии параболического типа (см.(5)). Подставляем и убеждаемся (не забываем, что .

6. Сколько диаметров у параболы? Их взаимное расположение? Сколько диаметров у остальных линий параболического типа? Почему?

7. Как построить общий диаметр некоторых пар линий второго порядка (см. вопросы 30, 31 далее).

8. Заполняем таблицу, обязательно делаем рисунки.

1. . Напишите уравнение множества середин всех хорд, параллельных вектору

2. Напишите уравнение диаметра d, проходящего через точку К(1,-2) для линии .

Этапы решения :

1-й способ .

1. Определяем тип (чтобы знать, как ведут себя диаметры этой линии).

В данном случае линия центральная, тогда все диаметры проходят через центр С.

2. Составляем уравнение прямой, проходящей через две точки К и С. Это и есть искомый диаметр.

2-й способ .

1. Записываем уравнение диаметра d в виде (7`).

2. Подставив в это уравнение координаты точки К, находим зависимость между координатами вектора, сопряженного диаметру d.

3. Задаём этот вектор, учитывая найденную зависимость, и составляем уравнение диаметра d.

В данной задаче вычислять проще вторым способом.

3. . Напишите уравнение диаметра, параллельного оси абсцисс.

4. Найдите середину хорды, отсекаемой линией

на прямой x + 3y – 12 =0.

Указание к решению : Конечно, можно найти точки пересечения данных прямой и линии , а затем – середину полученного отрезка. Желание сделать так отпадает, если взять, к примеру, прямую с уравнением х +3у – 2009 =0.

Глоссарий

К разделу 7

Автоковариация (autocovariance) - для стационарного ряда Xt ковариация случайных величинXt9 Xt+T9 у(т) Cov(Xn Xt+T).

Автокорреляционная функция {autocorrelation Junction -ACF) - для стационарного рядаXt - последовательность его автокорреляций р(т) = Corr(Xt9 Xt+ г), г = 0,1, 2,...

Автокорреляция (autocorrelation), коэффициент автокорреляции (autocorrelation coefficient) - для стационарного ряда Xt коэффициент корреляции случайных величин Хп Xt+T, р(т) = Corr(Xt, Xt+T).

Белый шум (white noise), процесс белого шума (white noise process) - стационарный случайный процесс Xt с нулевым средним и ненулевой дисперсией,

для которого Corr(Xt, Xs) = 0 при t Ф s.

«Более экономные» модели (more parsimonious models) - среди некоторой совокупности альтернативных моделей временного ряда модели с наименьшим количеством коэффициентов, подлежащих оцениванию.

Временной ряд (time series) - ряд значений некоторой переменной, измеренных в последовательные моменты времени. Под временным рядом понимается также случайный процесс с дискретным временем (случайная последовательность), реализацией которого является наблюдаемый ряд значений.

Выборочная автокорреляционная функция (SACF - sample ACF) - последовательность выборочных автокорреляций г (к), & = 0, 1,2,строящихся по имеющейся реализации временного ряда. Анализ этой последовательности помогает идентифицировать процесс скользящего среднего и его порядок.

Выборочная частная автокорреляционная функция (SPACF-sample PACF) - последовательность выборочных частных автокорреляций rpart(k), к = 0, 1, 2, строящихся по имеющейся реализации временного ряда. Анализ этой последовательности помогает идентифицировать процесс скользящего среднего и его порядок.

Выборочные автокорреляции {sample autocorrelations) - оценки автокорреляций р(к) случайного процесса, построенные по имеющейся реализации временного ряда. Один из вариантов оценки автокорреляции р{к) имеет вид:

T-kf?x " И)У t+k И) у (к) 1 т

где p = x = - ^xt - оценка для р = E{Xt), ] т-к

у (к) = y](xt p)(xt+k р) - оценка для автоковариации у{к).

Выборочные частные автокорреляции {sample partial autocorrelations) - оценки частных автокорреляций ррап{т) случайного процесса, построенные по имеющейся реализации временного ряда.

Гауссовский белый шум {Gaussian white noise process) - процесс белого шума, одномерные распределения которого являются нормальными распределениями с нулевым математическим ожиданием.

Гауссовский случайный процесс {Gaussian process) - случайный процесс, у которого для любого целого m > О и любого набора моментов времени tx < t2 < ... < tm совместные распределения случайных величин Xti, Xtm являются m-мерными нормальными распределениями.

Инновация {innovation) - текущее значение случайной ошибки в правой части соотношения, определяющего процесс авторегрессии Хг Инновация не

коррелирована с запаздывающими значениямиXt_k9 к= 1, 2, ... Последовательные значения инноваций (инновационная последовательность) образуют процесс белого шума.

Информационный критерий Акаике {Akaike information criterion - АІС) - один из критериев выбора «наилучшей» модели среди нескольких альтернативных моделей. Среди альтернативных значений порядка модели авторегрессии выбирается значение, которое минимизирует величину

о 2к А1С(£) = 1п0£2+у,

Оценка дисперсии инноваций єг в AR модели к-то порядка.

Критерий Акаике асимптотически переоценивает (завышает) истинное значение к0 с ненулевой вероятностью.

Информационный критерий Хеннана - Куинна (Hannan-Quinn information criterion - HQC) - один из критериев выбора «наилучшей» модели среди нескольких альтернативных моделей. Среди альтернативных значений порядка модели авторегрессии выбирается значение, которое минимизирует величину

UQ(k) = In а2к + к - ,

где Т - количество наблюдений;

(т£ - оценка дисперсии инноваций st в AR модели А>го порядка.

Критерий обладает достаточно быстрой сходимостью к истинному значению к0 при Т -» оо. Однако при небольших значениях Т этот критерий недооценивает порядок авторегрессии.

Информационный критерий Шварца (Schwarz information criterion - SIC) - один из критериев выбора «наилучшей» модели среди нескольких альтернативных моделей. Среди альтернативных значений порядка модели авторегрессии выбирается значение, которое минимизирует величину

SIC(£) = lno>2+Ar-,

где Т - количество наблюдений;

а? - оценка дисперсии инноваций st в AR модели А:-го порядка.

Коррелограмма (correlogram) - для стационарного ряда: график зависимости значений автокорреляций р(т) стационарного ряда от т. Коррелограммой называют также пару графиков, приводящихся в протоколах анализа данных в различных пакетах статистического анализа: графика выборочной автокорреляционной функции и графика выборочной частной автокорреляционной функции. Наличие этих двух графиков помогает идентифицировать модель ARMA, порождающую имеющийся ряд наблюдений.

Обратный прогноз (backcasting) - прием получения более точной аппроксимации условной функции правдоподобия при оценивании модели скользящего среднего MA(q):

Xt = et + bxst_x + b2st_2 + ... + bqet_q9 bq Ф0,

по наблюдениям xl9 ..., хт. Результат максимизации (no bx, bl9 ..., bq) условной функции правдоподобия, соответствующей наблюдаемым значениям хХ9х29 ...9хт при фиксированных значениях є09 є_Х9 є_д+Х9 зависит от выбранных значений б*0, е_є_д+1. Если процесс MA(q) обратим, то можно положить 6*0 = є_х = ... = s_q+x = 0. Но для улучшения качества оценивания можно методом обратного прогноза «оценить» значения є09 е_Х9 є_д+х и использовать оцененные значения в условной функции правдоподобия. Оператор запаздывания (lag operator - L)9 оператор обратного сдвига (back-shift operator) - оператор, определяемый соотношением: LXt = Xt_x. Удобен для компактной записи моделей временных рядов и для формулирования условий, обеспечивающих те или иные свойства ряда. Например, с помощью этого оператора уравнение, определяющее модель ARMA(p, q)

Xt = Z ajxt-j + Z bj£t-j > <*Р*ъ>ъч* О,

может быть записано в виде: a(L) Xt = Ь(Ь)єп где

a(L) = 1 (axL + a2L2 + ... + apLp

b(L)=l+blL + b2L2 + ... + bqLq.

Проблема общих множителей (common factors) - наличие общих множителей у многочленов a(L) и b(L)9 соответствующих AR и МА составляющим модели ARMA:

Наличие общих множителей в спецификации модели ARMA затрудняет практическую идентификацию модели по ряду наблюдений.

Процесс авторегрессии первого порядка (first-order autoregressive process, AR(1)) - случайный процесс, текущее значение которого является суммой линейной функции от запаздывающего на один шаг значения процесса и случайной ошибки, не коррелированной с прошлыми значениями процесса. При этом последовательность случайных ошибок образует процесс белого шума.

Процесс авторегрессии порядка р (pth-order autoregressive process - AR(p)) - случайный процесс, текущее значение которого является суммой линейной функции от запаздывающих на р шагов и менее значений процесса и случайной ошибки, не коррелированной с прошлыми значениями процесса. При этом последовательность случайных ошибок образует процесс белого шума.

Процесс скользящего среднего порядка q (qth-order moving average process - MA(g)) - случайный процесс, текущее значение которого является линейной функцией от текущего значения некоторого процесса белого шума и запаздывающих на р шагов и менее значений этого процесса белого шума.

Разложение Вольда (Wold"s decomposition) - представление стационарного в широком смысле процесса с нулевым математическим ожиданием в виде суммы процесса скользящего среднего бесконечного порядка и линейно детерминированного процесса.

Сезонная авторегрессия первого порядка (SAR(l) - first order seasonal auto-regression) - случайный процесс, текущее значение которого является линейной функцией от запаздывающего на S шагов значения этого процесса и случайной ошибки, не коррелированной с прошлыми значениями процесса. При этом последовательность случайных ошибок образует процесс белого шума. Здесь S = 4 для квартальных данных, S = 12 для месячных данных.

Сезонное скользящее среднее первого порядка (SMA(l) - first order seasonal moving average) - случайный процесс, текущее значение которого равно сумме линейной функции от текущего значения некоторого процесса белого шума и запаздывающего на S шагов значения этого процесса белого шума. При этом последовательность случайных ошибок образует процесс белого шума. Здесь 5 = 4 для квартальных данных, 5=12 для месячных данных.

Система уравнений Юла - Уокера (Yule - Walker equations) - система уравнений, связывающая автокорреляции стационарного процесса авторегрессии порядка р с его коэффициентами. Система позволяет последовательно находить значения автокорреляций и дает возможность, используя первые р уравнений, выразить коэффициенты стационарного процесса авторегрессии через значения первых р автокорреляций, что можно непосредственно использовать при подборе модели авторегрессии к реальным статистическим данным.

Случайный процесс с дискретным временем (discrete-time stochastic process, discrete-time random process) - последовательность случайных величин, соответствующих наблюдениям, произведенным в последовательные моменты времени, имеющая определенную вероятностную структуру.

Смешанный процесс авторегрессии - скользящего среднего, процесс авторегрессии с остатками в виде скользящего среднего (autoregressive moving average, mixed autoregressive moving average - ARMA(p, q)) - случайный процесс, текущее значение которого является суммой линейной функции от запаздывающих на р шагов и менее значений процесса и линейной функции от текущего значения некоторого процесса белого шума и запаздывающих на q шагов и менее значений этого процесса белого шума.

Статистика Бокса - Пирса (Box-Pierce Q-statistic) - один из вариантов g-ста-тистик:

Є = г£г2(*),

Статистика Люнга - Бокса (Ljung-Box Q-statistic) - один из вариантов g-ста-тистик, более предпочтительный по сравнению со статистикой Бокса - Пирса:

где Т - количество наблюдений; г (к)- выборочные автокорреляции.

Используется для проверки гипотезы о том, что наблюдаемые данные являются реализацией процесса белого шума.

Стационарный в широком смысле (wide-sense stationary), слабо стационарный (weak-sense stationary, weakly stationary), стационарный второго порядка (second-order stationary), ковариационно стационарный (covari-ance-stationary) случайный процесс (stochastic process) - случайный процесс с постоянным математическим ожиданием, постоянной дисперсией и инвариантными по гковариациями случайных величинXt,Xt+T:

Cov(Xt,Xt+T) = r(r).

Строго стационарный, стационарный в узком смысле (strictly stationary, strict-sense stationary) случайный процесс (stochastic process) - случайный процесс с инвариантными по г совместными распределениями случайных величинXh+T, ...,+Т.

Условие обратимости процессов MA(q) и ARMA(p, q) (invertibility condition) - для процессов Xt вида MA(g): Xt = b(L)st или ARMA(p, q): a(L)(Xt ju) = = b(L)st - условие на корни уравнения b(z) = О, обеспечивающее существование эквивалентного представления процесса Xt в виде процесса авторегрессии бесконечного порядка AR(oo):

Условие обратимости: все корни уравнения b(z) = О лежат вне единичного круга |z| < 1.

Условие стационарности процессов AR(p) и ARMA(p, q) (stationarity condition) - для процессов Xt вида AR(p): a(L)(Xt ju) = et или ARMA(p, q) a(L)(Xt ju) = = b(L)st - условие на корни уравнения a(z) = 0, обеспечивающее стационарность процесса Хг Условие стационарности: все корни уравнения b(z) = О лежат вне единичного круга |z| < 1. Если многочлены a(z) и b(L) не имеют общих корней, то это условие является необходимым и достаточным условием стационарности процесса Хг

Частная автокорреляционная функция (PACF - partial autocorrelation function) - для стационарного ряда последовательность частных автокорреляций ррап(г), т = 0, 1,2,...

Частная автокорреляция (РАС - partial autocorrelation) - для стационарного ряда значение ppart(r) коэффициента корреляции между случайными величинами Xt nXt+k, очищенными от влияния промежуточных случайных величин Xt+l9...9Xt+k_Y.

Этап диагностики модели (diagnostic checking stage) - диагностика оцененной модели ARMA, выбранной на основании имеющегося ряда наблюдений.

Этап идентификации модели (identification stage) - выбор модели порождения ряда на основании имеющегося ряда наблюдений, определение порядков р и q модели ARMA.

Этап оценивания модели {estimation stage) - оценивание коэффициентов модели ARMA, подобранной на основании имеющегося ряда наблюдений.

(7-статистики (Q-statistics) - статистики критериев, используемых для проверки гипотезы о том, что наблюдаемые данные являются реализацией процесса белого шума.

К разделу 8

Векторная авторегрессия порядкар (ph-order vector autoregression - VAR(p)) - модель порождения группы временных рядов, в которой текущее значение каждого ряда складывается из постоянной составляющей, линейных комбинаций запаздывающих (до порядка р) значений данного ряда и остальных рядов и случайной ошибки. Случайные ошибки в каждом уравнении не коррелированы с запаздывающими значениями всех рассматриваемых рядов. Случайные векторы, образованные ошибками в разных рядах в один и тот же момент времени, являются независимыми, одинаково распределенными случайными векторами, имеющими нулевые средние.

Долговременная (long-run) связь - устанавливающаяся с течением времени определенная связь между переменными, по отношению к которой происходят достаточно быстрые осцилляции.

Долгосрочные мультипликаторы (long-run multipliers, equilibrum multipliers) - в динамической модели с авторегрессионно распределенными запаздываниями - коэффициенты сх,cs долгосрочной зависимости переменной от экзогенных переменных хи, xst. Коэффициент Cj отражает изменение значения yt при изменении на единицу текущего и всех предыдущих значений переменной xjt.

Импульсные мультипликаторы (impact multiplier, short-run multiplier) - в динамической модели с авторегрессионно распределенными запаздываниями - величины, показывающие влияние единовременных (импульсных) изменений значений экзогенных переменных хи, xst на текущее и последующие значения переменной jr

Кросс-ковариации (cross-covariances) - коэффициенты корреляции между значениями разных компонент векторного ряда в совпадающие или несовпадающие моменты времени.

Кросс-ковариационная функция (cross-covariance function) - последовательность кросс-корреляций двух компонент стационарного векторного ряда.

Модели с авторегрессионно распределенными запаздываниями (autoregressive distributed lag models - ADL) - модели, в которых текущее значение объясняемой переменной является суммой линейной функции от нескольких запаздывающих значений этой переменной, линейных комбинаций текущих и нескольких запаздывающих значений объясняющих переменных и случайной ошибки.

Передаточная функция (transfer function) - матричная функция, устанавливающая влияние единичных изменений в экзогенных переменных на эндогенные переменные.

Процесс порождения данных (data generating process - DGP) - вероятностная модель, в соответствии с которой порождаются наблюдаемые статистические данные. Процесс порождения данных, как правило, неизвестен исследователю, анализирующему данные. Исключением являются ситуации, когда исследователь сам выбирает процесс порождения данных и получает искусственные статистические данные, имитируя выбранный процесс порождения данных.

Статистическая модель (statistical model - SM) - выбранная для оценивания модель, структура которой предположительно соответствует процессу порождения данных. Выбор статистической модели производится на основании имеющейся экономической теории, анализа имеющихся в распоряжении статистических данных, анализа результатов более ранних исследований.

Стационарный векторный (АГ-мерный) ряд (K-dimensional stationary time series) - последовательность случайных векторов размерности К, имеющих одинаковые векторы математических ожиданий и одинаковые ковариационные матрицы, для которой перекрестные корреляции (кросс-корреляции) между значением к-й компоненты ряда в момент t и значением 1-й компоненты ряда в момент (t + s) зависят только от s.

К разделу 9

Гипотеза единичного корня (UR - unit root hypothesis) - гипотеза, формулируемая в рамках модели ARMA(^, q): a(L)Xt = b(L)cr Гипотеза о наличии у авторегрессионного полинома a(L) модели ARMA хотя бы одного корня, равного 1. При этом обычно предполагается, что у полинома a(L) отсутствуют корни, по модулю меньшие 1.

Дифференцирование (differencing) - переход от ряда уровней Xt к ряду разностей Xt Xt_v Последовательное дифференцирование ряда дает возможность устранить стохастический тренд, имеющийся в исходном ряде.

Интегрированный порядка к (integrated of order к) ряд - ряд Хп который не является стационарным или стационарным относительно детерминированного тренда (т.е. не является TS-рядом) и для которого ряд, полученный в результате ^-кратного дифференцирования ряда Хп является стационарным, но ряд, полученный в результате (к 1)-кратного дифференцирования рядаХг, не является ГЯ-рядом.

Коинтеграционная связь (cointegration) - долгосрочная связь между несколькими интегрированными рядами, характеризующая равновесное состояние системы этих рядов.

Модель коррекции ошибок (error-correction model) - комбинация краткосрочной и долгосрочной динамических регрессионных моделей при наличии коинтеграционной связи между интегрированными рядами.

Оператор дифференцирования (difference operator) - оператор А, переводящий ряд уровней Xt в ряд разностей:

Передифференцированный ряд (overdifferenced time series) - ряд, полученный в результате дифференцирования Г5-ряда. Последовательное дифференцирование ГО-ряда помогает устранить детерминированный полиномиальный тренд. Однако дифференцирование Г^-ряда имеет некоторые нежелательные последствия при подборе модели по статистическим данным и использовании подобранной модели для целей прогнозирования будущих значений ряда.

Разностно стационарные, ЛУ-ряды (DS - difference stationary time series) - интегрированные ряды различных порядков к= 1,2, ... Приводятся к стационарному ряду однократным или многократным дифференцированием, но не могут приводиться к стационарному ряду вычитанием детерминированного тренда.

Ряд типа ARIMA(p, A, q) (ARIMA - autoregressive integrated moving average) - временной ряд, который в результате ^-кратного дифференцирования приводится к стационарному ряду ARMA(p, q).

Ряды, стационарные относительно детерминированного тренда, Г5-ряды

(TS - trend-stationary time series) - ряды, становящиеся стационарными после вычитания из них детерминированного тренда. В класс таких рядов включаются и стационарные ряды без детерминированного тренда.

Случайное блуждание, процесс случайного блуждания (random walk) - случайный процесс, приращения которого образуют процесс белого шума: AXt st, так что Xt = Xt_ х + єг

Случайное блуждание со сносом, случайное блуждание с дрейфом (random walk with drift) - случайный процесс, приращения которого являются суммой константы и процесса белого шума: AXt = Xt Xt_ х = а + st, так что Xt = Xt_x + а + єг Константа а характеризует постоянно присутствующий при переходе к следующему моменту времени снос траекторий случайного блуждания, на который накладывается случайная составляющая.

Стохастический тренд (stochastic trend) - временной ряд Zt, для которого

Z, = єх + є2 + ... + et. Значение случайного блуждания в момент t равно t

Xt = Х0 + ^ є8, так что Xt Х0 = єх + є2 + ... + єг Иными словами, модель

стохастического тренда - процесс случайного блуждания, «выходящего из начала координат» (для него Х0 = 0).

Шок инновации (shock innovation) - единовременное (импульсное) изменение инновации.

Эффект Слуцкого (Slutsky effect) - эффект образования ложной периодичности при дифференцировании ряда, стационарного относительно детерминированного тренда. Например, если исходный ряд представляет собой сумму детерминированного линейного тренда и белого шума, то продифференцированный ряд не имеет детерминированного тренда, но оказывается автокоррелированным.

^-гипотеза (TS hypothesis) - гипотеза о том, что рассматриваемый временной ряд является стационарным или рядом, стационарным относительно детерминированного тренда.

К разделу 10

Долговременная дисперсия (long-run varance) - для ряда щ с нулевым математическим ожиданием определяется как предел

Var(ux +... + ит)

Г-юс Т T-+OD

Критерии Дики - Фуллера (Dickey-Fuller tests) - группа статистических критериев для проверки гипотезы единичного корня в рамках моделей, предполагающих нулевое или ненулевое математическое ожидание временного ряда, а также возможное наличие у ряда детерминированного тренда.

При применении критериев Дики - Фуллера чаще всего оцениваются статистические модели

рAxt = а + (3t + cpxt_x + +є*> t = P + h---,T,

Axt =a + cpxt_x + ^0jAxt_j +£*, t = /7 + 1,..., Г,

Axt = cpxt_x + ]T 6j Axt_j +єп t = p +1,..., T.

Полученные при оценивании этих статистических моделей значения /-статистик / для проверки гипотезы Н0: ср = О сравниваются с критическими значениями /крит, зависящими от выбора статистической модели. Гипотеза единичного корня отвергается, если f < /крит.

Критерий Квятковского - Филлипса - Шмидта - Шина (KPSS test) - критерий для различения DSи Г5-рядов, в котором в качестве нулевой берется га-гипотеза.

Критерий Лейбурна (Leybourne test) - критерий для проверки гипотезы единичного корня, статистика которого равна максимальному из двух значений статистики Дики - Фуллера, полученных по исходному ряду и по ряду с обращенным временем.

Критерий Перрона (Perron test) - критерий для проверки нулевой гипотезы о принадлежности ряда классу DS, обобщающий процедуру Дики - Фуллера на ситуации, когда на периоде наблюдений имеются структурные изменения модели в некоторый момент времени Тв в форме либо сдвига уровня (модель «краха»), либо изменения наклона тренда (модель «изменения роста»), либо сочетания этих двух изменений. При этом предполагается, что момент Тв определяется экзогенным образом - в том смысле, что он не выбирается на основании визуального исследования графика ряда, а связывается с моментом известного масштабного изменения экономической обстановки, существенно отражающегося на поведении рассматриваемого ряда.

Гипотеза единичного корня отвергается, если наблюдаемое значение статистики ta критерия оказывается ниже критического уровня, т.е. если

Асимптотические распределения и критические значения для статистик ta9 первоначально приведенные Перроном, верны для моделей с инновационными выбросами.

Критерий Филлипса - Перрона (Phillips-Perron test) - критерий, сводящий проверку гипотезы о принадлежности ряда xt классу DS-рядов к проверке гипотезы Я0: ср= О в рамках статистической модели

SM: kxt=a + f3t + (pxt_x+un t = 2,...,T,

где, как и в критерии Дики - Фуллера, параметры an рмогут быть взяты равными нулю.

Однако в отличие от критерия Дики - Фуллера к рассмотрению допускается более широкий класс временных рядов.

Критерий основывается на Г-статистике для проверки гипотезы Н0: <р = О, но использует вариант этой статистики Zn скорректированный на возможную автокоррелированность и гетероскедастичность ряда иг

Критерий Шмидта - Филлипса (Schmidt-Phillips test) - критерий для проверки гипотезы единичного корня в рамках модели

где wt = jSwt_x + st; t - 2,Г;

у/ - параметр, представляющий уровень; £ - параметр, представляющий тренд.

Критерий DF-GLS (DF-GLS test) - критерий, асимптотически более мощный, чем критерий Дики - Фуллера.

Куртозис (kurtosis) - коэффициент пикообразности распределения.

Модель аддитивного выброса (additive outlier) - модель, в которой при переходе через дату излома Тв ряд yt сразу начинает осциллировать вокруг нового уровня (или новой линии тренда).

Модель инновационного выброса (innovation outlier) - модель, в которой после перехода через дату излома Тв процесс yt лишь постепенно выходит на новый уровень (или к новой линии тренда), вокруг которого начинает происходить осцилляция траектории ряда.

Многовариантная процедура проверки гипотезы единичного корня (Dolado, Jenkinson, Sosvilla-Rivero) - формализованная процедура использования критериев Дики - Фуллера с последовательной проверкой возможности редукции исходной статистической модели, в качестве которой рассматривается модель

РAxt = а + fit + (pxt_x + ^0jAxt-j +£7> t = P + h---9T.

Предпосылкой для использования формализованной многовариантной процедуры является низкая мощность критериев единичного корня. В связи с этим в многовариантной процедуре предусмотрены повторные проверки гипотезы единичного корня в более простых моделях с меньшим числом оцениваемых параметров. Это увеличивает вероятность правильного отвержения гипотезы единичного корня, но сопровождается потерей контроля над уровнем значимости процедуры.

Обобщенный критерий Перрона (generalized Perron test) - предложенный Зиво-том и Эндрюсом (относящийся к инновационным выбросам) безусловный критерий, в котором датировка точки смены режима производится в «автоматическом режиме», путем перебора всех возможных вариантов датировки и вычисления для каждого варианта датировки /-статистики ta для проверки гипотезы единичного корня; в качестве оцененной даты берется такая, для которой значение ta оказывается минимальным.

Процедура Кохрейна, отношение дисперсий (variance ratio test) - процедура различения TSи /)5-рядов, основанная на специфике поведения для этих

рядов отношения VRk = -, где Vk = -D(Xt -Xt_k).

Стандартное броуновское движение (standard Brownian motion) - случайный процесс W(r) с непрерывным временем, являющийся непрерывным аналогом дискретного случайного блуждания. Это процесс, для которого:

приращения (W(r2) W(r{)),(W(rk) W(rk_x)) независимы в совокупности, если 0 < rx < г2 < ... < гк и W(s) W(r) ~ N(0, s г) при s > г;

реализации процесса W(r) непрерывны с вероятностью 1.

Ширина окна (window size) - количество выборочных автоковариаций ряда, используемых в оценке Ньюи - Веста для долговременной дисперсии ряда. Недостаточная ширина окна ведет к отклонениям от номинального размера критерия (уровня значимости). В то же время увеличение ширины окна, для того чтобы избежать отклонений от номинального размера критерия, ведет к падению мощности критерия.

Двумерный гауссовский белый шум (two-dimentional Gaussian white noise) - последовательность независимых, одинаково распределенных случайных векторов, имеющих двумерное нормальное распределение с нулевым математическим ожиданием.

Детерминистская коинтеграция (stochastic cointegration) - существование для группы интегрированных рядов их линейной комбинации, аннулирующей стохастический и детерминированный тренды. Ряд, представляемый этой линейной комбинацией, является стационарным.

Идентификация коинтегрирующих векторов (identification of the cointegrating vectors) - выбор базиса коинтеграционного пространства, состоящего из коинтегрирующих векторов, имеющих разумную экономическую интерпретацию.

Коинтеграционное пространство (cointegrating space) - совокупность всех возможных коинтегрирующих векторов для коинтегрированной системы рядов.

Коинтегрированные временные ряды, коинтегрированные в узком смысле временные ряды (cointegrated time series) - группа временных рядов, для которой существует нетривиальная линейная комбинация этих рядов, являющаяся стационарным рядом.

Коинтегрирующий вектор (cointegrating vector) - вектор коэффициентов нетривиальной линейной комбинации нескольких рядов, являющейся стационарным рядом.

Критерий максимального собственного значения (maximum eigenvalue test) - критерий, который в процедуре Йохансена оценивания ранга коинтеграции г системы интегрированных (порядка 1) рядов используется для проверки гипотезы Н0:г = г* против альтернативной гипотезы НА: г = г* + 1.

Критерий следа (trace test) - критерий, который в процедуре Йохансена оценивания ранга коинтеграции г системы интегрированных (порядка 1) рядов используется для проверки гипотезы Н0: г = г* против альтернативной гипотезы НА:г> г*.

Общие тренды (common trends) - группа рядов, управляющих стохастической нестационарностью системы коинтегрированных рядов.

Причинность по Грейнджеру (Granger causality) - факт улучшения качества прогноза значения yt переменной Y в момент t по совокупности всех прошлых значений этой переменной при учете прошлых значений некоторой другой переменной.

Пять ситуаций в процедуре Йохансена - пять ситуаций, от которых зависят критические значения статистик критериев отношения правдоподобий, используемых в процедуре Йохансена оценивания ранга коинтеграции системы интегрированных (порядка 1) рядов:

Н2(г): в данных нет детерминированных трендов, в СЕ не включаются ни константа, ни тренд;

Н*(г): в данных нет детерминированных трендов,

в СЕ включается константа, но не включается тренд;

Нх (г): в данных есть детерминированный линейный тренд, в СЕ включается константа, но не включается тренд;

Н*(г) в данных есть детерминированный линейный тренд, в СЕ включаются константа и линейный тренд;

Н(г): в данных есть детерминированный квадратичный тренд, в СЕ включаются константа и линейный тренд.

(Здесь СЕ - коинтеграционное уравнение.)

При фиксированном ранге г перечисленные 5 ситуаций образуют цепочку вложенных гипотез:

Н2(г) с Н*(г) с Я, (г) с Нг) с Н{г).

Это дает возможность, используя критерий отношения правдоподобий, проверять выполнение гипотезы, стоящей левее в этой цепочке, в рамках гипотезы, расположенной непосредственно справа.

Ранг коинтеграции (cointegrating rank) - максимальное количество линейно независимых коинтегрирующих векторов для заданной группы рядов, ранг коинтеграционного пространства.

Стохастическая коинтеграция (stochastic cointegration) - существование для группы интегрированных рядов линейной комбинации, аннулирующей стохастический тренд. Ряд, представляемый этой линейной комбинацией, не содержит стохастического тренда, но может иметь детерминированный тренд.

Треугольная система Филлипса (Phillips"s triangular system) - представление системы TV коинтегрированных рядов с рангом коинтеграции г в виде системы уравнений, первые г из которых описывают зависимость г выделенных переменных от остальных (N г) переменных (общих трендов), а остальные уравнения описывают модели порождения общих трендов.

TV-мерный гауссовский белый шум (N-dimentional Gaussian white noise) - последовательность независимых, одинаково распределенных случайных векторов, имеющих TV-мерное нормальное распределение с нулевым математическим ожиданием.

В современных условиях интерес к анализу данных постоянно и интенсивно растет в совершенно различных областях, таких как биология, лингвистика, экономика, и, разумеется, IT. Основу этого анализа составляют статистические методы, и разбираться в них необходимо каждому уважающему себя специалисту в data mining.

К сожалению, действительно хорошая литература, такая что умела бы предоставить одновременно математически строгие доказательства и понятные интуитивные объяснения, встречается не очень часто. И данные лекции , на мой взгляд, необычайно хороши для математиков, разбирающихся в теории вероятностей именно по этой причине. По ним преподают магистрам в немецком университете имени Кристиана-Альбрехта на программах «Математика» и «Финансовая математика». И для тех, кому интересно, как этот предмет преподается за рубежом, я эти лекции перевел . На перевод у меня ушло несколько месяцев, я разбавил лекции иллюстрациями, упражнениями и сносками на некоторые теоремы. Замечу, что я не профессиональный переводчик, а просто альтруист и любитель в этой сфере, так что приму любую критику, если она конструктивна.

Вкратце, лекции вот о чем:

Условное математическое ожидание

Основы точечного оценивания

Байесовское и минимаксное оценивания параметров

Здесь описывается иной философский подход к оценке. В данном случае параметр считается неизвестным потому, что он является реализацией некой случайной величины с известным (априорным) распределением. Наблюдая результат эксперимента мы рассчитываем так называемое апостериорное распределение параметра. На основе этого, мы можем получить Байесовскую оценку, где критерием является минимум потерь в среднем, или минимаксную оценку, минимизирующую максимально возможные потери.

Достаточность и полнота

Асимптотические свойства оценок

Основы тестирования

Асимптотические свойства критериев

Линейная модель