eng
Содержание
Предисловие.................................................................................................. 6
Введение. Общая проблема обработки и анализа данных.......................... 9
Литература к введению............................................................................. 14
ГЛАВА 1.
СИГНАЛЫ, ПОМЕХИ, НАБЛЮДЕНИЯ И РЕШЕНИЯ......................17
1.1.
Обобщенная модель преобразования информации....................... 17
1.2.
Определение и общая классификация случайных функций......... 20
1.3.
Многообразие случайных функций в прикладных задачах........... 24
1.4.
Типовые задачи теории статистических решений.......................... 32
1.5.
Вероятностный анализ и синтез алгоритмов.................................. 38
Заключение................................................................................................ 40
ГЛАВА 2.
СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ......................................... 42
2.1.
Общее определение случайных последовательностей.................... 42
2.2.
Особенности вероятностного описания.......................................... 45
2.3.
Основные числовые характеристики............................................... 51
2.4.
Простые гауссовские модели........................................................... 55
2.5.
Модели, порожденные гауссовским распределением..................... 61
2.6.
Модели с равномерным распределением........................................ 78
2.7.
Вероятностные смеси распределений............................................. 83
2.8.
Модели авторегрессии и скользящего среднего.............................. 87
2.9.
Вероятностные зависимости. Регрессия, корреляция и
диаграммы рассеяния....................................................................... 91
2.10.
Характеристики превышений уровней.......................................... 100
2.11.
Анализ векторных последовательностей на плоскости................ 111
2.12.
Характеристики экстремальных значений.................................... 118
Заключение.............................................................................................. 136
ГЛАВА 3.
СЛУЧАЙНЫЕ НЕПРЕРЫВНЫЕ ПРОЦЕССЫ................................. 140
3.1.
Определение непрерывных случайных процессов........................ 140
3.2.
Особенности вероятностного описания........................................ 142
3.3.
Свойство стационарности случайных процессов......................... 146
3.4.
Свойство эргодичности случайных процессов.............................. 150
3.5.
Спектрально-корреляционные характеристики процессов......... 154
3.6.
Взаимные корреляционные и спектральные характеристики...... 161
Случайные данные.
Модели, структура и анализ
4
3.7.
Вероятностная структура узкополосных процессов..................... 170
3.8.
Особенности модели «сигнал плюс шум»...................................... 183
3.9.
Непрерывность и дифференцируемость случайных функций..... 188
3.10.
Свойства производных случайного процесса................................ 194
3.11.
Линейные и нелинейные преобразования процессов.................. 201
3.12.
Характеристики выбросов случайных процессов......................... 219
3.13.
Фазовые траектории случайных процессов................................... 231
3.14.
Векторные случайные процессы.................................................... 249
Заключение.............................................................................................. 259
ГЛАВА 4.
СЛУЧАЙНЫЕ ТОЧЕЧНЫЕ ПРОЦЕССЫ......................................... 263
4.1.
Определение случайных точечных процессов............................... 263
4.2.
Особенности вероятностной структуры........................................ 267
4.3.
Точечные процессы Пуассона........................................................ 273
4.4.
Типовые преобразования и обобщения
пуассоновских процессов............................................................... 279
4.5.
Точечные процессы с неоднородной структурой.......................... 289
4.6.
Точечные процессы стохастической геометрии............................ 302
4.7.
Характеристики превышений уровней.......................................... 323
4.8.
Диаграммы рассеяния в анализе точечных процессов.................. 337
Заключение.............................................................................................. 349
ГЛАВА 5.
СЛУЧАЙНЫЕ ПОЛЯ......................................................................... 353
5.1.
Общее определение случайных полей.......................................... 353
5.2.
Особенности вероятностного описания....................................... 355
5.3.
Стационарность, однородность и изотропность полей............... 359
5.4.
Когерентность случайных полей.................................................. 367
5.5.
Эффекты интерференции полей................................................... 373
5.6.
Поляризационные эффекты полей............................................... 384
5.7.
Вероятностное описание тепловых полей.................................... 398
5.8.
Вероятностное описание изображений........................................ 402
Заключение.............................................................................................. 428
ГЛАВА 6.
ВЕРОЯТНОСТНЫЕ МОДЕЛИ
С ДВОЙНОЙ СТОХАСТИЧНОСТЬЮ................................................ 432
6.1.
Эффекты двойной стохастичности в физике и технике.............. 432
6.2.
Процессы Бернулли и двойная стохастичность........................... 437
6.3.
Дважды стохастические процессы Пуассона............................... 446
6.4.
Гауссовские модели с двойной стохастичностью......................... 458
6.5.
Вероятностные модели на основе гамма-распределения............ 464
Содержание 5
6.6.
Общие свойства вероятностных моделей со случайными
параметрами................................................................................... 471
6.7.
Вероятностные модели в виде вероятностных смесей................. 475
Заключение.............................................................................................. 483
ГЛАВА 7.
СЛУЧАЙНЫЕ ПРОЦЕССЫ В СЛУЧАЙНЫХ СРЕДАХ..................... 486
7.1.
Ритмические процессы в сложных развивающихся
системах.......................................................................................... 487
7.2.
Квазигармонические процессы и флуктуационные
эффекты.......................................................................................... 499
7.3.
Вероятностная структура многомодовых процессов.................... 506
7.4.
Случайные процессы со случайными переходами
между устойчивыми состояниями................................................. 514
7.5.
Парные сравнения случайных данных
и знаковые функции в случайной среде........................................ 533
7.6.
Характеристики превышений уровней в условиях
случайных сред............................................................................... 542
Заключение .............................................................................................. 552
Литература................................................................................................ 556
Перечень основных вероятностных моделей............................................. 564
Предметный указатель.............................................................................. 566
Предисловие
Эта книга представляет собой переработанный и существенно допол-
ненный вариант книги, опубликованной издательством «ТЕХНОСФЕРА»
в 2017 году (Хименко В.И. Случайные данные: структура и анализ. –
М.: ТЕХНОСФЕРА,
2017. – 424 с.). Основной материал первого издания
серьезной переработке не подвергся и практически сохранился в прежнем
виде. Существенные изменения во втором издании связаны с рассмотре-
нием вероятностного описания неоднородных данных. При этом введе-
ны две новые главы, в которых показаны особенности построения веро-
ятностных моделей с двойной стохастичностью (Глава 6) и возможности
исследований случайных процессов в условиях случайно-неоднородных
сред (Глава 7). Потенциальная полезность таких результатов объясняется
большим разнообразием практических задач, в которых рассматриваются
стохастические системы и изучаются случайные процессы со случайными
изменениями основных параметров или случайными изменениями их об-
щей вероятностной структуры.
Характерными примерами подобных систем могут быть стохастиче-
ские системы автоматического управления в задачах локации, навигации
и связи, системы искусственного интеллекта с перестраиваемой вероят-
ностной структурой, системы компьютерного зрения и распознавания об-
разов, различные адаптивные и самонастраивающиеся системы живой и
неживой природы.
Помимо введения новых глав, во второе издание книги добавлен раз-
дел 2.12, результаты которого относятся к классическим областям веро-
ятностных исследований экстремальных значений случайных процессов.
Заметно пополнен основной список литературы.
Теперь несколько слов о содержании книги.
Трудно найти какую-либо область науки, техники, биологии, эконо-
мики или естествознания, в которой не проводились бы различные на-
блюдения, измерения или экспериментальные исследования. Во всех этих
областях возникают вопросы описания, анализа и извлечения полезной
информации из полученных данных. В свою очередь, полученные данные,
как правило, могут изменяться случайным образом, и основные методы их
описания приводят к необходимости рассмотрения разнообразных моде-
лей случайных функций.
Вопросам построения вероятностных моделей, статистическим мето-
дам исследований и общей теории случайных функций посвящено доста-
точно много хороших изданных монографий, учебников и учебных посо-
бий, некоторые из которых перечислены во Введении.
Данная книга по своей общей направленности также связана с рас-
смотрением прикладных вопросов использования моделей случайных
функций в решении различных практических задач, однако по своему
характеру она существенно отличается от всех известных изданных книг.
Отличается по общему содержанию, по форме представления и характеру
изложения основных результатов. Эти отличительные особенности можно
заметить уже на этапе предварительного просмотра оглавления, введения
и кратких аннотаций, которыми открывается каждая глава.
Изложение основного материала в данной работе начинается с расши-
ренного Введения. Здесь делается попытка хотя бы приближенно очертить
состояние исследований, разнообразие областей и спектр практических
приложений, связанных с общей проблематикой обработки и анализа слу-
чайных данных.
После вводной части все содержание книги разделено на несколько
самостоятельных глав. В первой главе показываются обобщенные модели
получения, преобразования и обработки информации, проводится общая
классификация случайных функций и выделяются особенности типовых
задач теории статистических решений. Материал последующих четырех
глав посвящен рассмотрению моделей и результатов анализа основных
классов случайных функций: анализу временных рядов или случайных
последовательностей (глава 2), исследованиям непрерывных случайных
процессов (глава 3), рассмотрению случайных потоков событий и случай-
ных точечных процессов (глава 4), анализу пространственно-временных
данных на уровне моделей случайных полей и изображений (глава 5).
Две следующие главы (главы 6 и 7) связаны с проблемами анализа
случайных процессов в условиях случайно-неоднородных сред. Здесь по-
казаны особенности влияния случайных сред на отдельные параметры и
общую структуру вероятностных моделей, особенности возникновения и
описания двойной стохастичности. На примере отдельных самостоятель-
ных задач рассмотрены возможности исследований случайных процессов
в случайных средах.
В каждой главе показываются основные модели процессов и резуль-
таты их анализа, выделяются наиболее важные характеристики и при-
водятся примеры различных прикладных задач. В книге представлено
большое количество новых результатов. В основном они относятся к веро-
ятностному описанию неоднородных данных, исследованиям детальной
вероятностной структуры процессов, представлениям случайных функ-
ций на фазовой плоскости и анализу диаграмм рассеяния, исследовани-
ям структуры случайных точечных процессов и исследованиям простран-
ственно-временных характеристик случайных полей.
Все основные результаты, приводимые в работе, имеют достаточно
строгие математические доказательства и обоснования. Однако сами до-
казательства здесь не рассматривались, так как не это являлось основной
Предисловие 7
целью. Отбор и характер изложения основного материала ведется здесь
таким образом, чтобы, по возможности, избежать излишнего формализ-
ма, выявить содержательную, физическую сторону рассматриваемых про-
цессов и облегчить практическое использование результатов. Кроме того,
здесь делалась попытка показать разнообразие прикладных задач, кото-
рые решаются (или могут решаться) на основе рассмотренных моделей
временных рядов, случайных процессов, случайных потоков событий,
пространственно-временных полей и изображений.
Помимо этого, нужно отметить, что для большей наглядности изло-
жения и удобства пользования книгой весь иллюстративный материал
представлен здесь в виде отдельных схем. Эти схемы обладают опреде-
ленной самостоятельностью, дают много дополнительной информации и
в большинстве случаев могут рассматриваться независимо от основного
текста.
В целом предлагаемая книга подготавливалась так, чтобы она могла
быть полезной для тех, кто изучает, исследует и применяет на практике
модели и методы анализа различных по своей физической природе слу-
чайных данных.
Случайные данные.
Модели, структура и анализ
8
ВВЕДЕНИЕ
ОБЩАЯ ПРОБЛЕМА ОБРАБОТКИ
И АНАЛИЗА ДАННЫХ
1. Одной из наиболее общих проблем в физике и технике, биологии
и медицине, социологии, экономике и различных областях естествозна-
ния является проблема описания и извлечения информации из экспери-
ментальных данных. Под термином «данные», в зависимости от конкрет-
ной области, могут пониматься самые разнообразные информационные
процессы, сигналы, результаты наблюдений или измерений.
В соответствии с традиционным определением, информационные
сигналы и данные – это изменения какой-либо физической величины,
отражающей информацию о некотором явлении, событии, состоянии
исследуемой системы или состоянии наблюдаемого объекта. Состояния
реальных (не идеализированных) систем могут изменяться случайным
образом, а поэтому «сигналы и данные» по самой своей сути должны рас-
сматриваться как некоторые случайные функции.
Следовательно, если рассматривать задачи описания, обработки
и анализа данных, то можно заметить, что по своему содержанию подоб-
ные задачи эквивалентны задачам описания и исследования случайных
функций. Принципиально такие задачи относятся к классу статистиче-
ских или вероятностных задач. Основой для решения таких задач явля-
ются теория вероятностей, теория случайных процессов и математиче-
ская статистика (схема 0.1). Теория вероятностей используется при этом
для построения моделей и исследования случайных явлений, случайных
событий, случайных величин. Изучение временной и пространственной
структуры случайных функций, вероятностных зависимостей, различных
линейных и нелинейных преобразований сигналов и данных выполняется
на основе теории случайных процессов. Методы математической стати-
стики позволяют решать задачи оптимального планирования эксперимен-
тов, задачи оценивания параметров, классификации случайных данных,
распознавания образов и многие другие задачи, связанные с проблемой
статистических решений и статистических выводов.
2. Приведенное общее определение информационных сигналов и дан-
ных настолько широкое, что может относиться к самым различным об-
ластям исследований. Это может быть, например, область исследования
основных закономерностей материального мира, изучение процессов
развития живой природы, исследование технических систем, социальных
10
явлений и экономических процессов. Хорошо известно также и то, что ве-
роятностные и статистические методы анализа относятся к междисципли-
нарным методам. Они позволяют описывать информационные процессы,
исследовать поведение сложных систем, находить оптимальные алгорит-
мы обработки и анализа данных независимо от их физической природы.
Все эти особенности наглядно проявляются в многообразии сформи-
ровавшихся к настоящему времени самостоятельных «статистических»
направлений исследований (схема 0.2).
Схема 0.1
Общая проблема обработки и анализа данных
•
•
•
•
•
. .
,
,
,
,
,
,
,
, …
,
,
, …
(
,
, …)
Случайные данные.
Модели, структура и анализ
Введение 11
Само развитие и многочисленность подобных направлений исследо-
ваний, с одной стороны, подтверждает, что вероятностные и статистиче-
ские методы действительно полезны и эффективны в различных областях
естествознания.
С другой стороны, важно заметить, что формирование самостоятель-
ных «статистических» направлений объясняется тем, что без вероятност-
ного подхода, без статистического рассмотрения большинство традицион-
ных естественно-научных направлений уже просто не могут развиваться.
Многие реальные практические задачи без учета случайных изменений
«состояния» изучаемых процессов и систем становятся бессодержатель-
ными.
Схема 0.2
Некоторые самостоятельные направления исследований,
в основе которых лежат статистические методы
• [1, 2]
[3, 4]
[5, 6]
[7, 8]
[9]
[10]
[11]
• [12]
• [13]
•
[14, 15]
•
•
[16, 17]
[18, 19]
[20, 21]
[22]
•
[23, 24]
•
[25, 26]
•
[27, 28]
[29],
[30],
[31],
[32],
[33,
34],
[35],
[36],
[37],
[38],
[39],
[40, 41],
[42–44],
[45–47],
[48],
-
[49, 50]
-
.
,
,
,
-
( , ,
, …)
12
3. Обычно в общей проблеме обработки информации для формирова-
ния какой-либо самостоятельной предметной области необходимо, чтобы
эта область имела:
1) свои модели процессов и систем,
2) свой круг задач,
3) свои методы решения этих задач и, конечно,
4) свою область приложения практических результатов.
Все перечисленные признаки относятся к отличительным особенно-
стям; именно ими определяется специфика каждого направления иссле-
дований и степень его самостоятельности.
Если теперь к этим же отличительным признакам подойти с несколь-
ко иной точки зрения, то многие из них могут одновременно рассматри-
ваться и как объединяющие признаки для общей проблематики статисти-
ческого анализа информации (схема 0.3).
Действительно, модели событий, процессов и систем в физике, тех-
нике, биологии, при всем их многообразии и различии, – это все-таки
вероятностные модели случайных функций. Класс решаемых задач, ка-
кой бы спецификой они ни обладали, по своему содержанию – это задачи
вероятностного анализа моделей и задачи статистической обработки на-
блюдений. Методы решения таких задач – это методы теории случайных
функций и методы математической статистики (схема 0.3).
Схема 0.3
Характерные особенности существующих направлений исследований,
связанных с проблемой статистического анализа данных
•
– ,
;
– ;
– ;
–
.
•
–
–
–
Случайные данные.
Модели, структура и анализ
Введение 13
И, наконец, остается еще одна характерная черта направления – об-
ласть приложения результатов. Этап использования результатов тесно
связан с начальным этапом исходной «содержательной» формулировки
решаемой задачи. Здесь наиболее полно проявляется специфика пред-
метной области и, конечно же, на этом этапе проявляются существенные
различия физических, биологических, экономических или каких-либо
других приложений. Однако даже на этом этапе, помимо использования
полученных результатов в рассматриваемой конкретной области, важно
оценить потенциальную полезность новых результатов в других предмет-
ных областях.
• • • Выделенные в данном разделе особенности характеризуют
общее состояние и направленность исследований по проблематике
статистической обработки и анализа случайных данных. С учетом
этих особенностей и с учетом практической полезности результа-
тов для различных областей физики, техники, биологии, медицины
в основных главах книги отбираются и исследуются вероятностные
модели случайных функций. Подобный подход к рассмотрению об-
щей вероятностной структуры, анализу основных свойств и харак-
теристик выбранных моделей приводит к более общим и более важ-
ным результатам по сравнению с результатами решения какой-либо
отдельной самостоятельной задачи.
ЛИТЕРАТУРА К ВВЕДЕНИЮ
1. Рейф Ф. Статистическая физика. – М.: Наука, 1986.
2. Климонтович Ю.Л. Статистическая физика. – М.: Наука, 1982.
3. Фейнман Р. Статистическая механика. – М.: Мир, 1975.
4. Репке Г. Неравновесная статистическая механика. – М.: Мир, 1990.
5. Киттель Ч. Статистическая термодинамика. – М.: Наука, 1977.
6. Зубарев Д.Н. Неравновесная статистическая термодинамика. –
М.: Наука, 1971.
7. Гудмен Дж. Статистическая оптика. – М.: Мир, 1988.
8. О'Нейл Э. Введение в статистическую оптику. – М.: Мир, 1966.
9. Хименко В.И., Тигин Д.В. Статистическая акустооптика и обработка
сигналов. – СПб.: Изд-во С.-Петерб. ун-та, 1996.
10. Троицкий И.Н., Устинов Н.Д. Статистическая теория голографии. –
М.: Радио и связь, 1981.
11. Троицкий И.Н. Статистическая теория томографии. – М.: Радио
и связь, 1989.
12. Дерффель К. Статистика в аналитической химии. – М.: Мир, 1994.
13. Зайцев Г.Н. Математическая статистика в экспериментальной бота-
нике. – М.: Наука, 1984.
14. Крамбейн У., Грейбилл Ф. Статистические модели в геологии. –
М.: Мир, 1969.
15. Троян В.Н., Киселев Ю.В. Статистические методы обработки геофи-
зических данных. – СПб.: Изд-во С.-Петерб. ун-та, 2000.
16. Ахманов С.А., Дьяков Ю.Е., Чиркин А.С. Статистическая радиофизика
и оптика. – М.: Физматлит, 2010.
17. Тихонов В.И. Статистическая радиотехника. – М.: Радио и связь,1982.
18. Вопросы статистической теории радиолокации / Под ред. Г.П. Тарта-
ковского. – М.: Сов. радио, 1963.
19. Сосулин Ю.Г. Теоретические основы радиолокации и радионавига-
ции. – М.: Радио и связь, 1992.
20. Миддлтон Д. Введение в статистическую теорию связи. – М.: Сов.
радио, 1961.
21. Статистическая теория связи и ее практические приложения / Под
ред. Б.Р. Левина. – М.: Связь, 1979.
22. Шифрин Я.С. Вопросы статистической теории антенн. – М.: Сов.
радио, 1970.
23. Пугачев В.С., Казаков И.Е., Евланов Л.Г. Основы статистической
теории автоматических систем. – М.: Машиностроение, 1974.
Литература к введению 15
24. Острем К. Введение в стохастическую теорию управления. –
М.: Мир, 1973.
25. Фукунага К. Введение в статистическую теорию распознавания
образов. – М.: Наука, 1979.
26. Распознавание образов: состояние и перспективы / К. Верхаген,
Р. Дейн, Ф. Грун и др. – М.: Радио и связь, 1985.
27. Налимов В.В., Чернова Н.А. Статистические методы планирования
экстремальных экспериментов. – М.: Наука, 1965.
28. Джонсон Н., Лион Ф. Статистика и планирование эксперимента
в технике и науке. – М.: Мир, 1980.
29. Статистические методы в прикладной кибернетике / Под ред.
Р.М. Юсупова. – Л.: Мин. обороны СССР, 1980.
30. Дмитриев А.К., Юсупов Р.М. Идентификация и техническая диагно-
стика. – М.: Мин. обороны СССР, 1987.
31. Вопросы математической теории надежности / Под ред. Б.В. Гнеден-
ко. – М.: Радио и связь, 1983.
32. Гнеденко Б.В., Коваленко И.Н. Введение в теорию массового обслу-
живания. – М.: Наука, 1987.
33. Пановский Г.А., Брайер Г.В. Статистические методы в метеороло-
гии. – Л.: Гидрометеоиздат, 1972.
34. Казакевич Д.И. Основы теории случайных функций в задачах гидро-
метеорологии. – Л.: Гидрометеоиздат, 1989.
35. Хаттон Л., Уэрдингтон М., Мейкин Дж. Обработка сейсмических дан-
ных. – М.: Мир, 1989.
36. Картвелишвили Н.А. Теория вероятностных процессов в гидроло-
гии. – Л.: Гидрометеоиздат, 1985.
37. Рожков В.А. Методы вероятностного анализа океанологических
процессов. – Л.: Гидрометеоиздат, 1979.
38. Прабху Н. Стохастические процессы теории запасов. – М.: Мир,
1984.
39. Блекуэлл Д., Гиршик М.А. Теория игр и статистических решений. –
М.: Изд-во ИЛ, 1958.
40. Лакин Г.Ф. Биометрия. – М.: Высшая школа, 1990.
41. Медик В.А., Токмачев М.С., Фишман Б.Б. Статистика в медицине
и биологии. – М.: Медицина, 2000.
42. Вербик М. Путеводитель по современной эконометрике. – М.: Науч-
ная книга, 2008.
43. Носко В.П. Эконометрика. Кн. 1,2. – М.: Издательский дом «Дело»,
2011.
44. Сигел Э. Практическая бизнес-статистика. – М.: Издательский дом
«Вильямс», 2004.
45. Соложенцев Е.Д. Сценарное логико-вероятностное управление ри-
ском в бизнесе и технике. – СПб.: Изд-во «Бизнес-пресса», 2004.
16 Случайные данные.
Модели, структура и анализ
46. Управление риском: Риск. Устойчивое развитие. Синергетика. –
М.: Наука, 2000.
47. Королев В.Ю., Бенинг В.Е., Шоргин С.Я. Математические основы
теории риска. – М.: Физматлит, 2011.
48. Бродецкий Г.Л. Экономико-математические методы и модели в логи-
стике. – М.: Академия, 2011.
49. Васильева Э.К., Юзбашев М.М. Выборочный метод в социально-эко-
номической статистике. – М.: Финансы и статистика, 2010.
50. Дубина И.Н. Математико-статистические методы в социально-эко-
номических исследованиях. – М.: Финансы и статистика, 2010.
ГЛАВА 1
СИГНАЛЫ, ПОМЕХИ,
НАБЛЮДЕНИЯ И РЕШЕНИЯ
• Особенности получения и преобразования информации
• Модели обработки информационных процессов
• Общая классификация и примеры случайных функций
• Основные задачи теории принятия решений
• Взаимосвязь вероятностного анализа и синтеза
По своему содержанию данная глава носит вводный характер. В ней
рассматриваются особенности получения, преобразования и обработки
информации. Вводятся простые обобщенные модели, и на их основе по-
казывается, что математическое описание сигналов, помех, наблюдений
и решений в задачах обработки информации, по своей сути, приводит
к описанию и анализу случайных функций. Для использования такого
подхода на практике в данной главе проводится общая классификация
случайных функций и для каждого выделенного класса показываются
примеры реальных экспериментальных данных из различных областей
естествознания. В последних разделах главы выделяются особенности
формулировки типовых задач обнаружения и различения сигналов, задач
оценивания параметров и задач фильтрации информационных процессов.
Показываются основные этапы вероятностного анализа и статистического
синтеза, подчеркиваются их отличительные особенности и взаимосвязи.
1.1. Обобщенная модель преобразования
информации
Обычно все основные процедуры сбора, преобразования и обработки
информации существенно зависят от содержания и конкретных условий
решаемой задачи. Большое разнообразие практических задач приводит
к разнообразию экспериментальных исследований, разнообразию систем
обработки и анализа данных. Однако, несмотря на это, принцип получе-
ния информации и основные этапы преобразования информационных
процессов условно можно представить в виде обобщенной модели (схе-
ма 1.1.1).
Такая модель включает в себя источник информации, операции пер-
вичного преобразования, передачи, приема и обработки данных. Источ-
18 Случайные данные.
Модели, структура и анализ
ником информации является здесь изучаемый объект или какая-либо
исследуемая система. Любая реальная (не идеализированная) система
функционирует в условиях случайных внешних воздействий, параметры
самой системы также могут изменяться случайным образом, и поэто-
му «состояние системы» должно рассматриваться как некоторая случай-
ная функция x(t, r), зависящая от времени t и координат пространства r.
Схема 1.1.1
Обобщенная модель получения и преобразования информации
-
-
z(x*)
«
» –
x(t, r)
-
-
-
•
•
,
•
.
,
,
,
•
•
•
•
-
• -
•
•
•
•
•
•
•
•
•
•
•
Глава 1. Сигналы, помехи, наблюдения и решения 19
Операция первичного преобразования предназначена для выделения инфор-
мационных параметров или признаков, которые характеризуют состояние
исследуемого объекта. Такая операция может выполняться, например, дат-
чиками, чувствительными элементами, сенсорными устройствами. После
первичного преобразования информационные сигналы передаются по каналу
передачи в систему обработки и анализа данных (схема 1.1.1). Характери-
стики каналов передачи информации могут изменяться случайным об-
разом в процессе работы. Практическая реализация основных преобразо-
ваний всегда сопровождается некоторыми погрешностями. Кроме того,
разнообразные внутренние и внешние случайные воздействия оказывают
неизбежное влияние на параметры исследуемых процессов.
Все эти особенности приводят к необходимости построения вероят-
ностных моделей для описания изучаемых систем, процессов и преобра-
зований.
Схема 1.1.2
Обобщенная формализованная модель обработки
информационных сигналов
S
N
{z }
S N { }
{ }
G{z | }
•
-
• ,
( ), , ,
• S, N,
{ } {z } – , ,
.
•
G{z | }
z ,
20 Случайные данные.
Модели, структура и анализ
Представленная на схеме 1.1.1 обобщенная структура, по своей сути,
отражает «содержательную» сторону проблематики получения, преобразо-
вания и обработки информации. При решении задач обработки и анализа
данных основой являются математические методы, и для их использова-
ния необходимо перейти от содержательного описания к формализован-
ному представлению информационных процессов.
На схеме 1.1.2 показана обобщенная формализованная модель обра-
ботки информации. Такая модель полностью эквивалентна рассмотрен-
ной ранее структурной схеме и отличается лишь большей формализацией.
• • • Приведенные в данном разделе обобщенные модели позво-
ляют на разных уровнях описывать последовательность основных
операций получения, преобразования и обработки информацион-
ных процессов. Такое описание может выполняться на этапах со-
держательной постановки задач, когда основные узлы структурной
модели (схема 1.1.1) конкретизируются в соответствии с исследуе-
мой системой или исследуемым источником информации. Может
выполняться такое описание и на этапах формализованного пред-
ставления решаемых задач, когда обобщенная модель (схема 1.1.2)
не зависит от физической природы рассматриваемых систем и ис-
следуемых информационных процессов.
1.2. Определение и общая классификация
случайных функций
Обобщенные модели преобразования и обработки информации
(п. 1.1) достаточно наглядно подтверждают, что математическое описа-
ние динамических систем, информационных процессов и помеховых
воздействий должно выполняться на основе теории случайных функций.
Для того чтобы воспользоваться этой теорией, целесообразно прежде
всего дать общее определение случайной функции и рассмотреть воз-
можность предварительной «грубой» классификации таких функций.
Подобный подход позволяет выделить основные классы вероятностных
моделей и привести характерные примеры их практического использо-
вания.
В наиболее общем виде случайная функция формально определяется
как семейство случайных переменных:
{ξ(s)} = {ξ(s), ξ ∈ X, s ∈ S},
в котором s – параметр, X – пространство состояний переменной ξ,
S – множество возможных значений параметра s. Если из рассматривае-
мого семейства {ξ(s)} выбрать лишь одну функцию ξ(s), то такую функцию
ξ(s) принято называть выборочной функцией или отдельной реализацией.
21
Классификация случайных функций, как и любая классификация,
существенно зависит от целей и содержания решаемых задач. Она может
выполняться различными способами и по самым различным признакам.
На данном этапе за основу классификации удобно взять общее определе-
ние случайной функции {ξ(s), ξ ∈ X, s ∈ S} и путем конкретизации мно-
жеств X и S разделить все многообразие функций {ξ(s)} на самостоятель-
ные классы (схема 1.2.1).
Разделение случайных функций {ξ(s)} = {ξ(s), ξ ∈ X, s ∈ S} по виду про-
странства состояний X и виду параметрического множества S сразу же раз-
деляет эти функции и по характерному виду их реализаций {ξ(s)}. В зада-
чах обработки и анализа информации такое деление необходимо, так как
от вида реализаций существенно зависят и сами методы анализа.
Выделим здесь несколько основных классов случайных функций (схе-
ма 1.2.2), модели которых наиболее часто используются в практических
приложениях [20, 59].
Схема 1.2.1
Принцип общей классификации
случайных функций
X – ( )
(...)
s – ,
(...)
S –
s
X S
X
S
X
S
,
,
•
•
•
•
{ (s)}= { (s), X , s S } –
(s),
Глава 1. Сигналы, помехи, наблюдения и решения
22 Случайные данные.
Модели, структура и анализ
1. Случайные последовательности и временные ряды
Предположим, что в определении случайной функции {ξ(s), ξ ∈ X,
s ∈ S} пространство состояний X является непрерывным скалярным мно-
жеством, параметр s представляет собой время, а параметрическое мно-
Схема 1.2.2
Характерный вид реализаций
различных классов случайных функций
(
)
• • • • • • •
t
y
x
• •
•
• • •
• •
•
•
y
x
z
2n
1n
( ) 3 t
n
• •
•
•
•
•
• • •
•
•
•
•
•
• •
•
•
•
•
•
•
•
•
•
•
•
• •
• • •
• • •
• •
•
-
( , , )
( )
( ) 2 t
( ) 1 t
(t)
t
( ) 2 t
( ) 1 t
n
y
x
(t,x, y)
n n(t) n( ) t
n
n
•
•
•
• C
23
жество S – дискретное, то есть s = t – время, S = T = {tn, n = 0, 1, 2, ... }.
Для случайной функции удобно при этом использовать обозначение
{ξ(s)} = {ξ(tn)} = {ξn}, где n = 0, 1, 2, ... . Называется такая функция непре-
рывной случайной последовательностью. В некоторых задачах ее назы-
вают также временным рядом или непрерывным случайным процессом
с дискретным временем. Обычно в данном определении считается, что
t0 < t1 < t2 < ... и Dt = ti – ti–1 = const при любых i = 1, 2, ... , m.
Если предположить здесь, что пространство состояний X не непрерыв-
ное, а дискретное множество, то функция {ξn} будет называться дискрет-
ной случайной последовательностью.
В более общей ситуации можно рассматривать векторную после-
довательность {ξn} = {ξ1n , ξ2n , ... , ξqn}, каждая компонента которой ξjn,
j = 1, 2, ... , q сама является непрерывной или дискретной случайной функ-
цией. В качестве иллюстрации на схеме 1.2.2 показан характерный вид
реализаций наиболее распространенных типов случайных последователь-
ностей.
2. Непрерывные случайные процессы
Если теперь предположить, что в общем определении случайной
функции {ξ(s)} = {ξ(s), ξ ∈ X, s ∈ S} параметр s = t – время, а простран-
ство состояний X и параметрическое множество S = T являются непре-
рывными множествами, то полученная функция {ξ(t)} = {ξ(t), ξ ∈ X, t ∈ T}
будет соответствовать определению непрерывного случайного процес-
са. Как правило, T представляет собой некоторый интервал временной
оси, то есть t ∈ [t0, t0 + T] = [0, T]. Значения случайных переменных ξ(t)
могут быть при этом либо действительными (скалярными), либо ком-
плексными, либо векторными. Соответственно, и исследуемые про-
цессы будут называться скалярными, комплексными или векторными
случайными процессами. На схеме 1.2.2 показан характер реализаций
скалярного непрерывного случайного процесса ξ(t), векторного двумер-
ного ξ(t) = (ξ1(t), ξ2(t)) = (ξx(t), ξy(t)) и векторного трехмерного процесса
ξ(t) = (ξ1(t), ξ2(t), ξ3(t)) = (ξx(t), ξy(t), ξz(t)). Составляющие компоненты ξi(t),
i = 1, 2, 3 могут здесь рассматриваться как зависимые или независимые не-
прерывные скалярные случайные процессы.
3. Случайные точечные процессы и потоки событий
Точечные процессы представляют собой такую математическую мо-
дель, в которой пространство состояний X – это дискретное множество
точек. Обычно каждой точке ставится в соответствие какое-либо событие,
и тогда пространство X интерпретируется как дискретное множество одно-
родных событий. Если события происходят во времени, то параметр s = t,
t ∈ T и случайный процесс ξ(t) эквивалентен последовательности точек
{tn, n = 1, 2, ...}, соответствующих случайным моментам t1, t2, ... появле-
Глава 1. Сигналы, помехи, наблюдения и решения
24 Случайные данные.
Модели, структура и анализ
ния событий. Такие процессы обычно называются случайными потока-
ми однородных событий. Описание последовательности событий {tn},
t1 < t2 < t3 < ... во многих задачах может быть выполнено и как описание
целочисленного случайного процесса {n(t)}, характеризующего число n(t)
событий (точек) на текущем интервале времени [0, t).
Модели точечных процессов допускают различные обобщения. Так,
например, случайное множество точек можно рассматривать не только
на временной оси [0, t), но и на плоскости (x, y) или в каком-либо про-
странстве (x, y, z). В зависимости от содержания решаемых задач, подоб-
ные модели могут рассматриваться как случайные точечные процессы
или, в более общей ситуации, как случайные точечные поля, изменяющи-
еся и во времени, и в пространстве (схема 1.2.2).
4. Случайные поля
Если в общем определении случайной функции {ξ(s)} = {ξ(s), ξ ∈ X,
s ∈ S} параметрическое множество S имеет размерность k ≥ 2, то такая
функция называется случайным полем. В практических приложениях наи-
больший интерес обычно представляют пространственно-временные поля
{ξ(t, r)}, для которых случайные переменные ξ(t, r) зависят от времени t
и координат r пространства (x, y, z). Налагая определенные ограничения
на пространство состояний X случайной функции {ξ(t, r)}, можно выде-
лить классы непрерывных и дискретных, скалярных и векторных случай-
ных полей.
На схеме 1.2.2 показан характер реализации наиболее простого непре-
рывного пространственно-временного случайного поля ξ(t, x, y).
• • • Конечно, следует подчеркнуть, что выделенные классы слу-
чайных функций не охватывают всего многообразия существующих
типов вероятностных моделей. Однако подобная классификация
разделяет случайные функции по виду их реализаций. Это позволяет
частично систематизировать и обобщить различные по своему со-
держанию приложения теории случайных функций для задач обра-
ботки и анализа информационных процессов.
1.3. Многообразие случайных функций
в прикладных задачах
Определение и общая классификация случайных функций, приведен-
ные в п. 1.2, относятся к формализованным представлениям. Такой подход
необходим для математического описания исследуемых систем и привле-
чения общих методов теории случайных процессов к решению задач об-
работки и анализа данных.
25
Если же говорить о содержательной стороне исследований, то нужно
заметить, что и физическая интерпретация, и характер поведения отдель-
ных реализаций случайных функций могут быть весьма разнообразными.
Зависит это от рассматриваемой области и конкретного содержания реша-
емой задачи.
Приведем здесь некоторые примеры случайных функций, характер-
ных для различных областей физических, технических, медико-биологи-
ческих исследований. Разделение на самостоятельные классы будем при
этом проводить в соответствии с общей классификацией, предложенной
в п. 1.2.
1. Примеры простых случайных последовательностей
Обычно случайные последовательности можно интерпретировать сле-
дующим образом. При исследовании некоторой сложной системы или
при изучении протекающих процессов проводятся измерения какого-либо
параметра – например, измеряется температура, давление, значение
биопотенциалов, значения скорости, ускорения, … . Измерения проводят-
ся в дискретные моменты времени t1, t2, t3, ... через равные интервалы Dt.
В результате таких измерений получается последовательность наблюдений
ξ(t1), ξ(t2), ξ(t3) ... или, в более простой форме записи, ξ1, ξ2, ξ3, ... . Если
при этом измеряемый параметр ξ(t) меняется непрерывно во времени,
то получаемая последовательность ξ1, ξ2, ξ3, ... относится к классу непре-
рывных случайных последовательностей. Если же исследуемый параметр
или процедура регистрации имеют дискретный характер, то и случайная
последовательность будет относиться к классу дискретных.
В качестве примера на схеме 1.3.1 показаны экспериментальные ре-
зультаты нескольких различных по своему содержанию исследований.
При построении математических моделей и при решении задач обработ-
ки и анализа данных все подобные результаты (независимо от физической
природы изучаемых процессов) могут исследоваться на основе теории слу-
чайных последовательностей или случайных временных рядов.
2. Примеры непрерывных случайных процессов
Большинство исследуемых природных явлений и процессов относят-
ся к процессам, протекающим непрерывно во времени. Принципиально
они могут рассматриваться как некоторые непрерывные функции време-
ни ξ(t). Если такие процессы наблюдаются (регистрируются) непрерывно
на некотором временном интервале [t0, t0 + T] = [0, T] длительностью T,
то в результате наблюдения получается реализация или траектория, или
выборочная функция исследуемого процесса ξ(t), t ∈ T.
На схеме 1.3.2 и 1.3.3 показаны примеры нескольких различных реа-
лизаций, которые, по своей сути, могут описываться и анализироваться
как реализации непрерывных случайных процессов.
Глава 1. Сигналы, помехи, наблюдения и решения
26 Случайные данные.
Модели, структура и анализ
Схема 1.3.1
Примеры простых случайных последовательностей
1 –
10
(
,
)
2 –
-
3 –
4 –
5 –
6 –
2.
••
•
• •
••
•
•
•
•
•
•
•
•
•
•
••
•
•
• •
•
• •
•
• •
•
• •
•
•
•
•
•
• •
• •
•
•
• • •
50
0
–50
–100
10 2 0 30 4 0 50
,
,
500
0
5
10
15
3.
,
/
/
1.
°C
4.
200 400 600
0,2
0,4
0,6
0,8
1,0
0
–0,1 0 0,1
–0,1
0,1
0
6.
x
y
5.
( , )
•
•
: (1, 2),
(3, 4), (5, 6)
27
Схема 1.3.2
Примеры непрерывных случайных процессов
,
2.
,
200 400 600 800
4.
0
1.
,
,
3.
6.
,
8.
,
0 50 100 150 200
5.
,
,
7.
•
•
1 –
2 – –
3 –
4 –
5 –
6 –
7 – ,
8 –
Глава 1. Сигналы, помехи, наблюдения и решения
28 Случайные данные.
Модели, структура и анализ
Схема 1.3.3
Примеры непрерывных векторных процессов
4.
–2 –1 0 1 2 x
0
0,2
–0,2
y
–2 –1 0 1 2 x
0
0,2
–0,2
y
1.
y
x
x
3.
x x
y
0
1
–1
y y
0
1
–1
0
1
–1
–1 0 1 –1 0 1 –1 0 1
2.
x
y
x
y
0
0
50
–50
0 50
–50
50
•
•
1 –
2 –
3 –
4 –
,
29
Схема 1.3.4
Примеры случайных потоков однородных событий
2.
1.
3.
4.
6. 7.
5.
•
•
(1, 2, 3) (4, 5, 6, 7)
1 –
2 –
3 –
4 –
5 –
6 –
,
7 –
,
Глава 1. Сигналы, помехи, наблюдения и решения
30 Случайные данные.
Модели, структура и анализ
Схема 1.3.5
Примеры случайных пространственно-временных полей
1.
2.
«
»
3.
–
4.
,
1 –
,
2 –
NASA
3 –
–
4 –
,
31
Схема 1.3.6
Примеры случайных пространственно-временных полей
1. 2.
5. 6.
3. 4.
•
•
1.3.5 1.3.6
-
1 –
2 –
3 –
4 –
5 –
,
6 – - (
)
Глава 1. Сигналы, помехи, наблюдения и решения
32 Случайные данные.
Модели, структура и анализ
3. Примеры случайных точечных процессов
Необходимость рассмотрения случайных точечных процессов обычно
возникает при исследованиях случайных потоков однородных событий.
В зависимости от конкретно решаемой задачи содержательная интерпре-
тация потоков событий может быть весьма разнообразна. Это могут быть,
например, потоки однородных импульсов в радиолокационных системах,
случайные потоки импульсов в нейронных сетях, случайные потоки от-
каза аппаратуры, потоки заявок в системах массового обслуживания, по-
токи импульсных воздействий в системах управления. Все подобные при-
меры относятся к исследованиям однородных событий, происходящих
последовательно одно за другим в некоторые случайные моменты време-
ни. Если потоки однородных событий изменяются не только во времени,
но и в пространстве, то для их описания и анализа могут использоваться
модели пространственно-временных потоков или модели точечных про-
странственно-временных случайных полей.
На схеме 1.3.4 показано несколько характерных примеров, относя-
щихся к исследованиям случайных потоков однородных событий.
4. Примеры случайных полей
Принципиальной особенностью случайных полей, с точки зрения об-
щей теории случайных функций, является то, что они относятся к функци-
ям, зависящим от нескольких аргументов. Если, например, это простран-
ственно-временные поля, то исследуемая функция ыξ(t, r) изменяется
одновременно и во времени, и в пространстве, т. е. ее значения зависят
от выбранного момента времени t и от координат (x, y, z) пространства r.
Наиболее распространенными примерами появления таких функ-
ций являются результаты исследования оптических изображений, анализ
взволнованных и шероховатых поверхностей, анализ изображений в рент-
генографии, ультразвуковых исследованиях, электронной микроскопии,
голографии, томографии.
Несколько характерных примеров экспериментальных результатов,
относящихся к анализу пространственно-временных случайных полей,
приведены на схеме 1.3.5 и 1.3.6.
1.4. Типовые задачи теории статистических
решений
Задачи, связанные с обработкой информации, чрезвычайно разнообразны
по своему содержанию. К ним, в частности, относятся задачи
обнаружения информационных сигналов, задачи распознавания образов,
различения и классификации данных, задачи оценивания параметров,
задачи прогноза состояния исследуемых объектов, задачи оптимально-
го управления процессами и динамическими системами, задачи функ33
циональной, структурной и параметрической идентификации изучаемых
объектов и сред.
Все подобные задачи обладают своей спецификой, их решения зави-
сят от конкретных условий, исходных данных, целей и критериев опти-
мальности. Вместе с тем при математической формализации большинство
перечисленных задач могут быть систематизированы и описаны в терми-
нах общей статистической теории принятия решений. Если воспользо-
ваться таким подходом, то сама процедура обработки и анализа данных,
в соответствии с обобщенной моделью обработки (схема 1.1.2), может рас-
сматриваться как процедура перехода от некоторого пространства наблю-
дений {ξ} к некоторому пространству решений {z}. Такой переход {ξ} ⇒ {z}
выполняется на основе определенного правила решений G{ξ|z}, которое,
по своей сути, задает алгоритм обработки данных (схема 1.4.1).
Приведенная модель носит достаточно общий характер. На ее основе
можно рассматривать задачи обработки информации в физике и технике,
биологии и медицине, социологии и экономике. Выделим здесь некото-
рые особенности конкретизации такой модели применительно к типовым
задачам теории статистических решений [45, 54, 67].
1. Задачи классификации, различения, обнаружения
Процедуры классификации, обнаружения, различения по своему со-
держанию состоят в том, чтобы по наблюдаемым данным (объектам, сиг-
налам, измерениям, признакам, …) вынести решение о принадлежности
их к тому или иному классу. Предположим, например, что на некотором
Схема 1.4.1
Общая схема обработки информации
{ }
G{z | }
{z }
•
•
G{z | }
•
-
.
Глава 1. Сигналы, помехи, наблюдения и решения
34 Случайные данные.
Модели, структура и анализ
интервале времени t ∈ [t0, t0 + T] = [0, T] длительностью T наблюдению
доступна реализация ξ(t), t ∈ [0, T] исследуемого случайного процесса ξ(t).
Известно, что этот процесс может принадлежать одному из m классов:
ξ(t) = ξi(t) = si(t) ⊗ n(t), i = 1, 2, ... , m,
где si(t) – полезные информационные компоненты или информационные
сигналы, n(t) – случайные помеховые воздействия, а символ ⊗ отража-
ет операцию взаимодействия сигнала с помехой (сложение, перемноже-
ние, …).
Задача состоит при этом в определении класса i, к которому отно-
сится наблюдаемая реализация ξ(t). Все подобные задачи в теории стати-
стических решений формулируются как задачи проверки статистических
гипотез. При этом для гипотез вводятся обозначения H0, H1, H2, ... , Hm и
Схема 1.4.2
Обобщенные модели типовых задач обработки информации
{ }
{ } {z}
G{z | }
0
1
0
1
2 k
m
•• •••
•
•
•
1 z
z H : (t) = k(t) k k
m z
0 z
1 z
•
•
•
{z} ~ {H}
:
...
0 z
•
,
•
•
•
•
•
•
35
предполагается, что гипотеза H0 соответствует ситуации, когда в наблюда-
емом процессе ξ(t) отсутствует полезная информационная составляющая,
а гипотеза Hi отражает присутствие полезного сигнала i-го класса, то есть:
H0 : ξ(t) = n(t),
Hi : ξ(t) = ξi(t) = si(t) ⊗ n(t), i =
–
1
–
,
–
m
–
.
В результате обработки реализации ξ(t), t ∈ [0, T] требуется принять
одно из возможных решений zk, то есть принять одну из (m + 1) рассматри-
ваемых гипотез Hk, и отклонить остальные гипотезы Hi, i ≠ k. Обобщенная
модель такой задачи показана на схеме 1.4.2.
Если рассмотреть наиболее простую ситуацию, когда проверяется
лишь две гипотезы:
H0 : ξ(t) = n(t),
H1 : ξ(t) = s(t) ⊗ n(t),
то формулировка задачи классификации или различения переходит в фор-
мулировку задачи обнаружения информационного сигнала s(t) на фоне
мешающих помех n(t).
Нужно заметить, что при формулировке подобных задач (схема 1.4.2)
в качестве пространства наблюдений {ξ} и информационных сигналов
могут рассматриваться различные множества случайных функций – слу-
чайные величины, случайные последовательности, случайные процессы
или случайные поля. Зависит это от содержательной постановки задач
и от конкретных математических моделей, используемых для описания
информационных процессов.
2. Задачи оценивания параметров
Состояние исследуемых динамических систем, характер изучаемых
явлений и процессов, результаты экспериментальных исследований –
все это обычно описывается совокупностью некоторых параметров a1,
a2, ... , am. Измерения таких параметров всегда сопровождаются случайны-
ми внешними и внутренними помехами, неизбежными погрешностями,
флуктуациями, случайными ошибками. Именно поэтому задачи измере-
ния по своему содержанию являются статистическими и формулируются
как задачи оценивания параметров.
Предположим, что исследуется некоторый случайный процесс ξ(t),
который представляет собой смесь информационной компоненты – сиг-
нала s(t, a) и случайной помехи n(t). На интервале времени t ∈ [0, T] дли-
тельностью T наблюдению доступна реализация процесса:
ξ(t) = s(t, a) ⊗ n(t), t ∈ [0, T],
Глава 1. Сигналы, помехи, наблюдения и решения
36 Случайные данные.
Модели, структура и анализ
где a = [a1, a2, ... , am] – вектор неизвестных параметров. Задача оцени-
вания формулируется при этом как задача нахождения наилучшей оцен-
ки a* вектора параметров a. Определение «наилучшей» понимается здесь
в смысле некоторого заданного по условиям задачи критерия качества.
Упрощенная модель такой задачи показана на схеме 1.4.3.
Схема 1.4.3
Характерные особенности задач оценивания параметров и
задач фильтрации
= 0
< 0
> 0
{ }
{ }
G{ * | }
(t)
*(t + )
• • • •
• • • •
• • • •
t
• • • •
• • • • • • • •
t
•
• • • •
• • • • • • •
t
t – t +
•
•
•
,
-
•
,
• ,
•
, ,
*
37
3. Задачи фильтрации, интерполяции, прогноза
Рассмотрим теперь ситуацию, когда исследуемый случайный процесс
ξ(t) содержит информационную составляющую s(t, a(t)) и помеховую со-
ставляющую n(t):
ξ(t) = s(t, a(t)) ⊗ n(t),
причем, в отличие от предыдущей задачи оценивания, будем считать,
что полезная компонента s(t, a(t)) является функцией времени t и
зависит
от совокупности некоторых информационных параметров a(t) =
= [a1(t), a2(t), ... , am(t)], которые также изменяются во времени.
В подобной ситуации для оценивания вектора неизвестных параме-
тров a(t) может быть сформулирована общая задача фильтрации. При ее
постановке предполагается, что исследуемый процесс ξ(t) наблюдается
на текущем интервале времени [0, t), и требуется получить оптимальную
(в смысле выбранного критерия) оценку a(t + d).
В зависимости от введенного временного сдвига d здесь возможны три
различных варианта задач (схема 1.4.3):
• при d = 0 – данная задача соответствует текущей фильтрации;
• при d < 0 – задача соответствует фильтрации с запаздыванием, или
задаче интерполяции, или задаче сглаживания;
• при d > 0 – задача фильтрации переходит в фильтрацию с упрежде-
нием, или задачу экстраполяции, или задачу прогнозирования.
Приведенная формулировка основных задач показывает, что зада-
ча фильтрации и задача оценивания параметров достаточно близки по
своему содержанию. Основные различия заключаются здесь в том, что
процедура оценивания параметров рассматривается в предположении
фиксированного интервала наблюдения [0, T] и в предположении, что па-
раметры a1, a2, ... , am исследуемого процесса ξ(t) за время наблюдения [0, T]
не успевают существенно измениться. В задачах фильтрации подобные
условия не ставятся, параметры ai(t), i =
–
1
–
,
–
m
–
исследуемого процесса ξ(t)
могут изменяться на интервале наблюдения, и поэтому обработка данных
ведется в реальном масштабе времени на текущем интервале [0, t).
• • • Сформулированные в данном разделе задачи относятся к клас-
су типовых задач теории статистических решений. По своему содер-
жанию они охватывают большинство задач, связанных с обработкой
и анализом данных. Вместе с тем существуют и различные обобще-
ния или разновидности рассмотренных формулировок. Так, напри-
мер, могут быть сформулированы задачи совместного обнаружения
и различения, задачи совместного различения и оценивания параметров.
Глава 1. Сигналы, помехи, наблюдения и решения
38 Случайные данные.
Модели, структура и анализ
1.5. Вероятностный анализ и синтез алгоритмов
Все основные задачи обработки информации обычно формулируются
в терминах теории статистических решений. Обобщенная модель обработ-
ки (схемы 1.1.2 и 1.4.1) показывает, что сама процедура принятия решений
определяется алгоритмом обработки или правилом решений G{ξ|z} – пра-
вилом перехода от пространства наблюдений {ξ} к пространству реше-
ний {z}. В свою очередь, для нахождения алгоритмов обработки и иссле-
дования их основных свойств необходимо решать самостоятельные задачи
вероятностного анализа и статистического синтеза.
1. При формулировке задач синтеза предполагается, что известны не-
обходимые априорные данные о вероятностных свойствах сигналов, помех
и их взаимодействиях. Кроме того, задаются некоторые желаемые свой-
ства алгоритмов, и в результате синтеза необходимо определить структуру
самого алгоритма обработки.
Такие задачи связаны с принципами оптимизации, и, следовательно,
синтезированные алгоритмы должны удовлетворять определенному кри-
терию качества. Выбор критерия проводится в соответствии с физическим
смыслом и целевой направленностью конкретно решаемой задачи. Чем
больше априорных данных известно, тем проще и точнее решаются про-
блемы синтеза. Основным результатом решения задач синтеза является
оптимальный (в смысле выбранного критерия) алгоритм обработки на-
блюдений.
В большинстве случаев синтез выполняется без учета возможностей
практической реализации алгоритмов, и поэтому далеко не всегда удается
точно реализовать синтезированный оптимальный алгоритм обработки.
Причинами здесь могут быть и чрезмерная сложность оптимального алго-
ритма, и отсутствие технических средств, которые адекватно осуществля-
ют требуемые математические операции. Вопрос о возможностях точной
или приближенной реализации синтезированных алгоритмов, как прави-
ло, должен рассматриваться самостоятельно в каждой конкретной задаче.
2. Проблемы вероятностного анализа обычно возникают на этапе
предварительного исследования статистических свойств информацион-
ных процессов, при построении и анализе вероятностных моделей сиг-
налов и помех, при исследовании различных линейных и нелинейных
преобразований случайных функций. На основе методов вероятностного
анализа исследуется качество или эффективность синтезированных алго-
ритмов, определяются потенциально достижимые характеристики, оце-
ниваются возможности подоптимальных вариантов реализации, иссле-
дуются вопросы устойчивости и чувствительности алгоритмов обработки
к отклонениям от заданных априорных данных.
39
Для наглядности на схеме 1.5.1 показана последовательность основ-
ных этапов построения произвольной системы обработки информации.
Из нее, в частности, видна взаимосвязь задач статистического синтеза
Схема 1.5.1
Основные этапы построения систем обработки информации
•
•
•
•
•
•
. .
.
.
-
-
-
•
•
•
Глава 1. Сигналы, помехи, наблюдения и решения
40 Случайные данные.
Модели, структура и анализ
и вероятностного анализа. Основные методы синтеза и анализа являют-
ся здесь достаточно общими, они не зависят от физической природы ис-
следуемых процессов и не зависят от принципов технической реализации
алгоритмов.
Заключение
В данной главе рассмотрена обобщенная модель получения, преоб-
разования и обработки информации, показаны особенности общей клас-
сификации случайных функций и приведены конкретные примеры экс-
периментальных данных, отражающих многообразие случайных функций
в прикладных задачах обработки и анализа информационных процессов.
Рассмотрена формализованная постановка наиболее распространенных
задач теории статистических решений, показана последовательность ос-
новных этапов вероятностного анализа и статистического синтеза алго-
ритмов.
В целом, на основе представленных в данной главе результатов можно
сделать некоторые общие выводы.
• При исследовании информационных процессов все основные этапы
получения, преобразования и обработки информации могут быть пред-
ставлены в виде обобщенных структурных моделей. Подобные модели
позволяют выполнять и содержательное, и формализованное описание
структуры различных по своей физической природе систем обработки.
• В задачах обработки информации при описании состояния иссле-
дуемых систем, описании информационных процессов и описании по-
меховых воздействий основными математическими моделями являются
статистические модели процессов или вероятностные модели случайных
функций.
• Предложенная в данной главе общая классификация случайных
функций основана на конкретизации пространства состояний и конкре-
тизации множества параметров функции. Такой подход позволяет выде-
лить из всего многообразия вероятностных моделей основные самостоя-
тельные классы: случайные последовательности, случайные непрерывные
процессы, случайные потоки событий, случайные поля. Эти классы функ-
ций существенно различаются не только по своему математическому пред-
ставлению, но и по общему виду своих реализаций. В задачах обработки
информации подобное деление особенно важно, так как от характера ре-
ализаций существенно зависят методы анализа и алгоритмы обработки
процессов.
• Математическая постановка и формализация большинства задач об-
работки информации обычно выполняется в терминах общей статистиче-
ской теории принятия решений. При этом могут быть выделены несколь-
41
ко наиболее распространенных типовых задач: 1) задачи классификации,
различения, обнаружения; 2) задачи оценивания параметров; 3) задачи
текущей фильтрации, интерполяции, прогноза.
• Нахождение эффективных алгоритмов обработки обычно связано
с решением задач вероятностного анализа и статистического синтеза. Ве-
роятностный анализ позволяет исследовать вероятностные модели сигна-
лов и помех, исследовать эффективность алгоритмов, оценивать их устой-
чивость к изменениям априорных данных и к изменениям помеховой
обстановки. Основной задачей статистического синтеза является нахож-
дение структуры оптимальных (по заданному критерию оптимальности)
алгоритмов обработки информационных процессов.
Глава 1. Сигналы, помехи, наблюдения и решения
ГЛАВА 2
СЛУЧАЙНЫЕ
ПОСЛЕДОВАТЕЛЬНОСТИ
• Определение и вероятностное описание
• Основные числовые характеристики
• Наиболее распространенные модели
• Анализ характеристик «превышений уровней»
• Поведение векторных последовательностей на плоскости
В общей теории случайных функций случайные последовательности,
или временные ряды – это один из самостоятельных классов функций.
Многие реальные процессы, наблюдения, результаты измерений в физике
и технике, экономике, биологии и медицине хорошо описываются моде-
лями случайных последовательностей. Как правило, случайные последо-
вательности исследуются проще, чем непрерывные случайные процессы
и поля. Вместе с тем при исследовании последовательностей используют-
ся общие методы описания, математические модели и методы вероятност-
ного анализа, которые важны при изучении любых классов случайных
функций. Все эти особенности поясняют важность отдельного рассмотре-
ния случайных последовательностей как с точки зрения общей теории, так
и с позиций практических приложений.
Основное содержание данной главы связано с определением, вероят-
ностным описанием, анализом информационной структуры и примерами
прикладных задач, решение которых непосредственно приводит к иссле-
дованию случайных последовательностей.
2.1. Общее определение случайных
последовательностей
Многие физические процессы, протекающие в природе, изменяются
непрерывно во времени или в пространстве, т. е. относятся к классу непре-
рывных случайных функций ξ(t, r). Наблюдения и измерения характери-
стик таких процессов на практике не всегда проводятся непрерывно.
Достаточно часто состояние исследуемых систем, или значения на-
блюдаемых процессов, измеряются через некоторые, обычно равные, ин-
тервалы времени Dt. При этом, по существу, от рассмотрения непрерыв-
43
ного случайного процесса ξ(t) переходят к рассмотрению последователь-
ности его значений ξ(t1), ξ(t2), ... , ξ(tn). Для упрощения записи при вы-
полнении условия | ti+1 – ti | = Dt = const, i = 0, 1, 2, ... , обычно используются
обозначения ξ(t1) = ξ1, ξ(t2) = ξ2, ... , ξ(tn) = ξn, или просто ξ1, ξ2, ... , ξn. Сама
операция перехода от ξ(t) к последовательности ξ1, ξ2, ... , ξn соответствует
операции дискретизации непрерывного процесса ξ(t) по времени t, а зна-
чения ξ1, ξ2, ... , ξn называются при этом реализацией непрерывной случай-
ной последовательности или временным рядом.
Схема 2.1.1
Непрерывные и дискретные случайные последовательности
(t)
t
(t)
t
n xj
t
(t)
j x
ti
n
ti
n
n n
- .
,
,
, ,
.
.
(t)
.
,
,
,
Глава 2. Случайные последовательности
44 Случайные данные.
Модели, структура и анализ
Если, помимо перехода к дискретному параметру t ⇒ ti , i = 0, 1, 2, ... ,
выполнить также и переход от непрерывного состояния ξ к дискретному
ξ ⇒ xj, j = 1, 2, ... , то из непрерывного процесса ξ(t) будет получена дис-
кретная случайная последовательность. Такой переход ξ ⇒ xj соответствует
операции квантования по уровню.
Схема 2.1.2
Формализованное определение случайных последовательностей
{ (s), X, s S} –
(s)
:
• – ,
• t = s – ,
• S = T –
, T = {t1, t2, ...},
{ (s), X, s S} = { (t), t T} = { n, n = 1, 2, ...}
,
,
• , -
–
,
n, n = 1, 2, ...
{ n, n = 1, 2, ...}
-
0
4
8
–4
–8
1000
n
0
1000
n
•
•
•
45
Дискретизация по времени t ⇒ ti и квантование по уровню ξ ⇒ xj –
это две типовые операции, которые позволяют заменить исследования не-
прерывных случайных процессов ξ(t) исследованиями случайных после-
довательностей (непрерывных или дискретных). Для наглядности описан-
ных преобразований на схеме 2.1.1 показана их упрощенная физическая
интерпретация.
Если к определению случайных последовательностей подойти с по-
зиций формализованного подхода, то в соответствии с общей классифи-
кацией случайных функций (п. 1.2), налагая определенные ограничения
на пространство параметров S и пространство состояний X, из общего
определения случайных функций {ξ(s), ξ ∈ X, s ∈ S} можно выделить са-
мостоятельный класс случайных последовательностей (схема 2.1.2).
2.2. Особенности вероятностного описания
В зависимости от содержания решаемых задач построение математи-
ческих моделей и вероятностное описание случайных функций может вы-
полняться различными способами и с различной степенью детальности.
В прикладных задачах модели случайных функций наиболее часто зада-
ются семейством конечномерных распределений. В основе такого подхода
находятся два взаимосвязанных вопроса: о способе описания случайной
величины и о способе описания конечной последовательности случайных
величин. Рассмотрим здесь подобные вопросы и выделим общие особен-
ности вероятностного описания случайных функций.
1. Предположим, что наблюдению доступен некоторый произвольный
случайный процесс {ξ(t), t ∈ T}, изменяющийся во времени. Каждая реа-
лизация такого процесса ξ(t), t ∈ T условно может рассматриваться как ре-
зультат отдельного эксперимента – результат наблюдения за изменения-
ми какого-либо параметра исследуемой системы на временном интервале
[t0, t0 + T]. Если наблюдения проводятся в неизменных условиях, то выполнив
m одинаковых экспериментов, могут быть получены m реализаций:
ξi(t), t ∈ [t0, t0 + T], i = 1, 2, ... , m.
Все эти реализации будут различаться по своей форме, но их усреднен-
ные характеристики будут подчиняться общим закономерностям, связан-
ным со свойствами или отдельными параметрами исследуемой системы.
Если на интервале наблюдений [t0, t0 + T] выбрать некоторый произ-
вольный момент времени t = t1, то значения (отсчеты) каждой реализа-
ции ξi(t1), i =
–
1
–,
–
m
–
в этот момент времени t1 будут различными и их мож-
но рассматривать как значения случайной величины ξ(t1). Иначе говоря,
значения случайного процесса {ξ(t1), t ∈ T} в каждый фиксированный
момент времени t = t1, t1 ∈ T являются случайной величиной ξ(t1). Обла-
стью определения такой величины ξ(t1) в общем случае можно считать
ξ ∈ (–∞, ∞).
Глава 2. Случайные последовательности
46 Случайные данные.
Модели, структура и анализ
На схеме 2.2.1 приведена иллюстрация подобных рассуждений.
Для полного вероятностного описания произвольной случайной вели-
чины ξ(t1) необходимо знать ее функцию распределения F(ξ; t1) или, при
выполнении свойства дифференцируемости, функцию плотности вероят-
ностей p(ξ; t1):
{ } (− )
( ; ) = ( ) , ( ; ) = ( ; ), , 1 1 1 1 F t P t p t F t .
Схема 2.2.1
Особенности вероятностного описания случайных функций
« » (
)
i(t1)
p( ; t1)
(t1)
m
m
i(t1)
(t1)
t i = 1, 2, ..., m i ( ),
0 t 1 t t 2 t t +T 0
( ) 1 t i
1 t
t
0
0
(
)
47
В этом определении значение P{ξ(t1) ≤ ξ} характеризует вероятность
события ξ(t1) ≤ ξ. Основные свойства и взаимосвязь таких функций F(ξ; t1)
и p(ξ; t1) показаны на схеме 2.2.2.
Функция распределения F(ξ; t1) и плотность вероятностей p(ξ; t1) од-
нозначно связаны между собой, и поэтому оба способа описания случай-
ной величины ξ(t1) формально являются равноценными.
Переходя к более общей ситуации, можно на интервале наблюдения
[t0, t0 + T] выбрать два различных момента времени t1, t2 ∈ T и получен-
ные при этом случайные величины ξ(t1) и ξ(t2) характеризовать двумерной
функцией распределения:
Схема 2.2.2
Определение, основные свойства и взаимосвязь функции
распределения и плотности вероятностей
•
= x
= x
1
( ; ) 1 F t
P{x(t1) x}
1 2
•
•
•
•
{ } ( )
lim ( ; ) 0, lim ( ; ) 1
( ; ) ( ) , ;
1 1
1 1
= =
= −
− +
F t F t
F t P t
( )
( ; ) 0, ( ; ) 1
( ; ), ;
( ; )
1 1
1 1
=
−
=
−
p t p t d
p t F t ( ; ) 1 p t
P{x(t1) [ 1, 2]}
{ }
{ ( ) [ , ]} ( ; ) ( ; ) ( ; )
( ; ) ( ; ) ( )
2 1 1 1
1 1 2 1
1 1 1
2
1
P t p t d F t F t
p t d F x t P t x
x
= = −
= = =
−
• F( ; t1)
p( ; t1)
(t1). -
,
P{ (t1) }
(t1) -
Глава 2. Случайные последовательности
48 Случайные данные.
Модели, структура и анализ
F2(ξ1, ξ2; t1, t2) = P{ξ(t1) ≤ ξ1, ξ(t2) ≤ ξ2}
или двумерной плотностью вероятностей:
( , ; , ) ( , ; , ) 2 1 2 1 2
1 2
2
2 1 2 1 2 p t t F t t
= .
В целом, на основе такого подхода можно считать случайный про-
цесс {ξ(t), t ∈ T} заданным, если при произвольно выбранной на интерва-
ле наблюдения [t0, t0 + T] последовательности моментов времени ti, i = 1,
2, ... , n, для семейства случайных величин ξ(t1), ξ(t2), ... , ξ(tn) определена
совместная функция распределения:
Fn(ξ1, ξ2, ... ξn; t1, t2, ... , tn) = P{ξ(t1) ≤ ξ1, ξ(t2) ≤ ξ2, ... , ξ(tn) ≤ ξn}
или совместная плотность вероятностей:
pn(ξ1, ξ2, ... ξn; t1, t2, ... , tn).
Такое семейство совместных распределений для различных значе-
ний ti , i = 1, 2, ... , n называется семейством конечномерных распределе-
ний. Важной особенностью конечномерных распределений является то,
что помимо вероятностного описания случайных величин ξ(ti), i =
–
1
–,
–
n –
,
функции Fn(...) и pn(...) содержат полезную информацию и о взаимосвязи
между значениями ξ(t1), ξ(t2), ... , ξ(tn). При использовании такого подхода
в прикладных задачах выбор размерности n зависит от требуемой полноты
описания рассматриваемого процесса {ξ(t), t ∈ T} и от сложности явных
выражений для семейства функций Fn(...) и pn(...).
2. Нахождение многомерных распределений, вообще говоря, являет-
ся достаточно сложной задачей, и поэтому целесообразно выделить здесь
одну из распространенных ситуаций, в которой вероятностное описание
случайных функций существенно упрощается.
Предположим, что исследуется некоторая последовательность случай-
ных величин ξ(t1), ξ(t2), ... , ξ(tn), и значения этой последовательности ξ(ti)
и ξ(tj) при любых i, j ≤ n, i ≠ j обладают свойством взаимной статистической
независимости. Если при этом p(ξ; ti) – одномерная плотность вероятно-
стей для ξ(ti), то на основе свойства независимости, для произвольной со-
вокупности случайных величин ξ(t1), ξ(t2), ... , ξ(tm), m ≤ n можно опреде-
лить совместную плотность вероятностей:
=
= =
m
i
m m m m i p t t t p t p t p t p t
1
1 2 1 2 1 2 ( , ,..., ; , ,..., ) ( ; ) ( ; ) ... ( ; ) ( ; ).
Если, помимо этого, функции p(ξ; ti) одинаковы при любых i =
–
1
–,
–
m
–
, то
[ ]m
m
i
i m m i p( ; t ) p( ), p ( , ,..., ) p( ; t ) p( )
1
1 2 = = =
=
.
49
Описание последовательности ξ(t1), ξ(t2), ... , ξ(tn) в данном случае эк-
вивалентно описанию последовательности независимых одинаково рас-
пределенных случайных величин ξ1, ξ2, ... , ξn. Для их вероятностного ана-
лиза в подобных ситуациях достаточно знать лишь одномерную плотность
вероятностей p(ξ; ti) = p(ξ), по которой может быть определена и много-
мерная плотность вероятностей.
• • • К изучению подобного класса моделей относится подавляющее
большинство результатов классической теории вероятностей и мате-
матической статистики. Очень часто и в задачах обработки инфор-
мационных процессов (с целью упрощения исследований) делается
специальное допущение о независимости обрабатываемых наблюде-
ний ξ(t1), ξ(t2), ... , ξ(tn).
3. При общем определении случайных последовательностей на схе-
ме 2.1.1 и 2.1.2 были выделены непрерывные последовательности и дис-
кретные случайные последовательности. Эти функции отличаются по виду
своих реализаций ξn и имеют свои особенности вероятностного описания.
Рассмотрим здесь кратко характерный вид распределений для дискретных
последовательностей.
Для класса дискретных случайных последовательностей {ξn} значение ξn
в произвольно выбранный момент времени ti, i = 0, 1, 2, ... является случай-
ной величиной ξi = ξ(ti). Эта случайная величина относится к классу дискрет-
ных и в зависимости от решаемой задачи и исследуемых процессов имеет
свою область определения. Предположим, что величина ξ может принимать
значения x1, x2, ... , xk. Тогда для полного вероятностного описания величи-
ны ξ необходимо знать ее возможные значения x1, x2, ... , xk и вероятности
pj = P{ξ = xj }, с которыми величина ξ принимает эти значения xj ,
j = 1, 2, ... , k.
Форма вероятностного описания может быть при этом различной.
Так, например, дискретная случайная величина ξ может иметь табличное
представление, в котором просто перечисляются возможные значения xj
и их вероятности pj, j =
–
1
–,–
k
–
. Другая распространенная форма описания
связана с построением функции распределения F(ξ; t1) и плотности веро-
ятностей p(ξ; t1). Характерный вид таких функций показан на схеме 2.2.3.
Функция распределения F(ξ; t1) определяется при этом выражением:
{ }
= =
xj
j F( ; t ) P (t ) p 1 1 ,
где суммирование проводится по всем значениям индекса j, для которых
xj
≤ ξ. Из этого определения видно, что функция распределения дискрет-
ной случайной величины ξ является ступенчатой возрастающей функцией.
По существу она отражает «накопление» вероятностей pj при возГлава
2. Случайные последовательности
50 Случайные данные.
Модели, структура и анализ
растании ξ. Изменения этой функции происходят в точках ξ = xj,
j = 1, 2, ... , k, а величина скачков соответствует значениям вероятностей
pj событий ξ = xj.
Функция плотности вероятностей p(ξ; t1) отражает возможные значе-
ния x1, x2, ... дискретной случайной величины ξ и соответствующие этим
значениям вероятности p1, p2, ... .
Схема 2.2.3
Вероятностное описание дискретной случайной величины
5 x
n
4 x
3 x
2 x
1 x
n
n
ti
• • • • •
x1 x3 x4 x5 2 x
1 p 3 p 4 p 5 p 2 p
( ; ) 1 F t
1
1 x 3 x 4 x 5 x 2 x
1 x 3 x 4 x 5 x 2 x
1 p
3 p
4 p 5 p
2 p
( ; ) 1 p t
•
•
•
•
F( ; t1)
•
x1, x2, ..., x5
pj,
xj, j = 1,5
{ }
= =
x j
j F( ; t ) P (t ) p 1 1
{ }
0, =1
= =
j
j j
j j
p p
p P x
51
2.3. Основные числовые характеристики
Наиболее полное вероятностное описание случайных процессов
и случайных последовательностей дается семейством конечномерных рас-
пределений. Экспериментальные определения таких функций не всег-
да легко выполняются, а во многих практических задачах и не требуется
полного вероятностного описания исследуемых процессов. Как правило,
Схема 2.3.1
Общее определение наиболее важных для практики моментных функций
. -
m m 1 2
1 = (t1) 2 = (t2). -
m° m° 1 2
, . .
1 2
m1(t1) m1(t2). , m° m° 1 2
.
= 1 + 2
M{x}
x, . . , -
( ) ( ) ( ) ( ) ( ) ( ; )
( ) ( ) ( ) ( ; )
1
1 1 1
1 1 1 1
1 1
1
1
m t M t m t t m t p t d
m t M t t p t d
2 1 2 1 2 1 2
2 1 2
1 1 1
2 1 2
1 2 1 1 1
2 1 2 1 2 1 2
2
2 1
1
1 2
( ) ( ) ( , ; , )
( , ) ( ) ( ) ( ) ( )
( , ) ( ) ( ) ( , ; , )
1 2
1 2
1 2
1 2 1 2
1 2
m t m t p t t d d
m t t M t m t t m t
m t t M t t p t t d d
Глава 2. Случайные последовательности
52 Случайные данные.
Модели, структура и анализ
в таких задачах достаточным является знание лишь отдельных числовых ха-
рактеристик распределений или отдельных свойств изучаемых процессов.
1. Для описания характерных свойств распределений обычно ис-
пользуются моментные функции. По определению все моментные функ-
ции делятся на начальные и центральные. В зависимости от размерности
к наиболее распространенным на практике относятся одномерные и дву-
мерные моментные функции. Общее определение таких функций приве-
дено на схеме 2.3.1.
Особое значение среди моментных функций имеют:
{ ( )} ( ) ( ; ) ( ) 1 1 1 1 m M t t p t d m t 1
−
= = = ,
{[ ( ) ( ) ] } [ ( ) ( ) ] ( ; ) ( ) 1
2
1
2
1 1
2
2 1 1 m M t m t t m t p t d t
−
= − = − = ,
m°11(t1, t2) = M{[x(t1) – mx(t1)]·[x(t2) – mx(t2)]} = Rx(t1, t2).
Обычно для записанных характеристик используются специальные обо-
значения mξ, sξ
2, Rξ(t1, t2), и, кроме того, важно, что эти функции имеют
простую и наглядную физическую интерпретацию.
Функция m1 = mξ(t1) характеризует среднее значение исследуемой
случайной величины ξ(t1), и называется математическим ожиданием.
Моментная функция m°2 = sξ
2(t1) соответствует дисперсии и характери-
зует степень рассеяния значений случайной величины ξ(t1) относитель-
но ее математического ожидания mξ(t1). Двумерная моментная функция
m°11(t1, t2) = Rξ(t1, t2) называется корреляционной функцией и, в соответствии
с ее определением, характеризует взаимосвязь между значениями ξ(t1) и ξ(t2).
• • • Общее определение моментных функций (схема 2.3.1) пока-
зывает, что все основные характеристики распределений находятся
путем вероятностного усреднения и записываются в виде матема-
тического ожидания M{...} исследуемой случайной величины ξ или
функции от ξ, или функции от нескольких случайных величин, на-
пример, от ξ1 = ξ(t1) и ξ2 = ξ(t2).
• • • Важной особенностью моментных функций является то, что
наиболее интересную информацию об изучаемых процессах несут
в себе моментные функции низких порядков n = 1, 2, 3, 4. С повы-
шением порядка n > 4 усложняется вычисление моментных функ-
ций, существенно снижается точность вычислений и общая инфор-
мативность. Именно этими особенностями и объясняются причины
наибольшего распространения на практике моментных функций
низких порядков n ≤ 4.
53
Схема 2.3.2
Статистическая независимость и взаимосвязь наблюдаемых данных
,
n
•
(t)
-
(t1), (t2), ..., (tn)
•
i j
i j
.
-
, ,
-
,
:
•
•
•
•
•
•
•
Глава 2. Случайные последовательности
54 Случайные данные.
Модели, структура и анализ
Схема 2.3.3
Особенности корреляционных функций для случайных
последовательностей
–
i n
{ n, n = 1, 2, ...}
p( i) = p( )
k = 0 R (k) = R (0) = M{( i – m )2} = 2
k R (k) R (0) = 2
k
•
•
•
–
-
{ } ) ( d p M m
−
= =
{( ) } ( )2 ( )
2
2
d p m m M
−
= − = −
{[ ][ ]}
( )( )
−
−
− −
= − − =
i j i j i j i j
i j i j
m m p t t d d
R t t M m m
( , ; , )
( , )
2
•
R (ti, tj) = R (k)
i = (ti) j = (tj), j = i + k, -
(k = 0, 1, 2, ...)
•
R (k)
•
{ n} = { (tn)}
tn, n = 1, 2, ... –
,
R (k)
55
2. Сложность исследований случайных процессов ξ(t) и последова-
тельностей ξn, n = 1, 2, ... заметно снижается, если изучаемые значения
ξ(t1), ξ(t2), ... , ξ(tn), или в более простой форме записи, ξ1, ξ1, ..., ξn обла-
дают свойством независимости. Ясно, что выполняется это не всегда.
Например, при анализе последовательностей ξn, n = 1, 2, ..., порожден-
ных узкополосными непрерывными процессами ξ(t), трудно предполагать,
что любые значения ξi = ξ(ti) и ξj = ξ(tj) при любых i ≠ j независимы. Более
того, во многих задачах априорно известно, что наблюдения ξn, n = 1, 2, ...
статистически взаимосвязаны, и характер этой связи важен сам по себе
(схема 2.3.2).
При произвольной зависимости между ξi и ξj вероятностное описание
случайной последовательности ξn, n = 1, 2, ... является полным, если для
любой совокупности случайных величин ξ1, ξ2, ... , ξm, m ≤ n может быть най-
дена совместная функция распределения Fm(ξ1, ξ2, ... , ξm; t1, t2, ... , tm) или
совместная плотность вероятностей pm(ξ1, ξ2, ... , ξm; t1, t2, ... , tm). Слож-
ность подобного описания обычно связана со сложностью функций Fm(...)
и pm(...) при размерностях m ≥ 2.
Если при анализе последовательностей ξn, n = 1, 2, ... ограничиться
лишь рассмотрением линейных взаимосвязей между различными значе-
ниями ξi и ξj , i ≠ j, то весь анализ может быть выполнен в рамках корреля-
ционной теории случайных функций. На схеме 2.3.3 показаны особенно-
сти определения, основные свойства и характерный вид корреляционной
функции для непрерывных случайных последовательностей.
2.4. Простые гауссовские модели
Результаты любых исследований прежде всего зависят от содержания
решаемой задачи и конкретной вероятностной модели, которая подверга-
ется исследованию. Существующие модели случайных последовательно-
стей и случайных процессов весьма разнообразны. Однако во всем этом
разнообразии гауссовские модели играют особую роль. Они важны и в те-
оретических, и в экспериментальных исследованиях. Они обладают мно-
гими важными свойствами, и в большинстве практических задач заслужи-
вают самостоятельного рассмотрения.
1. Описание и анализ гауссовских моделей начнем с наиболее про-
стой ситуации. Будем считать, что исследуется некоторая случайная
последовательность {ξn, n = 1, 2, ... }, представляющая собой последовательность
независимых одинаково распределенных случайных ве-
личин ξ1, ξ2, ... , ξn. Для полного вероятностного описания таких по-
следовательностей {ξn} достаточно знать лишь одномерную плотность
вероятностей p(ξi) = p(ξ) или одномерную функцию распределения
F(ξi) = F(ξ). Если при этом функции p(ξ) и F(ξ) имеют вид:
Глава 2. Случайные последовательности
56 Случайные данные.
Модели, структура и анализ
−
−
=
2
2
2
( )
exp
2
1
( )
m
p ,
( ) −
−
= =
−
( ) ( ) , ,
m
F p x dx , (2.4.1)
то рассматриваемая последовательность {ξn} называется гауссовской.
Параметры mξ и sξ
2 характеризуют здесь, соответственно, математическое
ожидание и дисперсию случайных величин ξi, i =
–
1
–,
–
n –
, а функция Ф(x)
представляет собой хорошо известный и подробно табулированный [16]
интеграл вероятности:
−
= − −
x
(x) (2 ) 1 2 exp( y2 2)dy. (2.4.2)
На схеме 2.4.1 показан характерный вид функций p(ξ) и F(ξ) и пе-
речислены основные особенности одномерных гауссовских распределений
(1).
По своей сути, плотность вероятностей p(ξ) и функция распределения
F(ξ) позволяют полностью описать исследуемую гауссовскую случайную
величину ξ. Если рассматривается последовательность независимых гаус-
совских величин ξ1, ξ2, ... , ξn, каждая из которых имеет свои параметры:
mi = M{ξi}, si
2 = M{(ξi – mi)2}, i =
–
1
–,
–
n –
,
то для полного их описания необходимо знать совместную плотность
вероятностей. При условии взаимной независимости величин ξ1, ξ2, ... , ξn
такая функция определяется достаточно просто:
( , ,..., ) = ( , ) ( , ) ... ( , ) = 2 22
2 2
2
n 1 2 n 1 1 1 n n n p p m p m p m
−
−
=
=
n
i i
i i
n
n
m
1
2
2
1 2
2
( )
2
1
exp
(2 ) ...
1
. (2.4.3)
Вероятностное описание гауссовской последовательности ξ1, ξ2, ... ,
ξn еще более упрощается, если независимые случайные величины имеют
одинаковые параметры. В подобной ситуации
mi = M{ξi} = mξ = const, si
2 = sξ
2 = const, i =
–
1
–,
–
n –
,
и в соответствии с формулами (1)–(3):
−
−
=
=
n
i
n n n n i p m
1
2
1 2 2 2 ( )
2
1
exp
(2 )
1
( , ,..., ) . (2.4.4)
• • • Записанные плотности вероятностей (3) и (4) позволяют находить
любые числовые характеристики гауссовских последовательностей
при исследованиях независимых случайных величин {ξn, n = 1, 2, ... , n}.
57
2. В более общих ситуациях свойство независимости для рассматри-
ваемой совокупности случайных величин ξ1, ξ2, ... , ξn может не выпол-
няться. При подобном подходе случайная последовательность {ξn} назы-
вается гауссовской, если совместные распределения для любой конечной
Схема 2.4.1
Одномерное гауссовское (нормальное) распределение
•
m
2
m –
, 2
–
•
p( )
= m
•
= m ,
•
(– , ),
[m ± 3 ]
P{ [m ± 3 ]} = 0,997
•
P{ [a, b]}
(x)
m = 0
2
= 1 P{ [a, b]} = (b) – (a)
m =0 1 2
=
2
1
m –3 m m +3
p( )
0 m >
0 m =
p( ) F( )
0
= 0,5 1
2 = 1
3
1
3 2
0,5
•
•
p( ) F( )
−
= − 2
2
2
( )
exp
2
1 ( )
m
p
= −
2
exp
2
1 ( )
2
p , (– , )
2 1/2
( ) ( ) max ( ) (2 )p = p = m = p = −
= 1,5
Глава 2. Случайные последовательности
58 Случайные данные.
Модели, структура и анализ
совокупности случайных величин ξ1, ξ2, ... , ξm при произвольных m ≤ n
являются m-мерными нормальными распределениями.
Совместная нормальная плотность вероятностей для случайных вели-
чин ξ1, ξ2, ... , ξn имеет вид [20, 67, 103]:
− − − =
=
− − − n
i j
i j i i j j
n
n n p R R A m m
, 1
1
2
1
2
1 2 ( , ,..., ) (2 ) exp (2 ) ( )( ) . (2.4.5)
В этом выражении mi = M{ξi} – математические ожидания случайных
величин ξi; R – корреляционная матрица, определяемая как:
=
n n nn
n
n
R R R
R R R
R R R
R
...
... ... ... ...
...
...
1 2
21 22 2
11 12 1
; (2.4.6)
Rij = Rji = M{(xi – mi)(xj – mj)} = sisjrij – коэффициент корреляции для ξi
и ξj, i, j =
–
1
–,
–
n –
;
s2
i = Rii = M{(xi – mi)2} – дисперсии величин ξi; |R | = det R – определитель
корреляционной матрицы; Aij – алгебраическое дополнение элемента Rij
в определителе |R |.
• • • Выражение (5) показывает общий вид многомерного нормаль-
ного распределения. На основе плотности вероятностей pn(ξ1, ξ2, ... ,
ξn) выполняется
полное вероятностное описание гауссовских случай-
ных величин ξ1, ξ2, ... , ξn, а также взаимосвязей между ними.
3. Сложность общего изучения случайных последовательностей {ξn}
всегда зависит от наличия взаимосвязей между рассматриваемыми слу-
чайными величинами ξ1, ξ2, ... , ξn. Многомерная нормальная плотность
вероятностей (5) показывает, что описание зависимостей между гауссов-
скими величинами ξi, ξj, i, j =
–
1
–,
–
n –
полностью выполняется на основе кор-
реляционных характеристик (6). Это свойство оказывает существенное
влияние на решение многих практических задач, и для его более полного
рассмотрения целесообразно выделить характерные особенности описа-
ния двух зависимых гауссовских случайных величин.
Будем считать, что ξ1 и ξ2 – случайные гауссовские величины с пара-
метрами m1, s1
2 и m2, s2
2. Для их полного описания на основе выражения (5)
при n = 2 получим двумерную плотность вероятностей:
−
−
−
−
−
= 2
1
2
1 1
2 2
1 2
2 1 2
( )
2(1 )
1
exp
2 1
1
( , )
m
r r
p
59
−
+
− −
− 22
2
2 2
1 2
1 1 2 2 2r ( m )( m ) ( m )
. (2.4.7)
В этом распределении значение r соответствует нормированному значе-
нию коэффициента корреляции:
{ }
12 21
1 2
12
1 2
1 1 2 2 ,
( )( )
R R
M m m R
r =
=
− −
= . (2.4.8)
Величина коэффициента r характеризует степень линейной взаимосвязи
между гауссовскими величинами ξ1 и ξ2. Значение r может изме-
няться в диапазоне r ∈ [–1, 1]. При этом если случайные величины неза-
висимы, коэффициент корреляции между ними r = 0. Важным свойством
гауссовских моделей является то, что для них справедливо и обратное ут-
верждение: если гауссовские величины ξ1 и ξ2 некоррелированы, то они
являются статистически независимыми.
На схеме 2.4.2 показан характер поведения двумерных нормальных
плотностей вероятностей для коррелированных и некоррелированных га-
уссовских величин ξ1 и ξ2.
4. Гауссовские модели, как уже подчеркивалось, занимают особое по-
ложение среди всего многообразия существующих вероятностных моде-
лей. Они являются наиболее распространенными и наиболее изученными.
Навряд ли найдется такая книга по теории вероятностей и математической
статистике, в которой отсутствует описание нормального распределения.
Однако, несмотря на это, полезно выделить здесь некоторые характерные
особенности гауссовских моделей – особенности, которые существенно
влияют на решение многих практических задач.
Общие свойства гауссовских моделей
• Гауссовскими моделями хорошо описываются многие реальные
процессы в физических, технических, биологических и социально-
экономических системах.
• При совместном аддитивном воздействии и при сложении большо-
го числа случайных факторов, оказывающих примерно одинаковое
влияние на общий результат, результирующий эффект с возраста-
нием числа слагаемых приближается к гауссовскому. Доказатель-
ство подобных свойств основывается на центральной предельной
теореме теории вероятностей.
• Гауссовские процессы сохраняют свойство гауссовости при различ-
ных линейных преобразованиях.
• На выходе многих линейных инерционных систем за счет эффек-
тов нормализации выходные процессы приближаются к гауссов-
ским даже при негауссовских входных воздействиях. Такой эффект
Глава 2. Случайные последовательности
60 Случайные данные.
Модели, структура и анализ
Схема 2.4.2
Особенности двумерных нормальных распределений
r = 0 r = 0,75
0r = 7r =0. 5
1
2
1
2
0
0 0
0
•
1 2
m1 = m2 = m = 0 1 = 2 = = 1
:
( )
+ +
−
−
−
= 22
1 2
2
2 1 2 2 2 1 2
2(1 )
1
exp
2 1
1
( , ) r
r r
p
•
p2( 1, 2) ,
10 2, . .
•
1 2
,
r = 0,
1 2
:
• 1 2
0 1 0 2
( ) ( ) ( )
2
1
exp
2
1
( , ) 1 2
22
2
2 1 2 1 p p p =
= − +
61
наглядно проявляется, например, в радиофизических системах,
когда исследуются случайные процессы на выходе линейных узко-
полосных (инерционных) систем при негауссовских широкополос-
ных процессах на входе.
• Гауссовские модели полностью описываются в рамках корреляци-
онной теории случайных функций. Это существенно упрощает экс-
периментальные и теоретические исследования.
• Гауссовские модели удобны в аналитических исследованиях, и они
относятся к классу наиболее изученных вероятностных моделей.
Многие задачи вероятностного анализа и обработки информации
удается решить только при допущениях о гауссовости рассматрива-
емых процессов.
• По определению гауссовские случайные величины и процессы опи-
сываются нормальными распределениями. Такое распределение
обладает максимальной энтропией, и эта особенность позволяет
исследовать предельные или потенциально достижимые характе-
ристики алгоритмов и систем.
Помимо перечисленных здесь особенностей, полезно подчеркнуть,
что многие реальные негауссовские случайные процессы относятся по сво-
ей природе к классу процессов, «порожденных гауссовскими». Результаты
детальных исследований гауссовских моделей позволяют в подобных си-
туациях более полно изучать и разнообразные модели сложных негауссов-
ских случайных функций.
2.5. Модели, порожденные гауссовским
распределением
Ясно, что при всей важности и практической полезности гауссовских
моделей они не являются единственно возможными и, естественно, да-
леко не все случайные процессы могут быть удовлетворительно описаны
гауссовским распределением. Наиболее распространенная причина по-
явления негауссовости – это разнообразные нелинейные преобразования.
Если гауссовский процесс подвергается какому-либо нелинейному преоб-
разованию, то свойство гауссовости нарушается; распределения преобра-
зованных процессов становятся негауссовскими, а их характер обычно за-
висит как от параметров исходного случайного воздействия, так и от кон-
кретного вида преобразования.
Не будем здесь перечислять особенности существующего многооб-
разия нелинейных систем и многообразия негауссовских распределений;
рассмотрим кратко лишь сам принцип нахождения вероятностных харак-
теристик после функциональных преобразований случайной величины
Глава 2. Случайные последовательности
62 Случайные данные.
Модели, структура и анализ
и приведем несколько практически важных вероятностных моделей, по-
рожденных гауссовскими процессами.
1. Функциональное преобразование случайных величин
Достаточно часто, независимо от конкретных областей физических,
технических или биологических приложений, в задачах обработки и ана-
лиза информационных процессов приходится рассматривать различные
преобразования исследуемых случайных функций и находить характе-
ристики или вид распределений преобразованных случайных процессов.
Рассмотрим наиболее простую типовую ситуацию, которая позволяет
прояснить принцип нахождения плотностей вероятностей преобразован-
ных случайных величин.
Предположим, что исследуется случайная последовательность
{ξn}, представляющая собой последовательность независимых одина-
ково распределенных случайных величин ξ1, ξ2, ... , ξn, каждая из ко-
торых описывается некоторой плотностью вероятностей pξi
(ξi) = pξ(ξ).
Будем считать, что последовательность {ξn} подвергается преобразованию
ξ ⇒ f (ξ) = η, где f (x) – однозначная детерминированная функция, и необ-
ходимо найти плотность вероятностей pη(η) для преобразованных случай-
ных величин η. Так как случайные величины ξ и η связаны между собой
однозначной детерминированной зависимостью, то можно заметить, что
при нахождении исходной величины ξ в некотором заданном интервале
ξ ∈ [x, x + dx] преобразованная случайная величина η всегда будет нахо-
диться в интервале [y, y + dy], где y = f (x), dy = df(x) / dx. Иначе говоря, при
однозначной взаимной связи между ξ и η вероятность события ξ ∈ [x, x + dx]
эквивалентна вероятности события η ∈ [y, y + dy]. Для большей наглядно-
сти пояснение этого свойства приведено на схеме 2.5.1.
В данном случае при монотонно возрастающей функции f (x), т. е. при
df (x)/dx > 0 выполняется равенство вероятностей:
P{η ≤ y} = P{f(x) ≤ y} = P{x ≤ j(y)},
а при df (x)/dx < 0, соответственно,
P{η ≤ y} = P{f(x) ≥ y} = P{x ≥ j(y)},
где x = j(y) – функция, обратная функции f(x).
Записанное свойство эквивалентности приводит к простому правилу
«пересчета» плотностей вероятностей при функциональных преобразова-
ниях [53, 67, 108]:
= ( ( )) ( )
( ) = ( ) p '
d
d
p p . (2.5.1)
По существу такой результат отражает операцию замены переменной
в исходной плотности вероятностей pξ(ξ) по заданной функциональной
63
связи между ξ и η. Значение производной dξ/dη = dj(η)/dη соответствует
здесь якобиану преобразования от переменной ξ к переменной η.
Схема 2.5.1
Принцип простого функционального преобразования
= f ( ) –
= ( ) –
, , ,... 1 2 3
p ( )
, , ,... 1 2 3
p ( )
y = f (x)
p ( )
P{ [x, x + dx]} P{ [y, y + dy]}
p ( )
x x +dx y
y +dy
y
0 x x +dx 0 0 y +dy
•
•
• •
•
,
•
= f( )
:
P{ [x, x + dx]} = P{ [y, y + dy]}.
, p (x)dx = p (y)dy,
,
, p ( )d = p ( )d
•
p ( )
-
,
= f( ) = ( ),
-
-
:
d
d ( ) ( ( ))
d
d
( ) ( )
p = p = p
Эта книга представляет собой переработанный и существенно допол-
ненный вариант книги, опубликованной издательством «ТЕХНОСФЕРА»
в 2017 году (Хименко В.И. Случайные данные: структура и анализ. –
М.: ТЕХНОСФЕРА,
2017. – 424 с.). Основной материал первого издания
серьезной переработке не подвергся и практически сохранился в прежнем
виде. Существенные изменения во втором издании связаны с рассмотре-
нием вероятностного описания неоднородных данных. При этом введе-
ны две новые главы, в которых показаны особенности построения веро-
ятностных моделей с двойной стохастичностью (Глава 6) и возможности
исследований случайных процессов в условиях случайно-неоднородных
сред (Глава 7). Потенциальная полезность таких результатов объясняется
большим разнообразием практических задач, в которых рассматриваются
стохастические системы и изучаются случайные процессы со случайными
изменениями основных параметров или случайными изменениями их об-
щей вероятностной структуры.
Характерными примерами подобных систем могут быть стохастиче-
ские системы автоматического управления в задачах локации, навигации
и связи, системы искусственного интеллекта с перестраиваемой вероят-
ностной структурой, системы компьютерного зрения и распознавания об-
разов, различные адаптивные и самонастраивающиеся системы живой и
неживой природы.
Помимо введения новых глав, во второе издание книги добавлен раз-
дел 2.12, результаты которого относятся к классическим областям веро-
ятностных исследований экстремальных значений случайных процессов.
Заметно пополнен основной список литературы.
Теперь несколько слов о содержании книги.
Трудно найти какую-либо область науки, техники, биологии, эконо-
мики или естествознания, в которой не проводились бы различные на-
блюдения, измерения или экспериментальные исследования. Во всех этих
областях возникают вопросы описания, анализа и извлечения полезной
информации из полученных данных. В свою очередь, полученные данные,
как правило, могут изменяться случайным образом, и основные методы их
описания приводят к необходимости рассмотрения разнообразных моде-
лей случайных функций.
Вопросам построения вероятностных моделей, статистическим мето-
дам исследований и общей теории случайных функций посвящено доста-
точно много хороших изданных монографий, учебников и учебных посо-
бий, некоторые из которых перечислены во Введении.
Данная книга по своей общей направленности также связана с рас-
смотрением прикладных вопросов использования моделей случайных
функций в решении различных практических задач, однако по своему
характеру она существенно отличается от всех известных изданных книг.
Отличается по общему содержанию, по форме представления и характеру
изложения основных результатов. Эти отличительные особенности можно
заметить уже на этапе предварительного просмотра оглавления, введения
и кратких аннотаций, которыми открывается каждая глава.
Изложение основного материала в данной работе начинается с расши-
ренного Введения. Здесь делается попытка хотя бы приближенно очертить
состояние исследований, разнообразие областей и спектр практических
приложений, связанных с общей проблематикой обработки и анализа слу-
чайных данных.
После вводной части все содержание книги разделено на несколько
самостоятельных глав. В первой главе показываются обобщенные модели
получения, преобразования и обработки информации, проводится общая
классификация случайных функций и выделяются особенности типовых
задач теории статистических решений. Материал последующих четырех
глав посвящен рассмотрению моделей и результатов анализа основных
классов случайных функций: анализу временных рядов или случайных
последовательностей (глава 2), исследованиям непрерывных случайных
процессов (глава 3), рассмотрению случайных потоков событий и случай-
ных точечных процессов (глава 4), анализу пространственно-временных
данных на уровне моделей случайных полей и изображений (глава 5).
Две следующие главы (главы 6 и 7) связаны с проблемами анализа
случайных процессов в условиях случайно-неоднородных сред. Здесь по-
казаны особенности влияния случайных сред на отдельные параметры и
общую структуру вероятностных моделей, особенности возникновения и
описания двойной стохастичности. На примере отдельных самостоятель-
ных задач рассмотрены возможности исследований случайных процессов
в случайных средах.
В каждой главе показываются основные модели процессов и резуль-
таты их анализа, выделяются наиболее важные характеристики и при-
водятся примеры различных прикладных задач. В книге представлено
большое количество новых результатов. В основном они относятся к веро-
ятностному описанию неоднородных данных, исследованиям детальной
вероятностной структуры процессов, представлениям случайных функ-
ций на фазовой плоскости и анализу диаграмм рассеяния, исследовани-
ям структуры случайных точечных процессов и исследованиям простран-
ственно-временных характеристик случайных полей.
Все основные результаты, приводимые в работе, имеют достаточно
строгие математические доказательства и обоснования. Однако сами до-
казательства здесь не рассматривались, так как не это являлось основной
Предисловие 7
целью. Отбор и характер изложения основного материала ведется здесь
таким образом, чтобы, по возможности, избежать излишнего формализ-
ма, выявить содержательную, физическую сторону рассматриваемых про-
цессов и облегчить практическое использование результатов. Кроме того,
здесь делалась попытка показать разнообразие прикладных задач, кото-
рые решаются (или могут решаться) на основе рассмотренных моделей
временных рядов, случайных процессов, случайных потоков событий,
пространственно-временных полей и изображений.
Помимо этого, нужно отметить, что для большей наглядности изло-
жения и удобства пользования книгой весь иллюстративный материал
представлен здесь в виде отдельных схем. Эти схемы обладают опреде-
ленной самостоятельностью, дают много дополнительной информации и
в большинстве случаев могут рассматриваться независимо от основного
текста.
В целом предлагаемая книга подготавливалась так, чтобы она могла
быть полезной для тех, кто изучает, исследует и применяет на практике
модели и методы анализа различных по своей физической природе слу-
чайных данных.
Случайные данные.
Модели, структура и анализ
8
ВВЕДЕНИЕ
ОБЩАЯ ПРОБЛЕМА ОБРАБОТКИ
И АНАЛИЗА ДАННЫХ
1. Одной из наиболее общих проблем в физике и технике, биологии
и медицине, социологии, экономике и различных областях естествозна-
ния является проблема описания и извлечения информации из экспери-
ментальных данных. Под термином «данные», в зависимости от конкрет-
ной области, могут пониматься самые разнообразные информационные
процессы, сигналы, результаты наблюдений или измерений.
В соответствии с традиционным определением, информационные
сигналы и данные – это изменения какой-либо физической величины,
отражающей информацию о некотором явлении, событии, состоянии
исследуемой системы или состоянии наблюдаемого объекта. Состояния
реальных (не идеализированных) систем могут изменяться случайным
образом, а поэтому «сигналы и данные» по самой своей сути должны рас-
сматриваться как некоторые случайные функции.
Следовательно, если рассматривать задачи описания, обработки
и анализа данных, то можно заметить, что по своему содержанию подоб-
ные задачи эквивалентны задачам описания и исследования случайных
функций. Принципиально такие задачи относятся к классу статистиче-
ских или вероятностных задач. Основой для решения таких задач явля-
ются теория вероятностей, теория случайных процессов и математиче-
ская статистика (схема 0.1). Теория вероятностей используется при этом
для построения моделей и исследования случайных явлений, случайных
событий, случайных величин. Изучение временной и пространственной
структуры случайных функций, вероятностных зависимостей, различных
линейных и нелинейных преобразований сигналов и данных выполняется
на основе теории случайных процессов. Методы математической стати-
стики позволяют решать задачи оптимального планирования эксперимен-
тов, задачи оценивания параметров, классификации случайных данных,
распознавания образов и многие другие задачи, связанные с проблемой
статистических решений и статистических выводов.
2. Приведенное общее определение информационных сигналов и дан-
ных настолько широкое, что может относиться к самым различным об-
ластям исследований. Это может быть, например, область исследования
основных закономерностей материального мира, изучение процессов
развития живой природы, исследование технических систем, социальных
10
явлений и экономических процессов. Хорошо известно также и то, что ве-
роятностные и статистические методы анализа относятся к междисципли-
нарным методам. Они позволяют описывать информационные процессы,
исследовать поведение сложных систем, находить оптимальные алгорит-
мы обработки и анализа данных независимо от их физической природы.
Все эти особенности наглядно проявляются в многообразии сформи-
ровавшихся к настоящему времени самостоятельных «статистических»
направлений исследований (схема 0.2).
Схема 0.1
Общая проблема обработки и анализа данных
•
•
•
•
•
. .
,
,
,
,
,
,
,
, …
,
,
, …
(
,
, …)
Случайные данные.
Модели, структура и анализ
Введение 11
Само развитие и многочисленность подобных направлений исследо-
ваний, с одной стороны, подтверждает, что вероятностные и статистиче-
ские методы действительно полезны и эффективны в различных областях
естествознания.
С другой стороны, важно заметить, что формирование самостоятель-
ных «статистических» направлений объясняется тем, что без вероятност-
ного подхода, без статистического рассмотрения большинство традицион-
ных естественно-научных направлений уже просто не могут развиваться.
Многие реальные практические задачи без учета случайных изменений
«состояния» изучаемых процессов и систем становятся бессодержатель-
ными.
Схема 0.2
Некоторые самостоятельные направления исследований,
в основе которых лежат статистические методы
• [1, 2]
[3, 4]
[5, 6]
[7, 8]
[9]
[10]
[11]
• [12]
• [13]
•
[14, 15]
•
•
[16, 17]
[18, 19]
[20, 21]
[22]
•
[23, 24]
•
[25, 26]
•
[27, 28]
[29],
[30],
[31],
[32],
[33,
34],
[35],
[36],
[37],
[38],
[39],
[40, 41],
[42–44],
[45–47],
[48],
-
[49, 50]
-
.
,
,
,
-
( , ,
, …)
12
3. Обычно в общей проблеме обработки информации для формирова-
ния какой-либо самостоятельной предметной области необходимо, чтобы
эта область имела:
1) свои модели процессов и систем,
2) свой круг задач,
3) свои методы решения этих задач и, конечно,
4) свою область приложения практических результатов.
Все перечисленные признаки относятся к отличительным особенно-
стям; именно ими определяется специфика каждого направления иссле-
дований и степень его самостоятельности.
Если теперь к этим же отличительным признакам подойти с несколь-
ко иной точки зрения, то многие из них могут одновременно рассматри-
ваться и как объединяющие признаки для общей проблематики статисти-
ческого анализа информации (схема 0.3).
Действительно, модели событий, процессов и систем в физике, тех-
нике, биологии, при всем их многообразии и различии, – это все-таки
вероятностные модели случайных функций. Класс решаемых задач, ка-
кой бы спецификой они ни обладали, по своему содержанию – это задачи
вероятностного анализа моделей и задачи статистической обработки на-
блюдений. Методы решения таких задач – это методы теории случайных
функций и методы математической статистики (схема 0.3).
Схема 0.3
Характерные особенности существующих направлений исследований,
связанных с проблемой статистического анализа данных
•
– ,
;
– ;
– ;
–
.
•
–
–
–
Случайные данные.
Модели, структура и анализ
Введение 13
И, наконец, остается еще одна характерная черта направления – об-
ласть приложения результатов. Этап использования результатов тесно
связан с начальным этапом исходной «содержательной» формулировки
решаемой задачи. Здесь наиболее полно проявляется специфика пред-
метной области и, конечно же, на этом этапе проявляются существенные
различия физических, биологических, экономических или каких-либо
других приложений. Однако даже на этом этапе, помимо использования
полученных результатов в рассматриваемой конкретной области, важно
оценить потенциальную полезность новых результатов в других предмет-
ных областях.
• • • Выделенные в данном разделе особенности характеризуют
общее состояние и направленность исследований по проблематике
статистической обработки и анализа случайных данных. С учетом
этих особенностей и с учетом практической полезности результа-
тов для различных областей физики, техники, биологии, медицины
в основных главах книги отбираются и исследуются вероятностные
модели случайных функций. Подобный подход к рассмотрению об-
щей вероятностной структуры, анализу основных свойств и харак-
теристик выбранных моделей приводит к более общим и более важ-
ным результатам по сравнению с результатами решения какой-либо
отдельной самостоятельной задачи.
ЛИТЕРАТУРА К ВВЕДЕНИЮ
1. Рейф Ф. Статистическая физика. – М.: Наука, 1986.
2. Климонтович Ю.Л. Статистическая физика. – М.: Наука, 1982.
3. Фейнман Р. Статистическая механика. – М.: Мир, 1975.
4. Репке Г. Неравновесная статистическая механика. – М.: Мир, 1990.
5. Киттель Ч. Статистическая термодинамика. – М.: Наука, 1977.
6. Зубарев Д.Н. Неравновесная статистическая термодинамика. –
М.: Наука, 1971.
7. Гудмен Дж. Статистическая оптика. – М.: Мир, 1988.
8. О'Нейл Э. Введение в статистическую оптику. – М.: Мир, 1966.
9. Хименко В.И., Тигин Д.В. Статистическая акустооптика и обработка
сигналов. – СПб.: Изд-во С.-Петерб. ун-та, 1996.
10. Троицкий И.Н., Устинов Н.Д. Статистическая теория голографии. –
М.: Радио и связь, 1981.
11. Троицкий И.Н. Статистическая теория томографии. – М.: Радио
и связь, 1989.
12. Дерффель К. Статистика в аналитической химии. – М.: Мир, 1994.
13. Зайцев Г.Н. Математическая статистика в экспериментальной бота-
нике. – М.: Наука, 1984.
14. Крамбейн У., Грейбилл Ф. Статистические модели в геологии. –
М.: Мир, 1969.
15. Троян В.Н., Киселев Ю.В. Статистические методы обработки геофи-
зических данных. – СПб.: Изд-во С.-Петерб. ун-та, 2000.
16. Ахманов С.А., Дьяков Ю.Е., Чиркин А.С. Статистическая радиофизика
и оптика. – М.: Физматлит, 2010.
17. Тихонов В.И. Статистическая радиотехника. – М.: Радио и связь,1982.
18. Вопросы статистической теории радиолокации / Под ред. Г.П. Тарта-
ковского. – М.: Сов. радио, 1963.
19. Сосулин Ю.Г. Теоретические основы радиолокации и радионавига-
ции. – М.: Радио и связь, 1992.
20. Миддлтон Д. Введение в статистическую теорию связи. – М.: Сов.
радио, 1961.
21. Статистическая теория связи и ее практические приложения / Под
ред. Б.Р. Левина. – М.: Связь, 1979.
22. Шифрин Я.С. Вопросы статистической теории антенн. – М.: Сов.
радио, 1970.
23. Пугачев В.С., Казаков И.Е., Евланов Л.Г. Основы статистической
теории автоматических систем. – М.: Машиностроение, 1974.
Литература к введению 15
24. Острем К. Введение в стохастическую теорию управления. –
М.: Мир, 1973.
25. Фукунага К. Введение в статистическую теорию распознавания
образов. – М.: Наука, 1979.
26. Распознавание образов: состояние и перспективы / К. Верхаген,
Р. Дейн, Ф. Грун и др. – М.: Радио и связь, 1985.
27. Налимов В.В., Чернова Н.А. Статистические методы планирования
экстремальных экспериментов. – М.: Наука, 1965.
28. Джонсон Н., Лион Ф. Статистика и планирование эксперимента
в технике и науке. – М.: Мир, 1980.
29. Статистические методы в прикладной кибернетике / Под ред.
Р.М. Юсупова. – Л.: Мин. обороны СССР, 1980.
30. Дмитриев А.К., Юсупов Р.М. Идентификация и техническая диагно-
стика. – М.: Мин. обороны СССР, 1987.
31. Вопросы математической теории надежности / Под ред. Б.В. Гнеден-
ко. – М.: Радио и связь, 1983.
32. Гнеденко Б.В., Коваленко И.Н. Введение в теорию массового обслу-
живания. – М.: Наука, 1987.
33. Пановский Г.А., Брайер Г.В. Статистические методы в метеороло-
гии. – Л.: Гидрометеоиздат, 1972.
34. Казакевич Д.И. Основы теории случайных функций в задачах гидро-
метеорологии. – Л.: Гидрометеоиздат, 1989.
35. Хаттон Л., Уэрдингтон М., Мейкин Дж. Обработка сейсмических дан-
ных. – М.: Мир, 1989.
36. Картвелишвили Н.А. Теория вероятностных процессов в гидроло-
гии. – Л.: Гидрометеоиздат, 1985.
37. Рожков В.А. Методы вероятностного анализа океанологических
процессов. – Л.: Гидрометеоиздат, 1979.
38. Прабху Н. Стохастические процессы теории запасов. – М.: Мир,
1984.
39. Блекуэлл Д., Гиршик М.А. Теория игр и статистических решений. –
М.: Изд-во ИЛ, 1958.
40. Лакин Г.Ф. Биометрия. – М.: Высшая школа, 1990.
41. Медик В.А., Токмачев М.С., Фишман Б.Б. Статистика в медицине
и биологии. – М.: Медицина, 2000.
42. Вербик М. Путеводитель по современной эконометрике. – М.: Науч-
ная книга, 2008.
43. Носко В.П. Эконометрика. Кн. 1,2. – М.: Издательский дом «Дело»,
2011.
44. Сигел Э. Практическая бизнес-статистика. – М.: Издательский дом
«Вильямс», 2004.
45. Соложенцев Е.Д. Сценарное логико-вероятностное управление ри-
ском в бизнесе и технике. – СПб.: Изд-во «Бизнес-пресса», 2004.
16 Случайные данные.
Модели, структура и анализ
46. Управление риском: Риск. Устойчивое развитие. Синергетика. –
М.: Наука, 2000.
47. Королев В.Ю., Бенинг В.Е., Шоргин С.Я. Математические основы
теории риска. – М.: Физматлит, 2011.
48. Бродецкий Г.Л. Экономико-математические методы и модели в логи-
стике. – М.: Академия, 2011.
49. Васильева Э.К., Юзбашев М.М. Выборочный метод в социально-эко-
номической статистике. – М.: Финансы и статистика, 2010.
50. Дубина И.Н. Математико-статистические методы в социально-эко-
номических исследованиях. – М.: Финансы и статистика, 2010.
ГЛАВА 1
СИГНАЛЫ, ПОМЕХИ,
НАБЛЮДЕНИЯ И РЕШЕНИЯ
• Особенности получения и преобразования информации
• Модели обработки информационных процессов
• Общая классификация и примеры случайных функций
• Основные задачи теории принятия решений
• Взаимосвязь вероятностного анализа и синтеза
По своему содержанию данная глава носит вводный характер. В ней
рассматриваются особенности получения, преобразования и обработки
информации. Вводятся простые обобщенные модели, и на их основе по-
казывается, что математическое описание сигналов, помех, наблюдений
и решений в задачах обработки информации, по своей сути, приводит
к описанию и анализу случайных функций. Для использования такого
подхода на практике в данной главе проводится общая классификация
случайных функций и для каждого выделенного класса показываются
примеры реальных экспериментальных данных из различных областей
естествознания. В последних разделах главы выделяются особенности
формулировки типовых задач обнаружения и различения сигналов, задач
оценивания параметров и задач фильтрации информационных процессов.
Показываются основные этапы вероятностного анализа и статистического
синтеза, подчеркиваются их отличительные особенности и взаимосвязи.
1.1. Обобщенная модель преобразования
информации
Обычно все основные процедуры сбора, преобразования и обработки
информации существенно зависят от содержания и конкретных условий
решаемой задачи. Большое разнообразие практических задач приводит
к разнообразию экспериментальных исследований, разнообразию систем
обработки и анализа данных. Однако, несмотря на это, принцип получе-
ния информации и основные этапы преобразования информационных
процессов условно можно представить в виде обобщенной модели (схе-
ма 1.1.1).
Такая модель включает в себя источник информации, операции пер-
вичного преобразования, передачи, приема и обработки данных. Источ-
18 Случайные данные.
Модели, структура и анализ
ником информации является здесь изучаемый объект или какая-либо
исследуемая система. Любая реальная (не идеализированная) система
функционирует в условиях случайных внешних воздействий, параметры
самой системы также могут изменяться случайным образом, и поэто-
му «состояние системы» должно рассматриваться как некоторая случай-
ная функция x(t, r), зависящая от времени t и координат пространства r.
Схема 1.1.1
Обобщенная модель получения и преобразования информации
-
-
z(x*)
«
» –
x(t, r)
-
-
-
•
•
,
•
.
,
,
,
•
•
•
•
-
• -
•
•
•
•
•
•
•
•
•
•
•
Глава 1. Сигналы, помехи, наблюдения и решения 19
Операция первичного преобразования предназначена для выделения инфор-
мационных параметров или признаков, которые характеризуют состояние
исследуемого объекта. Такая операция может выполняться, например, дат-
чиками, чувствительными элементами, сенсорными устройствами. После
первичного преобразования информационные сигналы передаются по каналу
передачи в систему обработки и анализа данных (схема 1.1.1). Характери-
стики каналов передачи информации могут изменяться случайным об-
разом в процессе работы. Практическая реализация основных преобразо-
ваний всегда сопровождается некоторыми погрешностями. Кроме того,
разнообразные внутренние и внешние случайные воздействия оказывают
неизбежное влияние на параметры исследуемых процессов.
Все эти особенности приводят к необходимости построения вероят-
ностных моделей для описания изучаемых систем, процессов и преобра-
зований.
Схема 1.1.2
Обобщенная формализованная модель обработки
информационных сигналов
S
N
{z }
S N { }
{ }
G{z | }
•
-
• ,
( ), , ,
• S, N,
{ } {z } – , ,
.
•
G{z | }
z ,
20 Случайные данные.
Модели, структура и анализ
Представленная на схеме 1.1.1 обобщенная структура, по своей сути,
отражает «содержательную» сторону проблематики получения, преобразо-
вания и обработки информации. При решении задач обработки и анализа
данных основой являются математические методы, и для их использова-
ния необходимо перейти от содержательного описания к формализован-
ному представлению информационных процессов.
На схеме 1.1.2 показана обобщенная формализованная модель обра-
ботки информации. Такая модель полностью эквивалентна рассмотрен-
ной ранее структурной схеме и отличается лишь большей формализацией.
• • • Приведенные в данном разделе обобщенные модели позво-
ляют на разных уровнях описывать последовательность основных
операций получения, преобразования и обработки информацион-
ных процессов. Такое описание может выполняться на этапах со-
держательной постановки задач, когда основные узлы структурной
модели (схема 1.1.1) конкретизируются в соответствии с исследуе-
мой системой или исследуемым источником информации. Может
выполняться такое описание и на этапах формализованного пред-
ставления решаемых задач, когда обобщенная модель (схема 1.1.2)
не зависит от физической природы рассматриваемых систем и ис-
следуемых информационных процессов.
1.2. Определение и общая классификация
случайных функций
Обобщенные модели преобразования и обработки информации
(п. 1.1) достаточно наглядно подтверждают, что математическое описа-
ние динамических систем, информационных процессов и помеховых
воздействий должно выполняться на основе теории случайных функций.
Для того чтобы воспользоваться этой теорией, целесообразно прежде
всего дать общее определение случайной функции и рассмотреть воз-
можность предварительной «грубой» классификации таких функций.
Подобный подход позволяет выделить основные классы вероятностных
моделей и привести характерные примеры их практического использо-
вания.
В наиболее общем виде случайная функция формально определяется
как семейство случайных переменных:
{ξ(s)} = {ξ(s), ξ ∈ X, s ∈ S},
в котором s – параметр, X – пространство состояний переменной ξ,
S – множество возможных значений параметра s. Если из рассматривае-
мого семейства {ξ(s)} выбрать лишь одну функцию ξ(s), то такую функцию
ξ(s) принято называть выборочной функцией или отдельной реализацией.
21
Классификация случайных функций, как и любая классификация,
существенно зависит от целей и содержания решаемых задач. Она может
выполняться различными способами и по самым различным признакам.
На данном этапе за основу классификации удобно взять общее определе-
ние случайной функции {ξ(s), ξ ∈ X, s ∈ S} и путем конкретизации мно-
жеств X и S разделить все многообразие функций {ξ(s)} на самостоятель-
ные классы (схема 1.2.1).
Разделение случайных функций {ξ(s)} = {ξ(s), ξ ∈ X, s ∈ S} по виду про-
странства состояний X и виду параметрического множества S сразу же раз-
деляет эти функции и по характерному виду их реализаций {ξ(s)}. В зада-
чах обработки и анализа информации такое деление необходимо, так как
от вида реализаций существенно зависят и сами методы анализа.
Выделим здесь несколько основных классов случайных функций (схе-
ма 1.2.2), модели которых наиболее часто используются в практических
приложениях [20, 59].
Схема 1.2.1
Принцип общей классификации
случайных функций
X – ( )
(...)
s – ,
(...)
S –
s
X S
X
S
X
S
,
,
•
•
•
•
{ (s)}= { (s), X , s S } –
(s),
Глава 1. Сигналы, помехи, наблюдения и решения
22 Случайные данные.
Модели, структура и анализ
1. Случайные последовательности и временные ряды
Предположим, что в определении случайной функции {ξ(s), ξ ∈ X,
s ∈ S} пространство состояний X является непрерывным скалярным мно-
жеством, параметр s представляет собой время, а параметрическое мно-
Схема 1.2.2
Характерный вид реализаций
различных классов случайных функций
(
)
• • • • • • •
t
y
x
• •
•
• • •
• •
•
•
y
x
z
2n
1n
( ) 3 t
n
• •
•
•
•
•
• • •
•
•
•
•
•
• •
•
•
•
•
•
•
•
•
•
•
•
• •
• • •
• • •
• •
•
-
( , , )
( )
( ) 2 t
( ) 1 t
(t)
t
( ) 2 t
( ) 1 t
n
y
x
(t,x, y)
n n(t) n( ) t
n
n
•
•
•
• C
23
жество S – дискретное, то есть s = t – время, S = T = {tn, n = 0, 1, 2, ... }.
Для случайной функции удобно при этом использовать обозначение
{ξ(s)} = {ξ(tn)} = {ξn}, где n = 0, 1, 2, ... . Называется такая функция непре-
рывной случайной последовательностью. В некоторых задачах ее назы-
вают также временным рядом или непрерывным случайным процессом
с дискретным временем. Обычно в данном определении считается, что
t0 < t1 < t2 < ... и Dt = ti – ti–1 = const при любых i = 1, 2, ... , m.
Если предположить здесь, что пространство состояний X не непрерыв-
ное, а дискретное множество, то функция {ξn} будет называться дискрет-
ной случайной последовательностью.
В более общей ситуации можно рассматривать векторную после-
довательность {ξn} = {ξ1n , ξ2n , ... , ξqn}, каждая компонента которой ξjn,
j = 1, 2, ... , q сама является непрерывной или дискретной случайной функ-
цией. В качестве иллюстрации на схеме 1.2.2 показан характерный вид
реализаций наиболее распространенных типов случайных последователь-
ностей.
2. Непрерывные случайные процессы
Если теперь предположить, что в общем определении случайной
функции {ξ(s)} = {ξ(s), ξ ∈ X, s ∈ S} параметр s = t – время, а простран-
ство состояний X и параметрическое множество S = T являются непре-
рывными множествами, то полученная функция {ξ(t)} = {ξ(t), ξ ∈ X, t ∈ T}
будет соответствовать определению непрерывного случайного процес-
са. Как правило, T представляет собой некоторый интервал временной
оси, то есть t ∈ [t0, t0 + T] = [0, T]. Значения случайных переменных ξ(t)
могут быть при этом либо действительными (скалярными), либо ком-
плексными, либо векторными. Соответственно, и исследуемые про-
цессы будут называться скалярными, комплексными или векторными
случайными процессами. На схеме 1.2.2 показан характер реализаций
скалярного непрерывного случайного процесса ξ(t), векторного двумер-
ного ξ(t) = (ξ1(t), ξ2(t)) = (ξx(t), ξy(t)) и векторного трехмерного процесса
ξ(t) = (ξ1(t), ξ2(t), ξ3(t)) = (ξx(t), ξy(t), ξz(t)). Составляющие компоненты ξi(t),
i = 1, 2, 3 могут здесь рассматриваться как зависимые или независимые не-
прерывные скалярные случайные процессы.
3. Случайные точечные процессы и потоки событий
Точечные процессы представляют собой такую математическую мо-
дель, в которой пространство состояний X – это дискретное множество
точек. Обычно каждой точке ставится в соответствие какое-либо событие,
и тогда пространство X интерпретируется как дискретное множество одно-
родных событий. Если события происходят во времени, то параметр s = t,
t ∈ T и случайный процесс ξ(t) эквивалентен последовательности точек
{tn, n = 1, 2, ...}, соответствующих случайным моментам t1, t2, ... появле-
Глава 1. Сигналы, помехи, наблюдения и решения
24 Случайные данные.
Модели, структура и анализ
ния событий. Такие процессы обычно называются случайными потока-
ми однородных событий. Описание последовательности событий {tn},
t1 < t2 < t3 < ... во многих задачах может быть выполнено и как описание
целочисленного случайного процесса {n(t)}, характеризующего число n(t)
событий (точек) на текущем интервале времени [0, t).
Модели точечных процессов допускают различные обобщения. Так,
например, случайное множество точек можно рассматривать не только
на временной оси [0, t), но и на плоскости (x, y) или в каком-либо про-
странстве (x, y, z). В зависимости от содержания решаемых задач, подоб-
ные модели могут рассматриваться как случайные точечные процессы
или, в более общей ситуации, как случайные точечные поля, изменяющи-
еся и во времени, и в пространстве (схема 1.2.2).
4. Случайные поля
Если в общем определении случайной функции {ξ(s)} = {ξ(s), ξ ∈ X,
s ∈ S} параметрическое множество S имеет размерность k ≥ 2, то такая
функция называется случайным полем. В практических приложениях наи-
больший интерес обычно представляют пространственно-временные поля
{ξ(t, r)}, для которых случайные переменные ξ(t, r) зависят от времени t
и координат r пространства (x, y, z). Налагая определенные ограничения
на пространство состояний X случайной функции {ξ(t, r)}, можно выде-
лить классы непрерывных и дискретных, скалярных и векторных случай-
ных полей.
На схеме 1.2.2 показан характер реализации наиболее простого непре-
рывного пространственно-временного случайного поля ξ(t, x, y).
• • • Конечно, следует подчеркнуть, что выделенные классы слу-
чайных функций не охватывают всего многообразия существующих
типов вероятностных моделей. Однако подобная классификация
разделяет случайные функции по виду их реализаций. Это позволяет
частично систематизировать и обобщить различные по своему со-
держанию приложения теории случайных функций для задач обра-
ботки и анализа информационных процессов.
1.3. Многообразие случайных функций
в прикладных задачах
Определение и общая классификация случайных функций, приведен-
ные в п. 1.2, относятся к формализованным представлениям. Такой подход
необходим для математического описания исследуемых систем и привле-
чения общих методов теории случайных процессов к решению задач об-
работки и анализа данных.
25
Если же говорить о содержательной стороне исследований, то нужно
заметить, что и физическая интерпретация, и характер поведения отдель-
ных реализаций случайных функций могут быть весьма разнообразными.
Зависит это от рассматриваемой области и конкретного содержания реша-
емой задачи.
Приведем здесь некоторые примеры случайных функций, характер-
ных для различных областей физических, технических, медико-биологи-
ческих исследований. Разделение на самостоятельные классы будем при
этом проводить в соответствии с общей классификацией, предложенной
в п. 1.2.
1. Примеры простых случайных последовательностей
Обычно случайные последовательности можно интерпретировать сле-
дующим образом. При исследовании некоторой сложной системы или
при изучении протекающих процессов проводятся измерения какого-либо
параметра – например, измеряется температура, давление, значение
биопотенциалов, значения скорости, ускорения, … . Измерения проводят-
ся в дискретные моменты времени t1, t2, t3, ... через равные интервалы Dt.
В результате таких измерений получается последовательность наблюдений
ξ(t1), ξ(t2), ξ(t3) ... или, в более простой форме записи, ξ1, ξ2, ξ3, ... . Если
при этом измеряемый параметр ξ(t) меняется непрерывно во времени,
то получаемая последовательность ξ1, ξ2, ξ3, ... относится к классу непре-
рывных случайных последовательностей. Если же исследуемый параметр
или процедура регистрации имеют дискретный характер, то и случайная
последовательность будет относиться к классу дискретных.
В качестве примера на схеме 1.3.1 показаны экспериментальные ре-
зультаты нескольких различных по своему содержанию исследований.
При построении математических моделей и при решении задач обработ-
ки и анализа данных все подобные результаты (независимо от физической
природы изучаемых процессов) могут исследоваться на основе теории слу-
чайных последовательностей или случайных временных рядов.
2. Примеры непрерывных случайных процессов
Большинство исследуемых природных явлений и процессов относят-
ся к процессам, протекающим непрерывно во времени. Принципиально
они могут рассматриваться как некоторые непрерывные функции време-
ни ξ(t). Если такие процессы наблюдаются (регистрируются) непрерывно
на некотором временном интервале [t0, t0 + T] = [0, T] длительностью T,
то в результате наблюдения получается реализация или траектория, или
выборочная функция исследуемого процесса ξ(t), t ∈ T.
На схеме 1.3.2 и 1.3.3 показаны примеры нескольких различных реа-
лизаций, которые, по своей сути, могут описываться и анализироваться
как реализации непрерывных случайных процессов.
Глава 1. Сигналы, помехи, наблюдения и решения
26 Случайные данные.
Модели, структура и анализ
Схема 1.3.1
Примеры простых случайных последовательностей
1 –
10
(
,
)
2 –
-
3 –
4 –
5 –
6 –
2.
••
•
• •
••
•
•
•
•
•
•
•
•
•
•
••
•
•
• •
•
• •
•
• •
•
• •
•
•
•
•
•
• •
• •
•
•
• • •
50
0
–50
–100
10 2 0 30 4 0 50
,
,
500
0
5
10
15
3.
,
/
/
1.
°C
4.
200 400 600
0,2
0,4
0,6
0,8
1,0
0
–0,1 0 0,1
–0,1
0,1
0
6.
x
y
5.
( , )
•
•
: (1, 2),
(3, 4), (5, 6)
27
Схема 1.3.2
Примеры непрерывных случайных процессов
,
2.
,
200 400 600 800
4.
0
1.
,
,
3.
6.
,
8.
,
0 50 100 150 200
5.
,
,
7.
•
•
1 –
2 – –
3 –
4 –
5 –
6 –
7 – ,
8 –
Глава 1. Сигналы, помехи, наблюдения и решения
28 Случайные данные.
Модели, структура и анализ
Схема 1.3.3
Примеры непрерывных векторных процессов
4.
–2 –1 0 1 2 x
0
0,2
–0,2
y
–2 –1 0 1 2 x
0
0,2
–0,2
y
1.
y
x
x
3.
x x
y
0
1
–1
y y
0
1
–1
0
1
–1
–1 0 1 –1 0 1 –1 0 1
2.
x
y
x
y
0
0
50
–50
0 50
–50
50
•
•
1 –
2 –
3 –
4 –
,
29
Схема 1.3.4
Примеры случайных потоков однородных событий
2.
1.
3.
4.
6. 7.
5.
•
•
(1, 2, 3) (4, 5, 6, 7)
1 –
2 –
3 –
4 –
5 –
6 –
,
7 –
,
Глава 1. Сигналы, помехи, наблюдения и решения
30 Случайные данные.
Модели, структура и анализ
Схема 1.3.5
Примеры случайных пространственно-временных полей
1.
2.
«
»
3.
–
4.
,
1 –
,
2 –
NASA
3 –
–
4 –
,
31
Схема 1.3.6
Примеры случайных пространственно-временных полей
1. 2.
5. 6.
3. 4.
•
•
1.3.5 1.3.6
-
1 –
2 –
3 –
4 –
5 –
,
6 – - (
)
Глава 1. Сигналы, помехи, наблюдения и решения
32 Случайные данные.
Модели, структура и анализ
3. Примеры случайных точечных процессов
Необходимость рассмотрения случайных точечных процессов обычно
возникает при исследованиях случайных потоков однородных событий.
В зависимости от конкретно решаемой задачи содержательная интерпре-
тация потоков событий может быть весьма разнообразна. Это могут быть,
например, потоки однородных импульсов в радиолокационных системах,
случайные потоки импульсов в нейронных сетях, случайные потоки от-
каза аппаратуры, потоки заявок в системах массового обслуживания, по-
токи импульсных воздействий в системах управления. Все подобные при-
меры относятся к исследованиям однородных событий, происходящих
последовательно одно за другим в некоторые случайные моменты време-
ни. Если потоки однородных событий изменяются не только во времени,
но и в пространстве, то для их описания и анализа могут использоваться
модели пространственно-временных потоков или модели точечных про-
странственно-временных случайных полей.
На схеме 1.3.4 показано несколько характерных примеров, относя-
щихся к исследованиям случайных потоков однородных событий.
4. Примеры случайных полей
Принципиальной особенностью случайных полей, с точки зрения об-
щей теории случайных функций, является то, что они относятся к функци-
ям, зависящим от нескольких аргументов. Если, например, это простран-
ственно-временные поля, то исследуемая функция ыξ(t, r) изменяется
одновременно и во времени, и в пространстве, т. е. ее значения зависят
от выбранного момента времени t и от координат (x, y, z) пространства r.
Наиболее распространенными примерами появления таких функ-
ций являются результаты исследования оптических изображений, анализ
взволнованных и шероховатых поверхностей, анализ изображений в рент-
генографии, ультразвуковых исследованиях, электронной микроскопии,
голографии, томографии.
Несколько характерных примеров экспериментальных результатов,
относящихся к анализу пространственно-временных случайных полей,
приведены на схеме 1.3.5 и 1.3.6.
1.4. Типовые задачи теории статистических
решений
Задачи, связанные с обработкой информации, чрезвычайно разнообразны
по своему содержанию. К ним, в частности, относятся задачи
обнаружения информационных сигналов, задачи распознавания образов,
различения и классификации данных, задачи оценивания параметров,
задачи прогноза состояния исследуемых объектов, задачи оптимально-
го управления процессами и динамическими системами, задачи функ33
циональной, структурной и параметрической идентификации изучаемых
объектов и сред.
Все подобные задачи обладают своей спецификой, их решения зави-
сят от конкретных условий, исходных данных, целей и критериев опти-
мальности. Вместе с тем при математической формализации большинство
перечисленных задач могут быть систематизированы и описаны в терми-
нах общей статистической теории принятия решений. Если воспользо-
ваться таким подходом, то сама процедура обработки и анализа данных,
в соответствии с обобщенной моделью обработки (схема 1.1.2), может рас-
сматриваться как процедура перехода от некоторого пространства наблю-
дений {ξ} к некоторому пространству решений {z}. Такой переход {ξ} ⇒ {z}
выполняется на основе определенного правила решений G{ξ|z}, которое,
по своей сути, задает алгоритм обработки данных (схема 1.4.1).
Приведенная модель носит достаточно общий характер. На ее основе
можно рассматривать задачи обработки информации в физике и технике,
биологии и медицине, социологии и экономике. Выделим здесь некото-
рые особенности конкретизации такой модели применительно к типовым
задачам теории статистических решений [45, 54, 67].
1. Задачи классификации, различения, обнаружения
Процедуры классификации, обнаружения, различения по своему со-
держанию состоят в том, чтобы по наблюдаемым данным (объектам, сиг-
налам, измерениям, признакам, …) вынести решение о принадлежности
их к тому или иному классу. Предположим, например, что на некотором
Схема 1.4.1
Общая схема обработки информации
{ }
G{z | }
{z }
•
•
G{z | }
•
-
.
Глава 1. Сигналы, помехи, наблюдения и решения
34 Случайные данные.
Модели, структура и анализ
интервале времени t ∈ [t0, t0 + T] = [0, T] длительностью T наблюдению
доступна реализация ξ(t), t ∈ [0, T] исследуемого случайного процесса ξ(t).
Известно, что этот процесс может принадлежать одному из m классов:
ξ(t) = ξi(t) = si(t) ⊗ n(t), i = 1, 2, ... , m,
где si(t) – полезные информационные компоненты или информационные
сигналы, n(t) – случайные помеховые воздействия, а символ ⊗ отража-
ет операцию взаимодействия сигнала с помехой (сложение, перемноже-
ние, …).
Задача состоит при этом в определении класса i, к которому отно-
сится наблюдаемая реализация ξ(t). Все подобные задачи в теории стати-
стических решений формулируются как задачи проверки статистических
гипотез. При этом для гипотез вводятся обозначения H0, H1, H2, ... , Hm и
Схема 1.4.2
Обобщенные модели типовых задач обработки информации
{ }
{ } {z}
G{z | }
0
1
0
1
2 k
m
•• •••
•
•
•
1 z
z H : (t) = k(t) k k
m z
0 z
1 z
•
•
•
{z} ~ {H}
:
...
0 z
•
,
•
•
•
•
•
•
35
предполагается, что гипотеза H0 соответствует ситуации, когда в наблюда-
емом процессе ξ(t) отсутствует полезная информационная составляющая,
а гипотеза Hi отражает присутствие полезного сигнала i-го класса, то есть:
H0 : ξ(t) = n(t),
Hi : ξ(t) = ξi(t) = si(t) ⊗ n(t), i =
–
1
–
,
–
m
–
.
В результате обработки реализации ξ(t), t ∈ [0, T] требуется принять
одно из возможных решений zk, то есть принять одну из (m + 1) рассматри-
ваемых гипотез Hk, и отклонить остальные гипотезы Hi, i ≠ k. Обобщенная
модель такой задачи показана на схеме 1.4.2.
Если рассмотреть наиболее простую ситуацию, когда проверяется
лишь две гипотезы:
H0 : ξ(t) = n(t),
H1 : ξ(t) = s(t) ⊗ n(t),
то формулировка задачи классификации или различения переходит в фор-
мулировку задачи обнаружения информационного сигнала s(t) на фоне
мешающих помех n(t).
Нужно заметить, что при формулировке подобных задач (схема 1.4.2)
в качестве пространства наблюдений {ξ} и информационных сигналов
могут рассматриваться различные множества случайных функций – слу-
чайные величины, случайные последовательности, случайные процессы
или случайные поля. Зависит это от содержательной постановки задач
и от конкретных математических моделей, используемых для описания
информационных процессов.
2. Задачи оценивания параметров
Состояние исследуемых динамических систем, характер изучаемых
явлений и процессов, результаты экспериментальных исследований –
все это обычно описывается совокупностью некоторых параметров a1,
a2, ... , am. Измерения таких параметров всегда сопровождаются случайны-
ми внешними и внутренними помехами, неизбежными погрешностями,
флуктуациями, случайными ошибками. Именно поэтому задачи измере-
ния по своему содержанию являются статистическими и формулируются
как задачи оценивания параметров.
Предположим, что исследуется некоторый случайный процесс ξ(t),
который представляет собой смесь информационной компоненты – сиг-
нала s(t, a) и случайной помехи n(t). На интервале времени t ∈ [0, T] дли-
тельностью T наблюдению доступна реализация процесса:
ξ(t) = s(t, a) ⊗ n(t), t ∈ [0, T],
Глава 1. Сигналы, помехи, наблюдения и решения
36 Случайные данные.
Модели, структура и анализ
где a = [a1, a2, ... , am] – вектор неизвестных параметров. Задача оцени-
вания формулируется при этом как задача нахождения наилучшей оцен-
ки a* вектора параметров a. Определение «наилучшей» понимается здесь
в смысле некоторого заданного по условиям задачи критерия качества.
Упрощенная модель такой задачи показана на схеме 1.4.3.
Схема 1.4.3
Характерные особенности задач оценивания параметров и
задач фильтрации
= 0
< 0
> 0
{ }
{ }
G{ * | }
(t)
*(t + )
• • • •
• • • •
• • • •
t
• • • •
• • • • • • • •
t
•
• • • •
• • • • • • •
t
t – t +
•
•
•
,
-
•
,
• ,
•
, ,
*
37
3. Задачи фильтрации, интерполяции, прогноза
Рассмотрим теперь ситуацию, когда исследуемый случайный процесс
ξ(t) содержит информационную составляющую s(t, a(t)) и помеховую со-
ставляющую n(t):
ξ(t) = s(t, a(t)) ⊗ n(t),
причем, в отличие от предыдущей задачи оценивания, будем считать,
что полезная компонента s(t, a(t)) является функцией времени t и
зависит
от совокупности некоторых информационных параметров a(t) =
= [a1(t), a2(t), ... , am(t)], которые также изменяются во времени.
В подобной ситуации для оценивания вектора неизвестных параме-
тров a(t) может быть сформулирована общая задача фильтрации. При ее
постановке предполагается, что исследуемый процесс ξ(t) наблюдается
на текущем интервале времени [0, t), и требуется получить оптимальную
(в смысле выбранного критерия) оценку a(t + d).
В зависимости от введенного временного сдвига d здесь возможны три
различных варианта задач (схема 1.4.3):
• при d = 0 – данная задача соответствует текущей фильтрации;
• при d < 0 – задача соответствует фильтрации с запаздыванием, или
задаче интерполяции, или задаче сглаживания;
• при d > 0 – задача фильтрации переходит в фильтрацию с упрежде-
нием, или задачу экстраполяции, или задачу прогнозирования.
Приведенная формулировка основных задач показывает, что зада-
ча фильтрации и задача оценивания параметров достаточно близки по
своему содержанию. Основные различия заключаются здесь в том, что
процедура оценивания параметров рассматривается в предположении
фиксированного интервала наблюдения [0, T] и в предположении, что па-
раметры a1, a2, ... , am исследуемого процесса ξ(t) за время наблюдения [0, T]
не успевают существенно измениться. В задачах фильтрации подобные
условия не ставятся, параметры ai(t), i =
–
1
–
,
–
m
–
исследуемого процесса ξ(t)
могут изменяться на интервале наблюдения, и поэтому обработка данных
ведется в реальном масштабе времени на текущем интервале [0, t).
• • • Сформулированные в данном разделе задачи относятся к клас-
су типовых задач теории статистических решений. По своему содер-
жанию они охватывают большинство задач, связанных с обработкой
и анализом данных. Вместе с тем существуют и различные обобще-
ния или разновидности рассмотренных формулировок. Так, напри-
мер, могут быть сформулированы задачи совместного обнаружения
и различения, задачи совместного различения и оценивания параметров.
Глава 1. Сигналы, помехи, наблюдения и решения
38 Случайные данные.
Модели, структура и анализ
1.5. Вероятностный анализ и синтез алгоритмов
Все основные задачи обработки информации обычно формулируются
в терминах теории статистических решений. Обобщенная модель обработ-
ки (схемы 1.1.2 и 1.4.1) показывает, что сама процедура принятия решений
определяется алгоритмом обработки или правилом решений G{ξ|z} – пра-
вилом перехода от пространства наблюдений {ξ} к пространству реше-
ний {z}. В свою очередь, для нахождения алгоритмов обработки и иссле-
дования их основных свойств необходимо решать самостоятельные задачи
вероятностного анализа и статистического синтеза.
1. При формулировке задач синтеза предполагается, что известны не-
обходимые априорные данные о вероятностных свойствах сигналов, помех
и их взаимодействиях. Кроме того, задаются некоторые желаемые свой-
ства алгоритмов, и в результате синтеза необходимо определить структуру
самого алгоритма обработки.
Такие задачи связаны с принципами оптимизации, и, следовательно,
синтезированные алгоритмы должны удовлетворять определенному кри-
терию качества. Выбор критерия проводится в соответствии с физическим
смыслом и целевой направленностью конкретно решаемой задачи. Чем
больше априорных данных известно, тем проще и точнее решаются про-
блемы синтеза. Основным результатом решения задач синтеза является
оптимальный (в смысле выбранного критерия) алгоритм обработки на-
блюдений.
В большинстве случаев синтез выполняется без учета возможностей
практической реализации алгоритмов, и поэтому далеко не всегда удается
точно реализовать синтезированный оптимальный алгоритм обработки.
Причинами здесь могут быть и чрезмерная сложность оптимального алго-
ритма, и отсутствие технических средств, которые адекватно осуществля-
ют требуемые математические операции. Вопрос о возможностях точной
или приближенной реализации синтезированных алгоритмов, как прави-
ло, должен рассматриваться самостоятельно в каждой конкретной задаче.
2. Проблемы вероятностного анализа обычно возникают на этапе
предварительного исследования статистических свойств информацион-
ных процессов, при построении и анализе вероятностных моделей сиг-
налов и помех, при исследовании различных линейных и нелинейных
преобразований случайных функций. На основе методов вероятностного
анализа исследуется качество или эффективность синтезированных алго-
ритмов, определяются потенциально достижимые характеристики, оце-
ниваются возможности подоптимальных вариантов реализации, иссле-
дуются вопросы устойчивости и чувствительности алгоритмов обработки
к отклонениям от заданных априорных данных.
39
Для наглядности на схеме 1.5.1 показана последовательность основ-
ных этапов построения произвольной системы обработки информации.
Из нее, в частности, видна взаимосвязь задач статистического синтеза
Схема 1.5.1
Основные этапы построения систем обработки информации
•
•
•
•
•
•
. .
.
.
-
-
-
•
•
•
Глава 1. Сигналы, помехи, наблюдения и решения
40 Случайные данные.
Модели, структура и анализ
и вероятностного анализа. Основные методы синтеза и анализа являют-
ся здесь достаточно общими, они не зависят от физической природы ис-
следуемых процессов и не зависят от принципов технической реализации
алгоритмов.
Заключение
В данной главе рассмотрена обобщенная модель получения, преоб-
разования и обработки информации, показаны особенности общей клас-
сификации случайных функций и приведены конкретные примеры экс-
периментальных данных, отражающих многообразие случайных функций
в прикладных задачах обработки и анализа информационных процессов.
Рассмотрена формализованная постановка наиболее распространенных
задач теории статистических решений, показана последовательность ос-
новных этапов вероятностного анализа и статистического синтеза алго-
ритмов.
В целом, на основе представленных в данной главе результатов можно
сделать некоторые общие выводы.
• При исследовании информационных процессов все основные этапы
получения, преобразования и обработки информации могут быть пред-
ставлены в виде обобщенных структурных моделей. Подобные модели
позволяют выполнять и содержательное, и формализованное описание
структуры различных по своей физической природе систем обработки.
• В задачах обработки информации при описании состояния иссле-
дуемых систем, описании информационных процессов и описании по-
меховых воздействий основными математическими моделями являются
статистические модели процессов или вероятностные модели случайных
функций.
• Предложенная в данной главе общая классификация случайных
функций основана на конкретизации пространства состояний и конкре-
тизации множества параметров функции. Такой подход позволяет выде-
лить из всего многообразия вероятностных моделей основные самостоя-
тельные классы: случайные последовательности, случайные непрерывные
процессы, случайные потоки событий, случайные поля. Эти классы функ-
ций существенно различаются не только по своему математическому пред-
ставлению, но и по общему виду своих реализаций. В задачах обработки
информации подобное деление особенно важно, так как от характера ре-
ализаций существенно зависят методы анализа и алгоритмы обработки
процессов.
• Математическая постановка и формализация большинства задач об-
работки информации обычно выполняется в терминах общей статистиче-
ской теории принятия решений. При этом могут быть выделены несколь-
41
ко наиболее распространенных типовых задач: 1) задачи классификации,
различения, обнаружения; 2) задачи оценивания параметров; 3) задачи
текущей фильтрации, интерполяции, прогноза.
• Нахождение эффективных алгоритмов обработки обычно связано
с решением задач вероятностного анализа и статистического синтеза. Ве-
роятностный анализ позволяет исследовать вероятностные модели сигна-
лов и помех, исследовать эффективность алгоритмов, оценивать их устой-
чивость к изменениям априорных данных и к изменениям помеховой
обстановки. Основной задачей статистического синтеза является нахож-
дение структуры оптимальных (по заданному критерию оптимальности)
алгоритмов обработки информационных процессов.
Глава 1. Сигналы, помехи, наблюдения и решения
ГЛАВА 2
СЛУЧАЙНЫЕ
ПОСЛЕДОВАТЕЛЬНОСТИ
• Определение и вероятностное описание
• Основные числовые характеристики
• Наиболее распространенные модели
• Анализ характеристик «превышений уровней»
• Поведение векторных последовательностей на плоскости
В общей теории случайных функций случайные последовательности,
или временные ряды – это один из самостоятельных классов функций.
Многие реальные процессы, наблюдения, результаты измерений в физике
и технике, экономике, биологии и медицине хорошо описываются моде-
лями случайных последовательностей. Как правило, случайные последо-
вательности исследуются проще, чем непрерывные случайные процессы
и поля. Вместе с тем при исследовании последовательностей используют-
ся общие методы описания, математические модели и методы вероятност-
ного анализа, которые важны при изучении любых классов случайных
функций. Все эти особенности поясняют важность отдельного рассмотре-
ния случайных последовательностей как с точки зрения общей теории, так
и с позиций практических приложений.
Основное содержание данной главы связано с определением, вероят-
ностным описанием, анализом информационной структуры и примерами
прикладных задач, решение которых непосредственно приводит к иссле-
дованию случайных последовательностей.
2.1. Общее определение случайных
последовательностей
Многие физические процессы, протекающие в природе, изменяются
непрерывно во времени или в пространстве, т. е. относятся к классу непре-
рывных случайных функций ξ(t, r). Наблюдения и измерения характери-
стик таких процессов на практике не всегда проводятся непрерывно.
Достаточно часто состояние исследуемых систем, или значения на-
блюдаемых процессов, измеряются через некоторые, обычно равные, ин-
тервалы времени Dt. При этом, по существу, от рассмотрения непрерыв-
43
ного случайного процесса ξ(t) переходят к рассмотрению последователь-
ности его значений ξ(t1), ξ(t2), ... , ξ(tn). Для упрощения записи при вы-
полнении условия | ti+1 – ti | = Dt = const, i = 0, 1, 2, ... , обычно используются
обозначения ξ(t1) = ξ1, ξ(t2) = ξ2, ... , ξ(tn) = ξn, или просто ξ1, ξ2, ... , ξn. Сама
операция перехода от ξ(t) к последовательности ξ1, ξ2, ... , ξn соответствует
операции дискретизации непрерывного процесса ξ(t) по времени t, а зна-
чения ξ1, ξ2, ... , ξn называются при этом реализацией непрерывной случай-
ной последовательности или временным рядом.
Схема 2.1.1
Непрерывные и дискретные случайные последовательности
(t)
t
(t)
t
n xj
t
(t)
j x
ti
n
ti
n
n n
- .
,
,
, ,
.
.
(t)
.
,
,
,
Глава 2. Случайные последовательности
44 Случайные данные.
Модели, структура и анализ
Если, помимо перехода к дискретному параметру t ⇒ ti , i = 0, 1, 2, ... ,
выполнить также и переход от непрерывного состояния ξ к дискретному
ξ ⇒ xj, j = 1, 2, ... , то из непрерывного процесса ξ(t) будет получена дис-
кретная случайная последовательность. Такой переход ξ ⇒ xj соответствует
операции квантования по уровню.
Схема 2.1.2
Формализованное определение случайных последовательностей
{ (s), X, s S} –
(s)
:
• – ,
• t = s – ,
• S = T –
, T = {t1, t2, ...},
{ (s), X, s S} = { (t), t T} = { n, n = 1, 2, ...}
,
,
• , -
–
,
n, n = 1, 2, ...
{ n, n = 1, 2, ...}
-
0
4
8
–4
–8
1000
n
0
1000
n
•
•
•
45
Дискретизация по времени t ⇒ ti и квантование по уровню ξ ⇒ xj –
это две типовые операции, которые позволяют заменить исследования не-
прерывных случайных процессов ξ(t) исследованиями случайных после-
довательностей (непрерывных или дискретных). Для наглядности описан-
ных преобразований на схеме 2.1.1 показана их упрощенная физическая
интерпретация.
Если к определению случайных последовательностей подойти с по-
зиций формализованного подхода, то в соответствии с общей классифи-
кацией случайных функций (п. 1.2), налагая определенные ограничения
на пространство параметров S и пространство состояний X, из общего
определения случайных функций {ξ(s), ξ ∈ X, s ∈ S} можно выделить са-
мостоятельный класс случайных последовательностей (схема 2.1.2).
2.2. Особенности вероятностного описания
В зависимости от содержания решаемых задач построение математи-
ческих моделей и вероятностное описание случайных функций может вы-
полняться различными способами и с различной степенью детальности.
В прикладных задачах модели случайных функций наиболее часто зада-
ются семейством конечномерных распределений. В основе такого подхода
находятся два взаимосвязанных вопроса: о способе описания случайной
величины и о способе описания конечной последовательности случайных
величин. Рассмотрим здесь подобные вопросы и выделим общие особен-
ности вероятностного описания случайных функций.
1. Предположим, что наблюдению доступен некоторый произвольный
случайный процесс {ξ(t), t ∈ T}, изменяющийся во времени. Каждая реа-
лизация такого процесса ξ(t), t ∈ T условно может рассматриваться как ре-
зультат отдельного эксперимента – результат наблюдения за изменения-
ми какого-либо параметра исследуемой системы на временном интервале
[t0, t0 + T]. Если наблюдения проводятся в неизменных условиях, то выполнив
m одинаковых экспериментов, могут быть получены m реализаций:
ξi(t), t ∈ [t0, t0 + T], i = 1, 2, ... , m.
Все эти реализации будут различаться по своей форме, но их усреднен-
ные характеристики будут подчиняться общим закономерностям, связан-
ным со свойствами или отдельными параметрами исследуемой системы.
Если на интервале наблюдений [t0, t0 + T] выбрать некоторый произ-
вольный момент времени t = t1, то значения (отсчеты) каждой реализа-
ции ξi(t1), i =
–
1
–,
–
m
–
в этот момент времени t1 будут различными и их мож-
но рассматривать как значения случайной величины ξ(t1). Иначе говоря,
значения случайного процесса {ξ(t1), t ∈ T} в каждый фиксированный
момент времени t = t1, t1 ∈ T являются случайной величиной ξ(t1). Обла-
стью определения такой величины ξ(t1) в общем случае можно считать
ξ ∈ (–∞, ∞).
Глава 2. Случайные последовательности
46 Случайные данные.
Модели, структура и анализ
На схеме 2.2.1 приведена иллюстрация подобных рассуждений.
Для полного вероятностного описания произвольной случайной вели-
чины ξ(t1) необходимо знать ее функцию распределения F(ξ; t1) или, при
выполнении свойства дифференцируемости, функцию плотности вероят-
ностей p(ξ; t1):
{ } (− )
( ; ) = ( ) , ( ; ) = ( ; ), , 1 1 1 1 F t P t p t F t .
Схема 2.2.1
Особенности вероятностного описания случайных функций
« » (
)
i(t1)
p( ; t1)
(t1)
m
m
i(t1)
(t1)
t i = 1, 2, ..., m i ( ),
0 t 1 t t 2 t t +T 0
( ) 1 t i
1 t
t
0
0
(
)
47
В этом определении значение P{ξ(t1) ≤ ξ} характеризует вероятность
события ξ(t1) ≤ ξ. Основные свойства и взаимосвязь таких функций F(ξ; t1)
и p(ξ; t1) показаны на схеме 2.2.2.
Функция распределения F(ξ; t1) и плотность вероятностей p(ξ; t1) од-
нозначно связаны между собой, и поэтому оба способа описания случай-
ной величины ξ(t1) формально являются равноценными.
Переходя к более общей ситуации, можно на интервале наблюдения
[t0, t0 + T] выбрать два различных момента времени t1, t2 ∈ T и получен-
ные при этом случайные величины ξ(t1) и ξ(t2) характеризовать двумерной
функцией распределения:
Схема 2.2.2
Определение, основные свойства и взаимосвязь функции
распределения и плотности вероятностей
•
= x
= x
1
( ; ) 1 F t
P{x(t1) x}
1 2
•
•
•
•
{ } ( )
lim ( ; ) 0, lim ( ; ) 1
( ; ) ( ) , ;
1 1
1 1
= =
= −
− +
F t F t
F t P t
( )
( ; ) 0, ( ; ) 1
( ; ), ;
( ; )
1 1
1 1
=
−
=
−
p t p t d
p t F t ( ; ) 1 p t
P{x(t1) [ 1, 2]}
{ }
{ ( ) [ , ]} ( ; ) ( ; ) ( ; )
( ; ) ( ; ) ( )
2 1 1 1
1 1 2 1
1 1 1
2
1
P t p t d F t F t
p t d F x t P t x
x
= = −
= = =
−
• F( ; t1)
p( ; t1)
(t1). -
,
P{ (t1) }
(t1) -
Глава 2. Случайные последовательности
48 Случайные данные.
Модели, структура и анализ
F2(ξ1, ξ2; t1, t2) = P{ξ(t1) ≤ ξ1, ξ(t2) ≤ ξ2}
или двумерной плотностью вероятностей:
( , ; , ) ( , ; , ) 2 1 2 1 2
1 2
2
2 1 2 1 2 p t t F t t
= .
В целом, на основе такого подхода можно считать случайный про-
цесс {ξ(t), t ∈ T} заданным, если при произвольно выбранной на интерва-
ле наблюдения [t0, t0 + T] последовательности моментов времени ti, i = 1,
2, ... , n, для семейства случайных величин ξ(t1), ξ(t2), ... , ξ(tn) определена
совместная функция распределения:
Fn(ξ1, ξ2, ... ξn; t1, t2, ... , tn) = P{ξ(t1) ≤ ξ1, ξ(t2) ≤ ξ2, ... , ξ(tn) ≤ ξn}
или совместная плотность вероятностей:
pn(ξ1, ξ2, ... ξn; t1, t2, ... , tn).
Такое семейство совместных распределений для различных значе-
ний ti , i = 1, 2, ... , n называется семейством конечномерных распределе-
ний. Важной особенностью конечномерных распределений является то,
что помимо вероятностного описания случайных величин ξ(ti), i =
–
1
–,
–
n –
,
функции Fn(...) и pn(...) содержат полезную информацию и о взаимосвязи
между значениями ξ(t1), ξ(t2), ... , ξ(tn). При использовании такого подхода
в прикладных задачах выбор размерности n зависит от требуемой полноты
описания рассматриваемого процесса {ξ(t), t ∈ T} и от сложности явных
выражений для семейства функций Fn(...) и pn(...).
2. Нахождение многомерных распределений, вообще говоря, являет-
ся достаточно сложной задачей, и поэтому целесообразно выделить здесь
одну из распространенных ситуаций, в которой вероятностное описание
случайных функций существенно упрощается.
Предположим, что исследуется некоторая последовательность случай-
ных величин ξ(t1), ξ(t2), ... , ξ(tn), и значения этой последовательности ξ(ti)
и ξ(tj) при любых i, j ≤ n, i ≠ j обладают свойством взаимной статистической
независимости. Если при этом p(ξ; ti) – одномерная плотность вероятно-
стей для ξ(ti), то на основе свойства независимости, для произвольной со-
вокупности случайных величин ξ(t1), ξ(t2), ... , ξ(tm), m ≤ n можно опреде-
лить совместную плотность вероятностей:
=
= =
m
i
m m m m i p t t t p t p t p t p t
1
1 2 1 2 1 2 ( , ,..., ; , ,..., ) ( ; ) ( ; ) ... ( ; ) ( ; ).
Если, помимо этого, функции p(ξ; ti) одинаковы при любых i =
–
1
–,
–
m
–
, то
[ ]m
m
i
i m m i p( ; t ) p( ), p ( , ,..., ) p( ; t ) p( )
1
1 2 = = =
=
.
49
Описание последовательности ξ(t1), ξ(t2), ... , ξ(tn) в данном случае эк-
вивалентно описанию последовательности независимых одинаково рас-
пределенных случайных величин ξ1, ξ2, ... , ξn. Для их вероятностного ана-
лиза в подобных ситуациях достаточно знать лишь одномерную плотность
вероятностей p(ξ; ti) = p(ξ), по которой может быть определена и много-
мерная плотность вероятностей.
• • • К изучению подобного класса моделей относится подавляющее
большинство результатов классической теории вероятностей и мате-
матической статистики. Очень часто и в задачах обработки инфор-
мационных процессов (с целью упрощения исследований) делается
специальное допущение о независимости обрабатываемых наблюде-
ний ξ(t1), ξ(t2), ... , ξ(tn).
3. При общем определении случайных последовательностей на схе-
ме 2.1.1 и 2.1.2 были выделены непрерывные последовательности и дис-
кретные случайные последовательности. Эти функции отличаются по виду
своих реализаций ξn и имеют свои особенности вероятностного описания.
Рассмотрим здесь кратко характерный вид распределений для дискретных
последовательностей.
Для класса дискретных случайных последовательностей {ξn} значение ξn
в произвольно выбранный момент времени ti, i = 0, 1, 2, ... является случай-
ной величиной ξi = ξ(ti). Эта случайная величина относится к классу дискрет-
ных и в зависимости от решаемой задачи и исследуемых процессов имеет
свою область определения. Предположим, что величина ξ может принимать
значения x1, x2, ... , xk. Тогда для полного вероятностного описания величи-
ны ξ необходимо знать ее возможные значения x1, x2, ... , xk и вероятности
pj = P{ξ = xj }, с которыми величина ξ принимает эти значения xj ,
j = 1, 2, ... , k.
Форма вероятностного описания может быть при этом различной.
Так, например, дискретная случайная величина ξ может иметь табличное
представление, в котором просто перечисляются возможные значения xj
и их вероятности pj, j =
–
1
–,–
k
–
. Другая распространенная форма описания
связана с построением функции распределения F(ξ; t1) и плотности веро-
ятностей p(ξ; t1). Характерный вид таких функций показан на схеме 2.2.3.
Функция распределения F(ξ; t1) определяется при этом выражением:
{ }
= =
xj
j F( ; t ) P (t ) p 1 1 ,
где суммирование проводится по всем значениям индекса j, для которых
xj
≤ ξ. Из этого определения видно, что функция распределения дискрет-
ной случайной величины ξ является ступенчатой возрастающей функцией.
По существу она отражает «накопление» вероятностей pj при возГлава
2. Случайные последовательности
50 Случайные данные.
Модели, структура и анализ
растании ξ. Изменения этой функции происходят в точках ξ = xj,
j = 1, 2, ... , k, а величина скачков соответствует значениям вероятностей
pj событий ξ = xj.
Функция плотности вероятностей p(ξ; t1) отражает возможные значе-
ния x1, x2, ... дискретной случайной величины ξ и соответствующие этим
значениям вероятности p1, p2, ... .
Схема 2.2.3
Вероятностное описание дискретной случайной величины
5 x
n
4 x
3 x
2 x
1 x
n
n
ti
• • • • •
x1 x3 x4 x5 2 x
1 p 3 p 4 p 5 p 2 p
( ; ) 1 F t
1
1 x 3 x 4 x 5 x 2 x
1 x 3 x 4 x 5 x 2 x
1 p
3 p
4 p 5 p
2 p
( ; ) 1 p t
•
•
•
•
F( ; t1)
•
x1, x2, ..., x5
pj,
xj, j = 1,5
{ }
= =
x j
j F( ; t ) P (t ) p 1 1
{ }
0, =1
= =
j
j j
j j
p p
p P x
51
2.3. Основные числовые характеристики
Наиболее полное вероятностное описание случайных процессов
и случайных последовательностей дается семейством конечномерных рас-
пределений. Экспериментальные определения таких функций не всег-
да легко выполняются, а во многих практических задачах и не требуется
полного вероятностного описания исследуемых процессов. Как правило,
Схема 2.3.1
Общее определение наиболее важных для практики моментных функций
. -
m m 1 2
1 = (t1) 2 = (t2). -
m° m° 1 2
, . .
1 2
m1(t1) m1(t2). , m° m° 1 2
.
= 1 + 2
M{x}
x, . . , -
( ) ( ) ( ) ( ) ( ) ( ; )
( ) ( ) ( ) ( ; )
1
1 1 1
1 1 1 1
1 1
1
1
m t M t m t t m t p t d
m t M t t p t d
2 1 2 1 2 1 2
2 1 2
1 1 1
2 1 2
1 2 1 1 1
2 1 2 1 2 1 2
2
2 1
1
1 2
( ) ( ) ( , ; , )
( , ) ( ) ( ) ( ) ( )
( , ) ( ) ( ) ( , ; , )
1 2
1 2
1 2
1 2 1 2
1 2
m t m t p t t d d
m t t M t m t t m t
m t t M t t p t t d d
Глава 2. Случайные последовательности
52 Случайные данные.
Модели, структура и анализ
в таких задачах достаточным является знание лишь отдельных числовых ха-
рактеристик распределений или отдельных свойств изучаемых процессов.
1. Для описания характерных свойств распределений обычно ис-
пользуются моментные функции. По определению все моментные функ-
ции делятся на начальные и центральные. В зависимости от размерности
к наиболее распространенным на практике относятся одномерные и дву-
мерные моментные функции. Общее определение таких функций приве-
дено на схеме 2.3.1.
Особое значение среди моментных функций имеют:
{ ( )} ( ) ( ; ) ( ) 1 1 1 1 m M t t p t d m t 1
−
= = = ,
{[ ( ) ( ) ] } [ ( ) ( ) ] ( ; ) ( ) 1
2
1
2
1 1
2
2 1 1 m M t m t t m t p t d t
−
= − = − = ,
m°11(t1, t2) = M{[x(t1) – mx(t1)]·[x(t2) – mx(t2)]} = Rx(t1, t2).
Обычно для записанных характеристик используются специальные обо-
значения mξ, sξ
2, Rξ(t1, t2), и, кроме того, важно, что эти функции имеют
простую и наглядную физическую интерпретацию.
Функция m1 = mξ(t1) характеризует среднее значение исследуемой
случайной величины ξ(t1), и называется математическим ожиданием.
Моментная функция m°2 = sξ
2(t1) соответствует дисперсии и характери-
зует степень рассеяния значений случайной величины ξ(t1) относитель-
но ее математического ожидания mξ(t1). Двумерная моментная функция
m°11(t1, t2) = Rξ(t1, t2) называется корреляционной функцией и, в соответствии
с ее определением, характеризует взаимосвязь между значениями ξ(t1) и ξ(t2).
• • • Общее определение моментных функций (схема 2.3.1) пока-
зывает, что все основные характеристики распределений находятся
путем вероятностного усреднения и записываются в виде матема-
тического ожидания M{...} исследуемой случайной величины ξ или
функции от ξ, или функции от нескольких случайных величин, на-
пример, от ξ1 = ξ(t1) и ξ2 = ξ(t2).
• • • Важной особенностью моментных функций является то, что
наиболее интересную информацию об изучаемых процессах несут
в себе моментные функции низких порядков n = 1, 2, 3, 4. С повы-
шением порядка n > 4 усложняется вычисление моментных функ-
ций, существенно снижается точность вычислений и общая инфор-
мативность. Именно этими особенностями и объясняются причины
наибольшего распространения на практике моментных функций
низких порядков n ≤ 4.
53
Схема 2.3.2
Статистическая независимость и взаимосвязь наблюдаемых данных
,
n
•
(t)
-
(t1), (t2), ..., (tn)
•
i j
i j
.
-
, ,
-
,
:
•
•
•
•
•
•
•
Глава 2. Случайные последовательности
54 Случайные данные.
Модели, структура и анализ
Схема 2.3.3
Особенности корреляционных функций для случайных
последовательностей
–
i n
{ n, n = 1, 2, ...}
p( i) = p( )
k = 0 R (k) = R (0) = M{( i – m )2} = 2
k R (k) R (0) = 2
k
•
•
•
–
-
{ } ) ( d p M m
−
= =
{( ) } ( )2 ( )
2
2
d p m m M
−
= − = −
{[ ][ ]}
( )( )
−
−
− −
= − − =
i j i j i j i j
i j i j
m m p t t d d
R t t M m m
( , ; , )
( , )
2
•
R (ti, tj) = R (k)
i = (ti) j = (tj), j = i + k, -
(k = 0, 1, 2, ...)
•
R (k)
•
{ n} = { (tn)}
tn, n = 1, 2, ... –
,
R (k)
55
2. Сложность исследований случайных процессов ξ(t) и последова-
тельностей ξn, n = 1, 2, ... заметно снижается, если изучаемые значения
ξ(t1), ξ(t2), ... , ξ(tn), или в более простой форме записи, ξ1, ξ1, ..., ξn обла-
дают свойством независимости. Ясно, что выполняется это не всегда.
Например, при анализе последовательностей ξn, n = 1, 2, ..., порожден-
ных узкополосными непрерывными процессами ξ(t), трудно предполагать,
что любые значения ξi = ξ(ti) и ξj = ξ(tj) при любых i ≠ j независимы. Более
того, во многих задачах априорно известно, что наблюдения ξn, n = 1, 2, ...
статистически взаимосвязаны, и характер этой связи важен сам по себе
(схема 2.3.2).
При произвольной зависимости между ξi и ξj вероятностное описание
случайной последовательности ξn, n = 1, 2, ... является полным, если для
любой совокупности случайных величин ξ1, ξ2, ... , ξm, m ≤ n может быть най-
дена совместная функция распределения Fm(ξ1, ξ2, ... , ξm; t1, t2, ... , tm) или
совместная плотность вероятностей pm(ξ1, ξ2, ... , ξm; t1, t2, ... , tm). Слож-
ность подобного описания обычно связана со сложностью функций Fm(...)
и pm(...) при размерностях m ≥ 2.
Если при анализе последовательностей ξn, n = 1, 2, ... ограничиться
лишь рассмотрением линейных взаимосвязей между различными значе-
ниями ξi и ξj , i ≠ j, то весь анализ может быть выполнен в рамках корреля-
ционной теории случайных функций. На схеме 2.3.3 показаны особенно-
сти определения, основные свойства и характерный вид корреляционной
функции для непрерывных случайных последовательностей.
2.4. Простые гауссовские модели
Результаты любых исследований прежде всего зависят от содержания
решаемой задачи и конкретной вероятностной модели, которая подверга-
ется исследованию. Существующие модели случайных последовательно-
стей и случайных процессов весьма разнообразны. Однако во всем этом
разнообразии гауссовские модели играют особую роль. Они важны и в те-
оретических, и в экспериментальных исследованиях. Они обладают мно-
гими важными свойствами, и в большинстве практических задач заслужи-
вают самостоятельного рассмотрения.
1. Описание и анализ гауссовских моделей начнем с наиболее про-
стой ситуации. Будем считать, что исследуется некоторая случайная
последовательность {ξn, n = 1, 2, ... }, представляющая собой последовательность
независимых одинаково распределенных случайных ве-
личин ξ1, ξ2, ... , ξn. Для полного вероятностного описания таких по-
следовательностей {ξn} достаточно знать лишь одномерную плотность
вероятностей p(ξi) = p(ξ) или одномерную функцию распределения
F(ξi) = F(ξ). Если при этом функции p(ξ) и F(ξ) имеют вид:
Глава 2. Случайные последовательности
56 Случайные данные.
Модели, структура и анализ
−
−
=
2
2
2
( )
exp
2
1
( )
m
p ,
( ) −
−
= =
−
( ) ( ) , ,
m
F p x dx , (2.4.1)
то рассматриваемая последовательность {ξn} называется гауссовской.
Параметры mξ и sξ
2 характеризуют здесь, соответственно, математическое
ожидание и дисперсию случайных величин ξi, i =
–
1
–,
–
n –
, а функция Ф(x)
представляет собой хорошо известный и подробно табулированный [16]
интеграл вероятности:
−
= − −
x
(x) (2 ) 1 2 exp( y2 2)dy. (2.4.2)
На схеме 2.4.1 показан характерный вид функций p(ξ) и F(ξ) и пе-
речислены основные особенности одномерных гауссовских распределений
(1).
По своей сути, плотность вероятностей p(ξ) и функция распределения
F(ξ) позволяют полностью описать исследуемую гауссовскую случайную
величину ξ. Если рассматривается последовательность независимых гаус-
совских величин ξ1, ξ2, ... , ξn, каждая из которых имеет свои параметры:
mi = M{ξi}, si
2 = M{(ξi – mi)2}, i =
–
1
–,
–
n –
,
то для полного их описания необходимо знать совместную плотность
вероятностей. При условии взаимной независимости величин ξ1, ξ2, ... , ξn
такая функция определяется достаточно просто:
( , ,..., ) = ( , ) ( , ) ... ( , ) = 2 22
2 2
2
n 1 2 n 1 1 1 n n n p p m p m p m
−
−
=
=
n
i i
i i
n
n
m
1
2
2
1 2
2
( )
2
1
exp
(2 ) ...
1
. (2.4.3)
Вероятностное описание гауссовской последовательности ξ1, ξ2, ... ,
ξn еще более упрощается, если независимые случайные величины имеют
одинаковые параметры. В подобной ситуации
mi = M{ξi} = mξ = const, si
2 = sξ
2 = const, i =
–
1
–,
–
n –
,
и в соответствии с формулами (1)–(3):
−
−
=
=
n
i
n n n n i p m
1
2
1 2 2 2 ( )
2
1
exp
(2 )
1
( , ,..., ) . (2.4.4)
• • • Записанные плотности вероятностей (3) и (4) позволяют находить
любые числовые характеристики гауссовских последовательностей
при исследованиях независимых случайных величин {ξn, n = 1, 2, ... , n}.
57
2. В более общих ситуациях свойство независимости для рассматри-
ваемой совокупности случайных величин ξ1, ξ2, ... , ξn может не выпол-
няться. При подобном подходе случайная последовательность {ξn} назы-
вается гауссовской, если совместные распределения для любой конечной
Схема 2.4.1
Одномерное гауссовское (нормальное) распределение
•
m
2
m –
, 2
–
•
p( )
= m
•
= m ,
•
(– , ),
[m ± 3 ]
P{ [m ± 3 ]} = 0,997
•
P{ [a, b]}
(x)
m = 0
2
= 1 P{ [a, b]} = (b) – (a)
m =0 1 2
=
2
1
m –3 m m +3
p( )
0 m >
0 m =
p( ) F( )
0
= 0,5 1
2 = 1
3
1
3 2
0,5
•
•
p( ) F( )
−
= − 2
2
2
( )
exp
2
1 ( )
m
p
= −
2
exp
2
1 ( )
2
p , (– , )
2 1/2
( ) ( ) max ( ) (2 )p = p = m = p = −
= 1,5
Глава 2. Случайные последовательности
58 Случайные данные.
Модели, структура и анализ
совокупности случайных величин ξ1, ξ2, ... , ξm при произвольных m ≤ n
являются m-мерными нормальными распределениями.
Совместная нормальная плотность вероятностей для случайных вели-
чин ξ1, ξ2, ... , ξn имеет вид [20, 67, 103]:
− − − =
=
− − − n
i j
i j i i j j
n
n n p R R A m m
, 1
1
2
1
2
1 2 ( , ,..., ) (2 ) exp (2 ) ( )( ) . (2.4.5)
В этом выражении mi = M{ξi} – математические ожидания случайных
величин ξi; R – корреляционная матрица, определяемая как:
=
n n nn
n
n
R R R
R R R
R R R
R
...
... ... ... ...
...
...
1 2
21 22 2
11 12 1
; (2.4.6)
Rij = Rji = M{(xi – mi)(xj – mj)} = sisjrij – коэффициент корреляции для ξi
и ξj, i, j =
–
1
–,
–
n –
;
s2
i = Rii = M{(xi – mi)2} – дисперсии величин ξi; |R | = det R – определитель
корреляционной матрицы; Aij – алгебраическое дополнение элемента Rij
в определителе |R |.
• • • Выражение (5) показывает общий вид многомерного нормаль-
ного распределения. На основе плотности вероятностей pn(ξ1, ξ2, ... ,
ξn) выполняется
полное вероятностное описание гауссовских случай-
ных величин ξ1, ξ2, ... , ξn, а также взаимосвязей между ними.
3. Сложность общего изучения случайных последовательностей {ξn}
всегда зависит от наличия взаимосвязей между рассматриваемыми слу-
чайными величинами ξ1, ξ2, ... , ξn. Многомерная нормальная плотность
вероятностей (5) показывает, что описание зависимостей между гауссов-
скими величинами ξi, ξj, i, j =
–
1
–,
–
n –
полностью выполняется на основе кор-
реляционных характеристик (6). Это свойство оказывает существенное
влияние на решение многих практических задач, и для его более полного
рассмотрения целесообразно выделить характерные особенности описа-
ния двух зависимых гауссовских случайных величин.
Будем считать, что ξ1 и ξ2 – случайные гауссовские величины с пара-
метрами m1, s1
2 и m2, s2
2. Для их полного описания на основе выражения (5)
при n = 2 получим двумерную плотность вероятностей:
−
−
−
−
−
= 2
1
2
1 1
2 2
1 2
2 1 2
( )
2(1 )
1
exp
2 1
1
( , )
m
r r
p
59
−
+
− −
− 22
2
2 2
1 2
1 1 2 2 2r ( m )( m ) ( m )
. (2.4.7)
В этом распределении значение r соответствует нормированному значе-
нию коэффициента корреляции:
{ }
12 21
1 2
12
1 2
1 1 2 2 ,
( )( )
R R
M m m R
r =
=
− −
= . (2.4.8)
Величина коэффициента r характеризует степень линейной взаимосвязи
между гауссовскими величинами ξ1 и ξ2. Значение r может изме-
няться в диапазоне r ∈ [–1, 1]. При этом если случайные величины неза-
висимы, коэффициент корреляции между ними r = 0. Важным свойством
гауссовских моделей является то, что для них справедливо и обратное ут-
верждение: если гауссовские величины ξ1 и ξ2 некоррелированы, то они
являются статистически независимыми.
На схеме 2.4.2 показан характер поведения двумерных нормальных
плотностей вероятностей для коррелированных и некоррелированных га-
уссовских величин ξ1 и ξ2.
4. Гауссовские модели, как уже подчеркивалось, занимают особое по-
ложение среди всего многообразия существующих вероятностных моде-
лей. Они являются наиболее распространенными и наиболее изученными.
Навряд ли найдется такая книга по теории вероятностей и математической
статистике, в которой отсутствует описание нормального распределения.
Однако, несмотря на это, полезно выделить здесь некоторые характерные
особенности гауссовских моделей – особенности, которые существенно
влияют на решение многих практических задач.
Общие свойства гауссовских моделей
• Гауссовскими моделями хорошо описываются многие реальные
процессы в физических, технических, биологических и социально-
экономических системах.
• При совместном аддитивном воздействии и при сложении большо-
го числа случайных факторов, оказывающих примерно одинаковое
влияние на общий результат, результирующий эффект с возраста-
нием числа слагаемых приближается к гауссовскому. Доказатель-
ство подобных свойств основывается на центральной предельной
теореме теории вероятностей.
• Гауссовские процессы сохраняют свойство гауссовости при различ-
ных линейных преобразованиях.
• На выходе многих линейных инерционных систем за счет эффек-
тов нормализации выходные процессы приближаются к гауссов-
ским даже при негауссовских входных воздействиях. Такой эффект
Глава 2. Случайные последовательности
60 Случайные данные.
Модели, структура и анализ
Схема 2.4.2
Особенности двумерных нормальных распределений
r = 0 r = 0,75
0r = 7r =0. 5
1
2
1
2
0
0 0
0
•
1 2
m1 = m2 = m = 0 1 = 2 = = 1
:
( )
+ +
−
−
−
= 22
1 2
2
2 1 2 2 2 1 2
2(1 )
1
exp
2 1
1
( , ) r
r r
p
•
p2( 1, 2) ,
10 2, . .
•
1 2
,
r = 0,
1 2
:
• 1 2
0 1 0 2
( ) ( ) ( )
2
1
exp
2
1
( , ) 1 2
22
2
2 1 2 1 p p p =
= − +
61
наглядно проявляется, например, в радиофизических системах,
когда исследуются случайные процессы на выходе линейных узко-
полосных (инерционных) систем при негауссовских широкополос-
ных процессах на входе.
• Гауссовские модели полностью описываются в рамках корреляци-
онной теории случайных функций. Это существенно упрощает экс-
периментальные и теоретические исследования.
• Гауссовские модели удобны в аналитических исследованиях, и они
относятся к классу наиболее изученных вероятностных моделей.
Многие задачи вероятностного анализа и обработки информации
удается решить только при допущениях о гауссовости рассматрива-
емых процессов.
• По определению гауссовские случайные величины и процессы опи-
сываются нормальными распределениями. Такое распределение
обладает максимальной энтропией, и эта особенность позволяет
исследовать предельные или потенциально достижимые характе-
ристики алгоритмов и систем.
Помимо перечисленных здесь особенностей, полезно подчеркнуть,
что многие реальные негауссовские случайные процессы относятся по сво-
ей природе к классу процессов, «порожденных гауссовскими». Результаты
детальных исследований гауссовских моделей позволяют в подобных си-
туациях более полно изучать и разнообразные модели сложных негауссов-
ских случайных функций.
2.5. Модели, порожденные гауссовским
распределением
Ясно, что при всей важности и практической полезности гауссовских
моделей они не являются единственно возможными и, естественно, да-
леко не все случайные процессы могут быть удовлетворительно описаны
гауссовским распределением. Наиболее распространенная причина по-
явления негауссовости – это разнообразные нелинейные преобразования.
Если гауссовский процесс подвергается какому-либо нелинейному преоб-
разованию, то свойство гауссовости нарушается; распределения преобра-
зованных процессов становятся негауссовскими, а их характер обычно за-
висит как от параметров исходного случайного воздействия, так и от кон-
кретного вида преобразования.
Не будем здесь перечислять особенности существующего многооб-
разия нелинейных систем и многообразия негауссовских распределений;
рассмотрим кратко лишь сам принцип нахождения вероятностных харак-
теристик после функциональных преобразований случайной величины
Глава 2. Случайные последовательности
62 Случайные данные.
Модели, структура и анализ
и приведем несколько практически важных вероятностных моделей, по-
рожденных гауссовскими процессами.
1. Функциональное преобразование случайных величин
Достаточно часто, независимо от конкретных областей физических,
технических или биологических приложений, в задачах обработки и ана-
лиза информационных процессов приходится рассматривать различные
преобразования исследуемых случайных функций и находить характе-
ристики или вид распределений преобразованных случайных процессов.
Рассмотрим наиболее простую типовую ситуацию, которая позволяет
прояснить принцип нахождения плотностей вероятностей преобразован-
ных случайных величин.
Предположим, что исследуется случайная последовательность
{ξn}, представляющая собой последовательность независимых одина-
ково распределенных случайных величин ξ1, ξ2, ... , ξn, каждая из ко-
торых описывается некоторой плотностью вероятностей pξi
(ξi) = pξ(ξ).
Будем считать, что последовательность {ξn} подвергается преобразованию
ξ ⇒ f (ξ) = η, где f (x) – однозначная детерминированная функция, и необ-
ходимо найти плотность вероятностей pη(η) для преобразованных случай-
ных величин η. Так как случайные величины ξ и η связаны между собой
однозначной детерминированной зависимостью, то можно заметить, что
при нахождении исходной величины ξ в некотором заданном интервале
ξ ∈ [x, x + dx] преобразованная случайная величина η всегда будет нахо-
диться в интервале [y, y + dy], где y = f (x), dy = df(x) / dx. Иначе говоря, при
однозначной взаимной связи между ξ и η вероятность события ξ ∈ [x, x + dx]
эквивалентна вероятности события η ∈ [y, y + dy]. Для большей наглядно-
сти пояснение этого свойства приведено на схеме 2.5.1.
В данном случае при монотонно возрастающей функции f (x), т. е. при
df (x)/dx > 0 выполняется равенство вероятностей:
P{η ≤ y} = P{f(x) ≤ y} = P{x ≤ j(y)},
а при df (x)/dx < 0, соответственно,
P{η ≤ y} = P{f(x) ≥ y} = P{x ≥ j(y)},
где x = j(y) – функция, обратная функции f(x).
Записанное свойство эквивалентности приводит к простому правилу
«пересчета» плотностей вероятностей при функциональных преобразова-
ниях [53, 67, 108]:
= ( ( )) ( )
( ) = ( ) p '
d
d
p p . (2.5.1)
По существу такой результат отражает операцию замены переменной
в исходной плотности вероятностей pξ(ξ) по заданной функциональной
63
связи между ξ и η. Значение производной dξ/dη = dj(η)/dη соответствует
здесь якобиану преобразования от переменной ξ к переменной η.
Схема 2.5.1
Принцип простого функционального преобразования
= f ( ) –
= ( ) –
, , ,... 1 2 3
p ( )
, , ,... 1 2 3
p ( )
y = f (x)
p ( )
P{ [x, x + dx]} P{ [y, y + dy]}
p ( )
x x +dx y
y +dy
y
0 x x +dx 0 0 y +dy
•
•
• •
•
,
•
= f( )
:
P{ [x, x + dx]} = P{ [y, y + dy]}.
, p (x)dx = p (y)dy,
,
, p ( )d = p ( )d
•
p ( )
-
,
= f( ) = ( ),
-
-
:
d
d ( ) ( ( ))
d
d
( ) ( )
p = p = p