eng
Содержание
Предисловие..................................................................................... 4
ГЛАВА 1.
Законы распределения и моментные функции.............................. 9
Задачи к главе 1.............................................................................. 21
ГЛАВА 2.
Преобразование Фурье.................................................................. 36
Задачи к главе 2.............................................................................. 56
ГЛАВА 3
Корреляционные функции и спектральные
плотности (энергетические спектры)
случайных процессов..................................................................... 61
Задачи к главе 3.............................................................................. 72
ГЛАВА 4
Линейные и нелинейные преобразования
случайных величин........................................................................ 77
Задачи к главе 4.............................................................................. 93
Список литературы...................................................................... 140
ПРЕДИСЛОВИЕ
Однажды, будучи студентом, я получил предложение ра-
ботать схемотехником на соседнем предприятии. Честно гово-
ря, не раз замечал, как, случайно наткнувшись на более-менее
сложную схемку из транзисторов, ощущал чуть ли не благоговей-
ный трепет и жуткий интерес в ней разобраться (хотя при этом
абсолютно не понимал, что вообще передо мной нарисовано).
А незадолго до этого, перед сдачей экзамена, случайно увидел
в кабинете одного преподавателя потертый внушительных раз-
меров том «Основы теории транзисторов и транзисторных схем»
И.П.Степаненко. И после этого меня спрашивают, хочу ли я ра-
ботать схемотехником:
– А ты знаешь схемотехнику хоть как-нибудь? Может, опыт
какой есть?
– Нет.
Оставалось только подписать направление у начальника.
В кабинет меня привели со словами:
– Вот перспективный студент, средний балл равен 4.5,
он хотел бы проходить практику на нашем выпускающем
предприятии схемотехником.
– Давайте попробуем, но я не могу ни гарантировать, что
вас возьмут, ни тем более звонить туда и содействовать
этому.
Пришел на собеседование. Длилось оно недолго, его суть
можно было свести лишь к одной фразе: «Ничего не умею, но
хочу». Поставленная задача звучала коротко и просто: «Есть у
нас изделие, в котором уже давно стоит генератор шума. Он ра-
ботает, но никто толком не знает, как. Вот заодно и тема для ба-
калаврской будет. Вперед».
Как я «разбирался» с этой задачей – отдельная история.
Но следующее задание было ещё веселее: «Есть генератор слу-
чайных чисел на шумовом диоде, который мы как-то заставили
работать, но поставщик теперь предлагает другие диоды, и ты
должен разобраться, подойдут ли они, и если да, то что нужно
нам скорректировать в устройстве».
В общем, пошел туда, куда меня послали. В библиотеку.
Четырехтомник «Случайные процессы. Примеры и задачи»
В.И. Тихонова (и др.) я взял не раздумывая. Так же как и двух-
томник Б.И. Шахтарина «Случайные процессы в радиотехнике».
И ещё много других замечательных книг.
Каждый рабочий день последующих трёх месяцев прохо-
дил одинаково: вспоминал теорию функции комплексной пере-
менной, вспоминал, как брать производные и всевозможные
интегралы, вспоминал теорию вероятности. Решал всем знако-
мые задачки про подбрасывание монетки и разноцветные шары
в урне. Постепенно подобрался к критерию Пирсона, используя
который, другие сотрудники кое-как настроили работу схемы.
И понял, что решение здесь нельзя найти в принципе. Также я
понял, что на работе о моем существовании попросту забыли…
В паспорте на диод было всего два параметра, которые влия-
ли на параметр третий – параметр схемы. Их и нужно было пра-
вильно связать друг с другом. В «Случайных процессах» нашел
упоминание первых двух, в этом не было ничего сложного, про-
блема в другом – как они связаны с третьим? Этот вопрос пока
оставил в стороне, поскольку мне для понимания даже первых
двух параметров нужно было потренироваться на типовых за-
дачках. Решать задачи по случайным процессам было намного
тяжелее, чем по теории вероятности, некоторые не поддавались
в принципе, поэтому стал обращаться к репетиторам и не отста-
вал от них до тех пор, пока выбранная мной задача не становилась
понятна до конца. Ход решения при этом тщательно записывал.
С первыми двумя параметрами разобрался – а дальше что?
Нигде не было прямого упоминания о том, как они связаны
с третьим параметром. Бегло листая двухтомник «Случайные
процессы», ближе к его концу наткнулся на раздел «Выбросы
случайных процессов», в котором был приведен параметр, по-
хожий на тот, который нужен мне. Но проблема в том, что даже
в этом двухтомнике раздел про выбросы был написан настолько
кратко, что ничего, кроме понимания правильного направле-
ния поиска, не появилось. По списку литературы нашел книгу
В.И. Тихонова 1970-го года выпуска именно по этой теме. По-
скольку в электронном виде найти её не смог, то заказал почтой
Предисловие 5
Случайные процессы
на одном из букинистических сайтов, где частники размещают
объявления.
Был июль 2007 года, мы с родителями уже собирались в от-
пуск на дачу. Зашел к начальнику по поводу отъезда и, думая, что
заскочил на минутку, получил:
– Надо подать тезисы на конференцию. Прямо сейчас.
– Единственное, что у меня сейчас есть, – это незакончен-
ный расчёт генератора случайных чисел. Который мало
того что недоделан, так я ещё и не уверен, прав ли я во-
обще.
– Именно для этого и организуются конференции. Просто
пишешь и докладываешь свои идеи как есть, правиль-
ные или нет, – коллеги поправят. До самого выступления
ещё больше месяца, а в тезисах так и пиши: «Получен
предварительный результат… требуется проверка… это не
само решение, а подготовка к нему…»
Книга пришла незадолго до отъезда. Но сначала это не по-
могло. Да, я нашел в ней нужный раздел, но связать всё воедино
не получалось. Шли дни, а я так и не знал, как найти решение.
Беспокойство нарастало – что докладывать? Что я попытался
чего-то там такое решить и не решил? Я бродил по дому, пере-
бирая на память всё, в чем смог разобраться. Деревянные стены
уныло смотрели на меня, а я упорно цеплялся взглядом за мел-
кие детали, как будто ответ был именно в них. Пасмурная пого-
да приближающейся осени и загородная тишина давили на меня
и подстегивали одновременно. Эту страницу я прочитал не раз.
В какой-то момент провокационная мысль «что, если?...» прон-
зила, подбросив меня на месте. Огрызком карандаша в тетрадке,
которая оставалась не до конца исписанной ещё со школы и ко-
торую я закинул в сумку перед отъездом по принципу «вроде есть
на чем писать, сойдет и так», бросился делать расчёт уже с начала
и до самого конца. Подставив в конечное выражение значения
тех самых двух параметров, получил значение третьего параметра,
который мне дали на работе в качестве отправной точки для са-
мопроверки. Всё. До конца отпуска оставалось несколько дней…
Но я же не математик! И никогда им не был! Может, я при-
думал очередную чушь, за которую меня люди, хоть немного
6
сведущие в случайных процессах, размажут на докладе?! По-
шел на кафедру высшей математики, спросил, с кем можно
проконсультироваться по случайным процессам, т.к. у меня
есть решение одной задачи и я хотел бы, чтобы меня провери-
ли. Нашел нужного преподавателя, отдал ему расчёт, спросил,
когда можно подойти за результатом. Через неделю пришел и
получил:
– Ну, вот здесь, в начале, есть несколько сомнительных мо-
ментов, это опустим, а вот здесь, – и при этом показывает
на отправное выражение для связки трех параметров, –
вы хотите сказать, что вероятность появления случайной
величины будет равняться 100%?
– Так ведь это классическое условие нормировки.
– Вы хотите сказать, что случайная величина в указанном
диапазоне появится с вероятностью 100%? Это же случай-
ная величина! Такое вообще возможно?!
С этими словами он сунул мне изрядно помятые листы с рас-
чётами, и в довольно резкой форме мы попрощались.
Ладно, думаю, на конференции мне хоть что-нибудь да ска-
жут.
Пока я докладывал, один из членов комиссии задумчиво
смотрел на график в презентации, как будто пытался там что-то
отыскать.
– Таким образом, можно утверждать, что в шумовом сигна-
ле всегда присутствуют точки, статистически независи-
мые друг от друга, следующие друг за другом с опредёлен-
ной частотой повторения. Если делать выборку именно
с этой частотой, то полученные числа будут абсолютно
случайными.
Когда я замолчал, то в помещении повисла длинная пауза:
народу было мало, большую часть составляли такие же студенты,
как и я, но один из них всё же робко спросил:
– То есть полученные числа будут абсолютно случайны?
– Да.
Председатель комиссии спросил:
– Вы патентовали это решение?
– Нет.
Предисловие 7
Случайные процессы
– Вам следует об этом подумать.
С тех пор прошло 15 лет. Интерес к небольшой задаче, кото-
рую автор тогда не смог решить правильно потому, что вовремя
не перевернул страницу учебника, привел к решению новому,
легшему в основу докторской диссертации, работа над которой
продолжается уже 15 лет. Почему автор так долго переворачива-
ет страницы? Да потому, что читать подобные учебники крайне
тяжело. Приходится просто «вгрызаться» в каждый абзац и об-
ращаться ко многим дополнительным источниками для того,
чтобы шаг за шагом прорываться сквозь тьму жутких формул
навстречу своей мечте. Ну а чтобы достигнутые успехи не забы-
вались, все ходы были тщательно записаны. Так получилось на-
стоящее учебное пособие.
Автор ни в коем случае не претендует на новизну тех поло-
жений теории случайных процессов и сформулированных задач,
которые приведены в учебном пособии. Конечно же, всё это из-
вестно давно: ссылки на заимствованные источники приведены
в конце книги. Дело в другом – в авторском видении подхода
к порядку изложения материала и, что самое главное, в автор-
ской манере решения стандартных задач.
Теоретические части преимущественно представляют со-
бой цитирование источников в том объеме, который достато-
чен для понимания хода решения задач, – для этого они были
снабжены комментариями. Но главной целью пособия является
именно подробный разбор задач по случайным процессам. На-
столько подробный, что – автор искренне надеется – читатель
сможет освоить этот объем информации не за полгода неравной
битвы с формулами (как было с автором), а за одну-две недели
приятного, ненавязчивого чтения за чашечкой кофе. И сможет
намного легче и быстрее получить новые и интересные решения
в области теории случайных процессов.
8
ГЛАВА 1
ЗАКОНЫ РАСПРЕДЕЛЕНИЯ И
МОМЕНТНЫЕ ФУНКЦИИ
Случайный процесс ξ(t) [1, 2] считается определённым на интер-
вале времени (0,T), если при произвольном числе n и для лю-
бых моментов времени t1, t2, … , tn на этом интервале известна
n-мерная плотность распределения вероятностей W(x1, x2, … , xn;
t1, t2, … , tn).
Требования к W(x1, x2, … , xn; t1, t2, … ,tn):
• положительной определённости:
W(x1, x2, … , xn; t1, t2, … , tn) ≥ 0,
• нормировки:
1 2 1 1 2 1 2 , , , ; , , , 1 n n n W x x x t t t dx dx dx
,
• симметрии:
функция W(x1, x2, … , xn; t1, t2, … , tn) не должна изменяться
при любой парной перестановке аргументов x1, x2, … , xn и
t1, t2, … , tn,
• согласованности:
1 2 1 2
1 2 1 1 2 1 1
, , , ; , , ,
, , , , , ,; , , , , ,
m m
m m n m m n m n
W x x x t t t
W x x x x x t t t t t dx dx
,
для любых m<n.
Помимо функции плотности распределения вероятности
используются т. н. моментные функции – более простые харак-
теристики.
n-мерная начальная моментная функция, зависящая от n не-
совпадающих аргументов t1, t2, … , tn, порядка ν = ν1 + ν2 + … + νn:
Случайные процессы
1 2
1 2 n
1 2 n
1 2 1 2
1 2 1 2 1 2 1 2
, , ,
, , , ; , , ,
n
n n
n n n n
m tt t E t t t
x x x W x x x t t t dx dx dx
.
Для порядка ν = ν1 + ν2 (например)
1 2
1 2
1 2
1 2 1 2
1 2 1 2 1 2 1 2 2 1 2
,
, ;, ,
m t t E t t
x x W x x t t dx dx m t t
.
Соответственно, имеют место несколько частных случаев:
• одномерная начальная моментная функция первого по-
рядка:
1
1 m t E t E t xW x,t dx m t
,
где mξ(t) – математическое ожидание случайного процес-
са ξ(t);
• двумерная начальная моментная функция второго поряд-
ка:
1 2
1 2
1
1 2 1 2
2
1 2 1 2 1 2 1 2 1 2 2 1 2
1
,
1
, ;, , ,
m t t E t t
x xW x x t t dx dx R t t m t t
,
где Rξ(t1, t2) – корреляционная функция случайного процес-
са ξ(t).
n-мерная центральная моментная функция, зависящая от n
несовпадающих аргументов t1, t2, … , tn, порядка ν = ν1 + ν2 + … +
+ νn:
1 2
1 2
1 2
1 2
1 1 2 2
1 1 2 2
1 2 1 2 1 2
, , ,
, , , ; , , ,
n
n
n
n
n n
n n
n n n
t t t
E t m t t m t t m t
x m t x m t x m t
W x x x t t t dx dx dx
10
1 2
1 2
1 2
1 2
1 1 2 2
1 1 2 2
1 2 1 2 1 2
, , ,
, , , ; , , ,
n
n
n
n
n n
n n
n n n
t t t
E t m t t m t t m t
x m t x m t x m t
W x x x t t t dx dx dx
Соответственно, имеют место несколько частных случаев:
• двумерная центральная моментная функция второго по-
рядка:
1 2
1 2
1 2
1 2 1 1 2 2
1
1 1 2 2
2
1 2 1 2 1 2 1 2
,
1
·
1
· , ; , ,
t t E t m t t m t
x m t x m t
W x x t t dx dx K t t ,
где Kξ(t1,t2) – ковариационная функция случайного процес-
са ξ(t).
В том случае, если t1 = t2 = tx:
1,1 1 2 1,1
2 2
,
x ;
t t t
E t m t m t W xt dx
.
Возвращаемся к выражению для корреляционной функции:
1 2
1 2
1 2
1 2 1 2
1 2
2 2
2
1
,
, , ,
m t t E t t
t t t
E t x W x t dt R tt m t t
.
Соответственно, выражение для m1,1(t1, t2) примет вид:
m1,1(t1, t2) = Rx(t, t) – m2x
(t).
Далее устанавливаем важную связь между Rx(t) и Kx(t):
Rx(t,t) – m2
x(t) = Kx(t, t), для случая t1 = t2 = t
Глава 1. Законы распределения и моментные функции 11
Случайные процессы
Kx(t, t) = Dx(t),
где Dξ(t) – дисперсия случайного процесса ξ(t).
Соответственно, среднее квадратичное отклонение
t D t 2
E t m t .
Наряду с понятием функции плотности распределения веро-
ятности есть инструмент характеристических функций (и в не-
которых случаях он более удобен).
Характеристическая функция случайной величины Χ:
0
ju ju juxn
n
ju E e e W x dx pn e
,
где p(n) – распределение вероятностей.
Производящая функция случайной величины Χ:
0
n
n
s pn s
,
где s – оператор Лапласа.
Соответственно, ΘΧ(ju) используется для непрерывных слу-
чайных величин, а jΧ(s) – для дискретных случайных величин.
По известной ΘΧ(ju) с помощью прямого преобразования
Фурье можно определить функцию плотности распределения
вероятности:
1 1 2 2
1 2
1 2 1 2
, , ,
1
, , ,
2
n n
n
ju x ju x ju x
n n n
W x x x
ju ju ju e e e du du du
.
Также для случайной величины (а не случайного процесса!)
может быть рассмотрена моментная функция:
s E es es W x dx
,
в том числе
12
• вторая характеристическая функция:
YX(ju) = ln(QX(ju)),
• вторая моментная функция:
YX(ju) = ln(ΦX(s)).
Соответственно, n-я производная от моментной функции
ΦX
(n)(s) = E{XnesX},
ΦX
(n)(0) = E{Xn} = mn – начальный момент n-го порядка.
Частные случаи:
Ф'X(0) = m1,
Ф'' X (0) = m2 = m1
2 + s2.
Разложение моментной функции в ряд Маклорена:
0 !
n n
n
m
s s
n
.
Если вернуться к вопросу о функции плотности распределения
вероятности, связь с характеристической функцией
(для многомерного случайного процесса) имеет вид
1 1 2 2
1 2 1 2
1
1 2 1 2 1 2
, , , ; , , ,
, , , ; , , ,
i i
n n
n
ju t
n n
i
jux ju x ju x
n n n
ju ju ju t t t E e
e Wx x x t t t dx dx dx
,
при том что
1 1
2 2
,
,
. n n
t x
t x
t x
Соответственно, можно установить связь между характери-
стической функцией и n-мерной начальной функцией:
1 2 n
1 2
1 2
1
1 2
1 2 1 2
, , ,
, , , ; , , ,
.
n
n
n
v v v
v v v n n
v v2 vn
m tt t
d ju ju ju t t t
j
du1 du2 ... dun
Глава 1. Законы распределения и моментные функции 13
Случайные процессы
Кроме того, есть связь между Kξ и Rξ через начальные мо-
ментные функции:
Kx(t1, t2) = E{(x(t1) – mx(t1))(x(t2) – mx(t2))} =
=Rx(t1, t2) – m1(t1)m1(t2),
где mx(t1) – математическое ожидание случайной величины ξ(t1),
Kx(t1, t2, t3) = m1,1,1(t1, t2, t3) – m1(t1)Kx(t2, t3) – m1(t2)Kx(t1, t3)–
– m1(t3)Kx(t1, t2) + 3m1(t1)m1(t2)m1(t3).
Связь характеристической и моментной функции:
1 2 1 2
2
1 1,1
1 11
3
1,1,1
1 1 1
, , , ; , , ,
1
1 ,
2!
1
, , ...
3!
n n
n nn
k k k l k l
k kl
n n n
k l m k l m
k l m
ju ju ju t t t
j m t u j m t t u u
j m t t t u u u
Связь характеристической и корреляционной функции:
2 3
1 11 11 1
1 2 1 2
1 1
, ,, ...
2! 3!
, , , ; , , ,
.
n nn nn n
k k k l k l k l m k l m
k kl kl m
n n
j R t u j Rt t u u j R t t t u u u
ju ju ju t t t
e
Для гауссова случайного процесса
1 1
1
2
1 2 1 2
1
, , , ; , ,, ,
2
n n
kl k k l l
k l
x m t x m t
n n n
W x x x t t t e
где
mx(tk), mx(tl ) – математическое ожидание случайной величи-
ны ξ(tk) и ξ(tl),
D = | Kx | – определитель n-ого порядка, составленный из зна-
чений Kx(tk, tl ),
Dkl – алгебраическое дополнение элемента Kx(tk, tl) опреде-
лителя D.
Случайный процесс ξ(t) является стационарным в узком
смысле, если все его W(x1, x2, ..., xn; t1, t2, ..., tn) произвольного
Однажды, будучи студентом, я получил предложение ра-
ботать схемотехником на соседнем предприятии. Честно гово-
ря, не раз замечал, как, случайно наткнувшись на более-менее
сложную схемку из транзисторов, ощущал чуть ли не благоговей-
ный трепет и жуткий интерес в ней разобраться (хотя при этом
абсолютно не понимал, что вообще передо мной нарисовано).
А незадолго до этого, перед сдачей экзамена, случайно увидел
в кабинете одного преподавателя потертый внушительных раз-
меров том «Основы теории транзисторов и транзисторных схем»
И.П.Степаненко. И после этого меня спрашивают, хочу ли я ра-
ботать схемотехником:
– А ты знаешь схемотехнику хоть как-нибудь? Может, опыт
какой есть?
– Нет.
Оставалось только подписать направление у начальника.
В кабинет меня привели со словами:
– Вот перспективный студент, средний балл равен 4.5,
он хотел бы проходить практику на нашем выпускающем
предприятии схемотехником.
– Давайте попробуем, но я не могу ни гарантировать, что
вас возьмут, ни тем более звонить туда и содействовать
этому.
Пришел на собеседование. Длилось оно недолго, его суть
можно было свести лишь к одной фразе: «Ничего не умею, но
хочу». Поставленная задача звучала коротко и просто: «Есть у
нас изделие, в котором уже давно стоит генератор шума. Он ра-
ботает, но никто толком не знает, как. Вот заодно и тема для ба-
калаврской будет. Вперед».
Как я «разбирался» с этой задачей – отдельная история.
Но следующее задание было ещё веселее: «Есть генератор слу-
чайных чисел на шумовом диоде, который мы как-то заставили
работать, но поставщик теперь предлагает другие диоды, и ты
должен разобраться, подойдут ли они, и если да, то что нужно
нам скорректировать в устройстве».
В общем, пошел туда, куда меня послали. В библиотеку.
Четырехтомник «Случайные процессы. Примеры и задачи»
В.И. Тихонова (и др.) я взял не раздумывая. Так же как и двух-
томник Б.И. Шахтарина «Случайные процессы в радиотехнике».
И ещё много других замечательных книг.
Каждый рабочий день последующих трёх месяцев прохо-
дил одинаково: вспоминал теорию функции комплексной пере-
менной, вспоминал, как брать производные и всевозможные
интегралы, вспоминал теорию вероятности. Решал всем знако-
мые задачки про подбрасывание монетки и разноцветные шары
в урне. Постепенно подобрался к критерию Пирсона, используя
который, другие сотрудники кое-как настроили работу схемы.
И понял, что решение здесь нельзя найти в принципе. Также я
понял, что на работе о моем существовании попросту забыли…
В паспорте на диод было всего два параметра, которые влия-
ли на параметр третий – параметр схемы. Их и нужно было пра-
вильно связать друг с другом. В «Случайных процессах» нашел
упоминание первых двух, в этом не было ничего сложного, про-
блема в другом – как они связаны с третьим? Этот вопрос пока
оставил в стороне, поскольку мне для понимания даже первых
двух параметров нужно было потренироваться на типовых за-
дачках. Решать задачи по случайным процессам было намного
тяжелее, чем по теории вероятности, некоторые не поддавались
в принципе, поэтому стал обращаться к репетиторам и не отста-
вал от них до тех пор, пока выбранная мной задача не становилась
понятна до конца. Ход решения при этом тщательно записывал.
С первыми двумя параметрами разобрался – а дальше что?
Нигде не было прямого упоминания о том, как они связаны
с третьим параметром. Бегло листая двухтомник «Случайные
процессы», ближе к его концу наткнулся на раздел «Выбросы
случайных процессов», в котором был приведен параметр, по-
хожий на тот, который нужен мне. Но проблема в том, что даже
в этом двухтомнике раздел про выбросы был написан настолько
кратко, что ничего, кроме понимания правильного направле-
ния поиска, не появилось. По списку литературы нашел книгу
В.И. Тихонова 1970-го года выпуска именно по этой теме. По-
скольку в электронном виде найти её не смог, то заказал почтой
Предисловие 5
Случайные процессы
на одном из букинистических сайтов, где частники размещают
объявления.
Был июль 2007 года, мы с родителями уже собирались в от-
пуск на дачу. Зашел к начальнику по поводу отъезда и, думая, что
заскочил на минутку, получил:
– Надо подать тезисы на конференцию. Прямо сейчас.
– Единственное, что у меня сейчас есть, – это незакончен-
ный расчёт генератора случайных чисел. Который мало
того что недоделан, так я ещё и не уверен, прав ли я во-
обще.
– Именно для этого и организуются конференции. Просто
пишешь и докладываешь свои идеи как есть, правиль-
ные или нет, – коллеги поправят. До самого выступления
ещё больше месяца, а в тезисах так и пиши: «Получен
предварительный результат… требуется проверка… это не
само решение, а подготовка к нему…»
Книга пришла незадолго до отъезда. Но сначала это не по-
могло. Да, я нашел в ней нужный раздел, но связать всё воедино
не получалось. Шли дни, а я так и не знал, как найти решение.
Беспокойство нарастало – что докладывать? Что я попытался
чего-то там такое решить и не решил? Я бродил по дому, пере-
бирая на память всё, в чем смог разобраться. Деревянные стены
уныло смотрели на меня, а я упорно цеплялся взглядом за мел-
кие детали, как будто ответ был именно в них. Пасмурная пого-
да приближающейся осени и загородная тишина давили на меня
и подстегивали одновременно. Эту страницу я прочитал не раз.
В какой-то момент провокационная мысль «что, если?...» прон-
зила, подбросив меня на месте. Огрызком карандаша в тетрадке,
которая оставалась не до конца исписанной ещё со школы и ко-
торую я закинул в сумку перед отъездом по принципу «вроде есть
на чем писать, сойдет и так», бросился делать расчёт уже с начала
и до самого конца. Подставив в конечное выражение значения
тех самых двух параметров, получил значение третьего параметра,
который мне дали на работе в качестве отправной точки для са-
мопроверки. Всё. До конца отпуска оставалось несколько дней…
Но я же не математик! И никогда им не был! Может, я при-
думал очередную чушь, за которую меня люди, хоть немного
6
сведущие в случайных процессах, размажут на докладе?! По-
шел на кафедру высшей математики, спросил, с кем можно
проконсультироваться по случайным процессам, т.к. у меня
есть решение одной задачи и я хотел бы, чтобы меня провери-
ли. Нашел нужного преподавателя, отдал ему расчёт, спросил,
когда можно подойти за результатом. Через неделю пришел и
получил:
– Ну, вот здесь, в начале, есть несколько сомнительных мо-
ментов, это опустим, а вот здесь, – и при этом показывает
на отправное выражение для связки трех параметров, –
вы хотите сказать, что вероятность появления случайной
величины будет равняться 100%?
– Так ведь это классическое условие нормировки.
– Вы хотите сказать, что случайная величина в указанном
диапазоне появится с вероятностью 100%? Это же случай-
ная величина! Такое вообще возможно?!
С этими словами он сунул мне изрядно помятые листы с рас-
чётами, и в довольно резкой форме мы попрощались.
Ладно, думаю, на конференции мне хоть что-нибудь да ска-
жут.
Пока я докладывал, один из членов комиссии задумчиво
смотрел на график в презентации, как будто пытался там что-то
отыскать.
– Таким образом, можно утверждать, что в шумовом сигна-
ле всегда присутствуют точки, статистически независи-
мые друг от друга, следующие друг за другом с опредёлен-
ной частотой повторения. Если делать выборку именно
с этой частотой, то полученные числа будут абсолютно
случайными.
Когда я замолчал, то в помещении повисла длинная пауза:
народу было мало, большую часть составляли такие же студенты,
как и я, но один из них всё же робко спросил:
– То есть полученные числа будут абсолютно случайны?
– Да.
Председатель комиссии спросил:
– Вы патентовали это решение?
– Нет.
Предисловие 7
Случайные процессы
– Вам следует об этом подумать.
С тех пор прошло 15 лет. Интерес к небольшой задаче, кото-
рую автор тогда не смог решить правильно потому, что вовремя
не перевернул страницу учебника, привел к решению новому,
легшему в основу докторской диссертации, работа над которой
продолжается уже 15 лет. Почему автор так долго переворачива-
ет страницы? Да потому, что читать подобные учебники крайне
тяжело. Приходится просто «вгрызаться» в каждый абзац и об-
ращаться ко многим дополнительным источниками для того,
чтобы шаг за шагом прорываться сквозь тьму жутких формул
навстречу своей мечте. Ну а чтобы достигнутые успехи не забы-
вались, все ходы были тщательно записаны. Так получилось на-
стоящее учебное пособие.
Автор ни в коем случае не претендует на новизну тех поло-
жений теории случайных процессов и сформулированных задач,
которые приведены в учебном пособии. Конечно же, всё это из-
вестно давно: ссылки на заимствованные источники приведены
в конце книги. Дело в другом – в авторском видении подхода
к порядку изложения материала и, что самое главное, в автор-
ской манере решения стандартных задач.
Теоретические части преимущественно представляют со-
бой цитирование источников в том объеме, который достато-
чен для понимания хода решения задач, – для этого они были
снабжены комментариями. Но главной целью пособия является
именно подробный разбор задач по случайным процессам. На-
столько подробный, что – автор искренне надеется – читатель
сможет освоить этот объем информации не за полгода неравной
битвы с формулами (как было с автором), а за одну-две недели
приятного, ненавязчивого чтения за чашечкой кофе. И сможет
намного легче и быстрее получить новые и интересные решения
в области теории случайных процессов.
8
ГЛАВА 1
ЗАКОНЫ РАСПРЕДЕЛЕНИЯ И
МОМЕНТНЫЕ ФУНКЦИИ
Случайный процесс ξ(t) [1, 2] считается определённым на интер-
вале времени (0,T), если при произвольном числе n и для лю-
бых моментов времени t1, t2, … , tn на этом интервале известна
n-мерная плотность распределения вероятностей W(x1, x2, … , xn;
t1, t2, … , tn).
Требования к W(x1, x2, … , xn; t1, t2, … ,tn):
• положительной определённости:
W(x1, x2, … , xn; t1, t2, … , tn) ≥ 0,
• нормировки:
1 2 1 1 2 1 2 , , , ; , , , 1 n n n W x x x t t t dx dx dx
,
• симметрии:
функция W(x1, x2, … , xn; t1, t2, … , tn) не должна изменяться
при любой парной перестановке аргументов x1, x2, … , xn и
t1, t2, … , tn,
• согласованности:
1 2 1 2
1 2 1 1 2 1 1
, , , ; , , ,
, , , , , ,; , , , , ,
m m
m m n m m n m n
W x x x t t t
W x x x x x t t t t t dx dx
,
для любых m<n.
Помимо функции плотности распределения вероятности
используются т. н. моментные функции – более простые харак-
теристики.
n-мерная начальная моментная функция, зависящая от n не-
совпадающих аргументов t1, t2, … , tn, порядка ν = ν1 + ν2 + … + νn:
Случайные процессы
1 2
1 2 n
1 2 n
1 2 1 2
1 2 1 2 1 2 1 2
, , ,
, , , ; , , ,
n
n n
n n n n
m tt t E t t t
x x x W x x x t t t dx dx dx
.
Для порядка ν = ν1 + ν2 (например)
1 2
1 2
1 2
1 2 1 2
1 2 1 2 1 2 1 2 2 1 2
,
, ;, ,
m t t E t t
x x W x x t t dx dx m t t
.
Соответственно, имеют место несколько частных случаев:
• одномерная начальная моментная функция первого по-
рядка:
1
1 m t E t E t xW x,t dx m t
,
где mξ(t) – математическое ожидание случайного процес-
са ξ(t);
• двумерная начальная моментная функция второго поряд-
ка:
1 2
1 2
1
1 2 1 2
2
1 2 1 2 1 2 1 2 1 2 2 1 2
1
,
1
, ;, , ,
m t t E t t
x xW x x t t dx dx R t t m t t
,
где Rξ(t1, t2) – корреляционная функция случайного процес-
са ξ(t).
n-мерная центральная моментная функция, зависящая от n
несовпадающих аргументов t1, t2, … , tn, порядка ν = ν1 + ν2 + … +
+ νn:
1 2
1 2
1 2
1 2
1 1 2 2
1 1 2 2
1 2 1 2 1 2
, , ,
, , , ; , , ,
n
n
n
n
n n
n n
n n n
t t t
E t m t t m t t m t
x m t x m t x m t
W x x x t t t dx dx dx
10
1 2
1 2
1 2
1 2
1 1 2 2
1 1 2 2
1 2 1 2 1 2
, , ,
, , , ; , , ,
n
n
n
n
n n
n n
n n n
t t t
E t m t t m t t m t
x m t x m t x m t
W x x x t t t dx dx dx
Соответственно, имеют место несколько частных случаев:
• двумерная центральная моментная функция второго по-
рядка:
1 2
1 2
1 2
1 2 1 1 2 2
1
1 1 2 2
2
1 2 1 2 1 2 1 2
,
1
·
1
· , ; , ,
t t E t m t t m t
x m t x m t
W x x t t dx dx K t t ,
где Kξ(t1,t2) – ковариационная функция случайного процес-
са ξ(t).
В том случае, если t1 = t2 = tx:
1,1 1 2 1,1
2 2
,
x ;
t t t
E t m t m t W xt dx
.
Возвращаемся к выражению для корреляционной функции:
1 2
1 2
1 2
1 2 1 2
1 2
2 2
2
1
,
, , ,
m t t E t t
t t t
E t x W x t dt R tt m t t
.
Соответственно, выражение для m1,1(t1, t2) примет вид:
m1,1(t1, t2) = Rx(t, t) – m2x
(t).
Далее устанавливаем важную связь между Rx(t) и Kx(t):
Rx(t,t) – m2
x(t) = Kx(t, t), для случая t1 = t2 = t
Глава 1. Законы распределения и моментные функции 11
Случайные процессы
Kx(t, t) = Dx(t),
где Dξ(t) – дисперсия случайного процесса ξ(t).
Соответственно, среднее квадратичное отклонение
t D t 2
E t m t .
Наряду с понятием функции плотности распределения веро-
ятности есть инструмент характеристических функций (и в не-
которых случаях он более удобен).
Характеристическая функция случайной величины Χ:
0
ju ju juxn
n
ju E e e W x dx pn e
,
где p(n) – распределение вероятностей.
Производящая функция случайной величины Χ:
0
n
n
s pn s
,
где s – оператор Лапласа.
Соответственно, ΘΧ(ju) используется для непрерывных слу-
чайных величин, а jΧ(s) – для дискретных случайных величин.
По известной ΘΧ(ju) с помощью прямого преобразования
Фурье можно определить функцию плотности распределения
вероятности:
1 1 2 2
1 2
1 2 1 2
, , ,
1
, , ,
2
n n
n
ju x ju x ju x
n n n
W x x x
ju ju ju e e e du du du
.
Также для случайной величины (а не случайного процесса!)
может быть рассмотрена моментная функция:
s E es es W x dx
,
в том числе
12
• вторая характеристическая функция:
YX(ju) = ln(QX(ju)),
• вторая моментная функция:
YX(ju) = ln(ΦX(s)).
Соответственно, n-я производная от моментной функции
ΦX
(n)(s) = E{XnesX},
ΦX
(n)(0) = E{Xn} = mn – начальный момент n-го порядка.
Частные случаи:
Ф'X(0) = m1,
Ф'' X (0) = m2 = m1
2 + s2.
Разложение моментной функции в ряд Маклорена:
0 !
n n
n
m
s s
n
.
Если вернуться к вопросу о функции плотности распределения
вероятности, связь с характеристической функцией
(для многомерного случайного процесса) имеет вид
1 1 2 2
1 2 1 2
1
1 2 1 2 1 2
, , , ; , , ,
, , , ; , , ,
i i
n n
n
ju t
n n
i
jux ju x ju x
n n n
ju ju ju t t t E e
e Wx x x t t t dx dx dx
,
при том что
1 1
2 2
,
,
. n n
t x
t x
t x
Соответственно, можно установить связь между характери-
стической функцией и n-мерной начальной функцией:
1 2 n
1 2
1 2
1
1 2
1 2 1 2
, , ,
, , , ; , , ,
.
n
n
n
v v v
v v v n n
v v2 vn
m tt t
d ju ju ju t t t
j
du1 du2 ... dun
Глава 1. Законы распределения и моментные функции 13
Случайные процессы
Кроме того, есть связь между Kξ и Rξ через начальные мо-
ментные функции:
Kx(t1, t2) = E{(x(t1) – mx(t1))(x(t2) – mx(t2))} =
=Rx(t1, t2) – m1(t1)m1(t2),
где mx(t1) – математическое ожидание случайной величины ξ(t1),
Kx(t1, t2, t3) = m1,1,1(t1, t2, t3) – m1(t1)Kx(t2, t3) – m1(t2)Kx(t1, t3)–
– m1(t3)Kx(t1, t2) + 3m1(t1)m1(t2)m1(t3).
Связь характеристической и моментной функции:
1 2 1 2
2
1 1,1
1 11
3
1,1,1
1 1 1
, , , ; , , ,
1
1 ,
2!
1
, , ...
3!
n n
n nn
k k k l k l
k kl
n n n
k l m k l m
k l m
ju ju ju t t t
j m t u j m t t u u
j m t t t u u u
Связь характеристической и корреляционной функции:
2 3
1 11 11 1
1 2 1 2
1 1
, ,, ...
2! 3!
, , , ; , , ,
.
n nn nn n
k k k l k l k l m k l m
k kl kl m
n n
j R t u j Rt t u u j R t t t u u u
ju ju ju t t t
e
Для гауссова случайного процесса
1 1
1
2
1 2 1 2
1
, , , ; , ,, ,
2
n n
kl k k l l
k l
x m t x m t
n n n
W x x x t t t e
где
mx(tk), mx(tl ) – математическое ожидание случайной величи-
ны ξ(tk) и ξ(tl),
D = | Kx | – определитель n-ого порядка, составленный из зна-
чений Kx(tk, tl ),
Dkl – алгебраическое дополнение элемента Kx(tk, tl) опреде-
лителя D.
Случайный процесс ξ(t) является стационарным в узком
смысле, если все его W(x1, x2, ..., xn; t1, t2, ..., tn) произвольного