eng
Содержание
СОДЕРЖАНИЕ
КНИГА 1, ГЛАВЫ 1–9
ВСТУПИТЕЛЬНОЕ СЛОВО ......... 20
ПРЕДИСЛОВИЕ ................... 25
PREFACE or “WHAT IS THIS BOOK ABOUT?” ......... 39
ГЛАВА 1
ВИДЕОИНФОРМАЦИОННЫЕ ПРИЛОЖЕНИЯ.
СИСТЕМЫ ФОРМИРОВАНИЯ И ПРЕДСТАВЛЕНИЯ
ЦИФРОВОЙ ВИДЕОИНФОРМАЦИИ ..........51
1.1.
Форматы изображений. Статические и динамические
эталонные изображения .............53
1.1.1.
Аналоговые и цифровые растровые изображения ..............53
1.1.2.
Цветовые системы...................55
- Цветовая система RGB ....... 56
- Цветовые системы CMY и CMYK .................... 59
- Цветовая система HSI ......... 60
- Цветовые системы YUV, YIQ, YDRDB, YCRCB ......... 62
- Цветовая система CIELAB ............. 63
1.1.3.
Статические и динамические эталонные изображения ..........64
- Статические эталонные изображения ............. 64
- Динамические эталонные изображения .......... 66
1.2.
Системы формирования и передачи видеоинформации ........68
1.2.1.
Монохромное телевидение .............68
1.2.2.
Цветное телевидение ............70
- Система NTSC ..................... 71
- Система PAL ......... 73
- Система SECAM .................. 74
1.2.3.
Уменьшение объема информации при преобразовании
составляющих ТВ сигналов в цифровую форму .......76
1.2.4.
Качественные показатели телевизионных изображений ........79
1.2.5.
Телевидение повышенной, высокой и ультравысокой
четкости, стереоскопическое и многоракурсное телевидение ..................81
1.2.6.
Видеотелефония и видеоконференцсвязь, домашнее видео .....................82
1.3.
Цифровое представление видеоинформации ...........84
1.3.1.
Представление изображения конечным объемом данных ..........84
1.3.2.
Фурье-преобразование, теорема о дискретизации ..................88
1.3.3.
Изображение, изменяющееся во времени ........91
1.3.4.
Квантование. Импульсно-кодовая модуляция .........93
ГЛАВА 2.
МЕТРОЛОГИЧЕСКОЕ ОБЕСПЕЧЕНИЕ И
ИЗМЕРИТЕЛЬНЫЕ СИГНАЛЫ АНАЛОГОВЫХ И
ЦИФРОВЫХ ВИДЕОИНФОРМАЦИОННЫХ СИСТЕМ.......96
2.1.
Метрологическое обеспечение и специфические особенности
измерений и контроля в видеоинформационных системах ........96
2.1.1.
Основные задачи метрологии .........97
2.1.2.
Оценка искажений формы сигналов .................99
2.2.
Краткие сведения о погрешностях измерений и контроля ....... 101
2.3.
Синтез измерительных сигналов для анализа
аналоговых и цифровых видеоинформационных систем ......... 120
2.3.1.
Системные искажения стандартных измерительных сигналов.......121
2.3.2.
Критерии оптимальности измерительных сигналов для оценки
каналов аналоговой и цифровой передачи видеоинформации.......126
2.3.3.
Синтез оптимальных измерительных сигналов для оценки
каналов аналоговых и цифровых видеоинформационных систем .......... 130
2.3.4.
Синтез измерительных сигналов, форма которых совпадает
с огибающей их спектра................. 136
2.3.5.
Синтез измерительных сигналов для оценки эхо-радиосигналов ........... 140
2.3.6.
Искажения измерительных сигналов в системах
с частичным подавлением одной боковой полосы ................ 148
ГЛАВА 3
АНАЛИЗ ИЗОБРАЖЕНИЙ И СИГНАЛОВ
В ВИДЕО ИНФОРМАЦИОННЫХ СИСТЕМАХ.......159
3.1.
Классификация характерных искажений аналоговых и цифровых
систем формирования и передачи сигналов изображения ....... 159
3.1.1.
Перечень основных параметров аналоговых и
аналого-цифровых видеосигналов .................. 160
3.1.2.
Искажения изображений в цифровых видеоинформационных
системах ............ 160
- Блокинг-эффект .................160
- Мозаичный эффект ............161
- Размытие изображения .................161
- Окантовки на границах .................161
- Размытие цветов .................161
- Искажения типа «ступеньки» ..........162
- Искажения, имеющие вид базисных функций ДКП ...........163
- Ложные границы ................163
- Эффект «комаров» .............164
- Зернистый шум в стационарной области .......164
- Неправильные цвета ..........165
- «Эффекты привидения» ................166
3.1.3.
Тестовые видеопоследовательности для анализа искажений
при цифровом кодировании статических изображений ....... 166
3.1.4.
Анализ искажений при MPEG-подобном межкадровом
кодировании ......... 170
3.1.5.
Испытательные таблицы для анализа искажений
в аналого-цифровых каналах ........ 171
3.2.
Алгоритмы обработки измерительных сигналов
при оценке параметров видеоинформационных систем .......... 179
3.2.1.
Дискретная и непрерывная оптимальная фильтрация
постоянных уровней видеоимпульсов ............. 179
- Условия оптимальной линейной фильтрации помехи ..........179
- Зависимости оптимального уменьшения дисперсии помехи
от величины интервала обработки сигнала ............185
- Реализация специальных сигналов для повышения точности
оценки уровней ..................187
3.2.2.
Цифровая обработка быстроизменяющихся процессов ....... 189
- Активные методы поиска экстремумов ..........190
- Поиск экстремумов с применением методов стохастической
аппроксимации...................193
- Поиск экстремумов с применением методов цифровой фильтрации ....196
- Поиск переходов сигнала через заданный потенциальный уровень ......201
3.2.3.
Алгоритмы обработки измерительных сигналов и
результатов измерений........ 203
- Особенности измерения размахов синусоидальных колебаний .............206
- Специфика анализа импульсных характеристик ..................208
3.2.4.
Алгоритмы оценки параметров помех ............. 209
- Методы одновременной оценки параметров флуктуационных и
синусоидальных помех .......213
- Особенности оценки частот синусоидальных помех
по дискретным выборкам .............215
3.2.5.
Цифровые методы оценки флуктуационных помех
в сигналах динамического изображения ......... 218
- Дискретное преобразование сигнала подвижного изображения ............221
- Линейная фильтрация флуктуационной помехи в динамическом
изображении ........223
- Повышение эффективности анализа флуктуационных помех
с применением нелинейных методов цифровой обработки ...................225
ГЛАВА 4
СТАТИСТИЧЕСКАЯ И ВИЗУАЛЬНАЯ ИЗБЫТОЧНОСТЬ
ИЗОБРАЖЕНИЙ ......... 229
4.1.
Cтатистическая избыточность дискретизированных данных.................. 230
4.1.1.
Информационная теорема ............ 230
4.1.2.
Виды статистического кодирования ................ 231
- Методы представления целых чисел ...............233
- Алгоритм Шеннона – Фано .........236
- Алгоритм Хаффмана ..........237
- Блочное и условное кодирование ....................240
- Арифметическое кодирование .........242
- Словарные методы кодирования последовательной
дискретной информации ..............244
- Статистические методы моделирования последовательной
дискретной информации ..............246
- Построение контекстного дерева ....................250
- Контекстные методы энтропийного кодирования ...............255
- Ассоциативное кодирование Буяновского ............255
- Метод Барроуза – Уилера .............259
4.1.3.
Кодирование с преобразованием ..................... 259
- Кодирование с предсказанием .........259
- Кодирование с дискретным преобразованием .......261
4.1.4.
Статистика монохромных и цветных изображений .............. 265
- Статистика монохромных изображений без преобразования .................265
- Статистика монохромных изображений с преобразованием ..................268
- Статистика цветных изображений ..................269
4.1.5.
Кодирование с сокращением объема передаваемой информации .......... 270
4.1.6.
Структура классической системы связи .......... 271
4.2.
Визуальная избыточность изображений ......... 273
4.2.1.
Заметность пространственных изменений яркости изображений .......... 273
4.2.2.
Заметность временных изменений яркости изображений........ 278
4.2.3.
Влияние помех .................... 278
4.2.4.
Специфические особенности восприятия цветов ................. 280
4.2.5.
Методы субъективной оценки качества изображений .......... 283
4.2.6.
Компьютерные методы хранения изображений .................... 285
ГЛАВА 5
ОСНОВНЫЕ МЕТОДЫ СЖАТИЯ ИЗОБРАЖЕНИЙ ....... 291
5.1.
Непосредственное кодирование изображений и кодирование
с предсказанием .................. 293
5.1.1.
Импульсно-кодовая модуляция ........ 293
5.1.2.
Кодирование изображений с предсказанием.
Дифференциальная импульсно-кодовая модуляция ............ 295
5.1.3.
Основные виды предсказания ....... 300
- Внутрикадровое предсказание .........300
- Межкадровое предсказание ..........302
5.1.4.
Квантование сигналов. Ошибки предсказания ..................... 304
5.1.5.
Помехоустойчивость кодирования с предсказанием ............ 308
5.2.
Групповое кодирование изображений ............. 309
5.2.1.
Дискретные линейные ортогональные преобразования ....... 310
- Дискретное преобразование Фурье .................311
- Преобразование Хаара .......315
- Преобразование Уолша – Адамара .................316
- Дискретное синусное преобразование ............317
- Дискретные косинусные преобразования ..............318
- Преобразование Кархунена – Лоэва ...............321
- Другие виды преобразований .......323
5.2.2.
Квантование коэффициентов преобразования ..................... 324
5.2.3.
Кодирование коэффициентов преобразования ..................... 327
5.2.4.
Межкадровое или трехмерное кодирование ........... 328
5.3.
Другие методы кодирования изображений ............. 329
5.3.1.
Кодирование с использованием гибридных преобразований ................. 329
5.3.2.
Другие методы блочного и интерполяционного кодирования ................ 330
- Алгоритм LBG ....................332
- Алгоритм Эквитца ..............333
5.4.
Фрактальные методы кодирования изображений ................. 338
ГЛАВА 6
ВЕЙВЛЕТЫ И КРАТНО МАСШТАБНАЯ
ОБРАБОТКА ИЗОБРАЖЕНИЙ ................. 345
6.1.
Hепрерывное вейвлет-преобразование ........... 346
6.2.
Дискретное вейвлет-преобразование .............. 349
6.3.
Кратномасштабный вейвлет-анализ.......351
6.4.
Основные сведения о субполосном кодировании ................. 354
6.4.1.
Двухканальная система субполосного дискретного
преобразования сигналов .............. 354
- Ортогональные КИХ-фильтры с нечетным числом
отсчетов цифровой решетки и линейной (нулевой) ФЧХ ........358
- Ортогональные КИХ-фильтры с четным числом
отсчетов цифровой решетки .........361
- Квадратурно-зеркальные КИХ-фильтры .......366
6.4.2.
Трехканальная система субполосного
дискретногопреобразования сигналов ............ 368
6.4.3.
Четырехканальная система субполосного дискретного
преобразования сигналов .............. 374
6.4.4.
Пятиканальная система субполосного дискретного
преобразования сигналов .............. 379
6.4.5.
Кратномасштабное дискретное вейвлет-преобразование
изображений......... 384
6.5.
Обработка изображений с кратномасштабным дискретным
вейлет-преобразованием.......387
6.5.1.
Основные положения ......... 387
6.5.2.
Зависимость энергетических характеристик субполос
изображения от вида вейвлет-базиса разложения ................. 389
6.5.3.
Выбор маски квантования компонент вейвлет-преобразований
изображения ......... 392
6.5.4.
Обработка тестовых изображений двухполосными
вейвлет-фильтрами ............. 397
6.5.5.
Обработка тестовых изображений с различными вариантами
вейвлет-фильтров ................ 399
ГЛАВА 7
ГАРМОНИЧЕСКИЙ АНАЛИЗ СИГНАЛОВ
С ИСПОЛЬЗОВАНИЕМ ОКОННЫХ ФУНКЦИЙ ........... 405
7.1.
Структуры оконных функций и их основные параметры ......... 406
7.1.1.
Основные положения ......... 406
7.1.2.
Основные параметры оконных функций ........ 410
- Эквивалентная шумовая полоса .......410
- Усиление преобразования .............411
- Корреляция перекрывающихся участков .......412
- Паразитная амплитудная модуляция спектра ........414
- Максимальные потери преобразования .........414
- Просачивание спектральных составляющих ..........415
- Минимальная разрешаемая полоса ................415
- Относительная разность шумовой полосы окна и
его полосы по уровню -3 дБ ..........416
- Максимальный уровень боковых лепестков ..........416
- Скорость спада боковых лепестков в дБ на октаву (W) ..........416
- Выбор оконных функций при цифровой обработке сигналов ................416
7.2.
Классические оконные функции ..................... 417
7.2.1.
Прямоугольная и треугольная оконные функции ................. 417
- Прямоугольное окно (окно Дирихле) .............417
- Треугольное окно (окно Файера и Барлетта) ..........418
7.2.2.
Оконные функции Хеннинга вида cos (x) .............. 419
- Косинусоидальный лепесток ........420
- Косинус-квадратичное окно Хеннинга / окно Ханна ..........420
- Косинус-кубичная оконная функция .............421
- Квадрат косинус-квадратичной оконной функции ..............421
7.2.3.
Оконные функции Хемминга, Блэкмана, Блэкмана – Херриса ............. 421
- Окно Хемминга (модификация окна Хеннинга) ..................421
- Окно Блэкмана ...................422
- Окна Блэкмана – Херриса ............423
7.2.4.
Оконные функции Наталла, Блэкмана – Наталла,
Барлета – Ханна; окно с плоской вершиной .......... 424
- Окна Наталла и Блэкмана – Наталла..............424
- Гибридное окно Барлета – Ханна ....................424
- Окно с плоской вершиной ............425
7.3.
Оконные функции Дольфа – Чебышева,
Барсилона – Темеша и их модификации ........ 426
7.3.1.
Окна Дольфа – Чебышева (Dolph – Chebychev) и
Барсилона – Темеша (Barcilon – Temes) .......... 426
7.3.2.
Модификации окон Дольфа – Чебышева и Барсилона – Темеша .......... 432
7.4.
Синтез высокоэффективных оконных функций
с использованием минимизации спектральных
составляющих вне пределов заданного интервала ................ 438
7.4.1.
Минимизация мощности боковых лепестков спектров
окон с косинусоидальными составляющими ......... 438
7.4.2.
Результаты расчетов параметров спектров окон с четными
косинусоидальными составляющими ............. 439
7.4.3.
Результаты расчетов параметров спектров окон с нечетными
косинусоидальными составляющими ............. 444
7.5.
Синтез высокоэффективных оконных функций
с использованием минимизации различий их формы и спектра ............ 446
7.6.
Алгоритмы максимизации спада уровней боковых
лепестков спектра оконных функций.............. 451
ГЛАВА 8
ВНУТРИКАДРОВАЯ И МЕЖКАДРОВАЯ
ОБРАБОТКА ИЗОБРАЖЕНИЙ ................. 457
8.1.
Изменения коэффициентов квантования блоков
в JPEG-подобных алгоритмах видеокомпрессии .................. 459
8.2.
Направленное пространственное внутрикадровое
предсказание в стандарте Н.264/AVC .............. 463
8.2.1.
Режим предсказания пикселов яркости блоков 16x16........... 463
8.2.2.
Режим предсказания пикселов яркостей блоков 8x8 ............ 465
8.2.3.
Режим предсказания пикселов яркости блоков 4x4 .............. 471
8.2.4.
Режим предсказания пикселов блоков цветности ................. 475
8.3.
Направленное пространственное внутрикадровое предсказание
в стандарте Н.265/HEVC.......478
8.4.
Внутрикадровая обработка изображений для уменьшения
влияния блокинг-эффекта ............ 480
8.4.1.
Процесс фильтрации краев при bS < 4 ............. 483
8.4.2.
Процесс фильтрации краев при bS = 4 ............. 484
8.5.
Методы анализа и компенсации движения
в динамических изображениях.......... 486
8.5.1.
Принципы упрощенных методов анализа движения ............ 488
- Метод полного перебора ...............488
- Логарифмический, комбинарованный по двум направлениям,
трехшаговый, иерархический методы .............489
8.5.2.
Методы, основанные на использовании стандартных
преобразований ................... 490
- Методы, основанные на оптическом уравнении ..................490
- Использование временной и пространственной корреляции
для поиска векторов движения .........492
- Использование временной и пространственной корреляции
векторов с оптимизацией возмущения битового потока ..........493
8.5.3.
Методы, использующие преобразование Фурье.................... 494
- Методы полного перебора с преобразованием Фурье и
фазовой корреляции...........494
- Методы фазовой корреляции .......495
8.5.4.
Оптимизация поиска векторов движения по стандарту
MPEG-4 (метод быстрого поиска MVFAST) .......... 497
8.5.5.
Повышение эффективности анализа движения по опорным точкам ..... 500
8.5.6.
Дополнительные возможности компенсации движения
деталей в динамических изображениях ........... 508
- Основные уравнения ..........510
- Результаты экспериментов ...........513
8.5.7.
Анализ векторов движения и межкадровое предсказание
по стандарту H.264/AVC ................ 515
- Межкадровое предсказание в P-слайсах ........515
- Межкадровое предсказание в B-слайсах ........518
- Предсказания векторов движения ..................519
8.5.8.
Анализ векторов движения и межкадровое предсказание
по стандарту H.265/HEVC ............. 519
- Векторы движения .............519
- Компенсация движения ................521
8.6.
Анализ смены сюжета в динамических изображениях ......... 523
8.7.
Визуализация параметров кодирования видеоинформации
в соответствии со стандартами H.264/AVC и H.265/HEVC ....... 528
8.7.1.
Режимы оценки внутрикадрового предсказания ................... 528
8.7.2.
Режимы оценки межкадрового предсказания ........ 531
8.7.3.
Режим оценки деблокирующей фильтрации .......... 531
ГЛАВА 9
CТАНДАРТЫ КОДИРОВАНИЯ СТАТИЧЕСКИХ И
ДИНАМИЧЕСКИХ ИЗОБРАЖЕНИЙ .......533
9.1.
Cтандарты кодирования статических изображений .............. 534
9.1.1.
Стандарт JPEG и его модификация ................. 536
9.1.2.
Стандарт JPEG-2000 ........... 539
9.2.
Стандарты кодирования динамических изображений .......... 546
9.2.1.
Стандарт H.261 .................... 549
9.2.2.
Стандарт ITU-T H.263 ........ 550
9.2.3.
Стандарт MPEG-1.......551
9.2.4.
Стандарт MPEG-2.......551
- Общие положения стандарта MPEG-2 ...........552
- Масштабируемость в MPEG-2 .........554
- Транспортный и программный потоки MPEG-2 ..................555
- Структура и параметры кодирования программного потока ..................557
- Структура и параметры кодирования транспортного потока .................557
- Частота системных часов ..............557
- Видеопоток стандарта MPEG-2 .......557
- Структура битового потока видеопоследовательности
стандарта MPEG-2 .............560
- Уровень макроблоков .........565
9.2.5.
Стандарт MPEG-4.......566
- Кодированное представление медийных объектов...............566
- Аудиообъекты .....................569
- Видеообъекты .....................571
9.2.6.
H.264/ AVC MPEG-4 Part 10. Продвинутое видеокодирование.......579
Профили и уровни стандарта H.264/AVC .......581
- Эффективность сжатия динамических изображений
в стандарте H.264/AVC .......582
- Уровень сетевой абстракции .........586
- Уровень видеокодирования ..........588
- Внутрикадровое предсказание .........592
- Межкадровое предсказание ..........592
- Преобразование, масштабирование и квантование .............594
- Квантование ........596
- Обратное квантование .......599
- Деблокирующая фильтрация ........601
- Энтропийное кодирование ...........601
- Использование кодов переменной длины ..............602
9.2.7
H.265/ HEVC MPEG H. Часть 2.
Высокоэффективое видеокодирование ........... 605
- Алгоритм кодирования стандарта HEVC ........608
- Пакет кодового дерева (Coding Tree Unit, CTU) и блок
кодового дерева (Coding Tree Block, CTB) ..............613
- Кодовый пакет (Coding Unit, CU) и кодовый блок
(Coding Block, CB) ..............613
- Пакет предсказания (Prediction Unit, PU) и блок предсказания
(Prediction Block, PB) ..........614
- Пакет преобразования (Transform Unit, TU) и блок
преобразования (Transform Block, TB) ............614
- Внутрикадровое предсказание .........614
- Векторы движения .............615
- Компенсация движения ................615
- Управление квантованием ............615
- Арифметическое кодирование .........615
- Деблокинговая фильтрация (Deblocking Filtering, DF) .........616
- Адаптивный сдвиг значений отсчетов (Sample Adaptive Offset, SAO) .....616
9.3.
Некоторые проблемы реализации видеокодирующих систем ................. 617
9.3.1.
Методика построения промежуточных кадров
видеопоследовательности.............. 617
9.3.2.
Методика регулировки потока при сжатии динамических
изображений ......... 620
- Вычисление количества битов, выделяемых на кадр и
на коэффициенты ДКП ................622
- Обновление R-D-модели ..............624
9.3.3.
Анализ смены сюжета ......... 627
- Распознавание движения камеры ...................628
- Распознавание смены сюжета, не связанного с движением камеры ......628
9.3.4.
Оценка быстродействия кодирования изображений ............ 631
9.4.
Возможности кодирования стереоскопических изображений
в рамках совместимости со стандартами MPEG ................... 632
9.4.1.
Общее описание стереоскопии ......... 633
9.5.
Проблемы совершенствования цифровых методов кодирования
изображений – Универсальный видео кодек H.266/VVC ......... 640
VIKTOR P. DVORKOVICH, ALEXANDER V. DVORKOVICH
THEORY, PRACTICE, AND METROLOGY
OF AUDIOVISUAL SYSTEMS
VOLUME 1
TABLE OF CONTENTS
INTRODUCTION ........ 20
PREFACE ................ 25
PREFACE or “WHAT IS THIS BOOK ABOUT?” ....... 39
CHAPTER 1.
VIDEO INFORMATION APPLICATIONS.
SYSTEMS FOR PRODUCTION AND PRESENTATION
OF DIGITAL VIDEO INFORMATION ...........51
1.1.
Image formats. Static test images and test video sequences ............53
1.1.1.
Analogue and digital raster images ..........53
1.1.2.
Color systems .......55
- RGB system ........ 56
- CMY and CMYK systems ................. 59
- HIS system.......... 60
- YUV, YIQ, YDRDB, YCRCB systems ..................... 62
- CIELAB system ..................... 63
1.1.3.
Static test images and test video sequences .............64
- Static test images .................... 64
- Test video sequencies .............. 66
1.2.
Systems for production and presentation of video information ..........68
1.2.1.
Black-and-white television .................68
1.2.2.
Color television ........70
- NTSC system .......... 71
- PAL system ......... 73
- SECAM system ....... 74
1.2.3.
Information volume reduction during transformation
of TV signal components to digital form .................76
1.2.4.
Quality indicators of television images ...................79
1.2.5.
Enhanced, high and ultrahigh definition TV, digital cinema, 3D TV,
multiview TV ........81
1.2.6.
Video telephony and videoconferencing, home video ...................82
1.3.
Digital representation of video information ............84
1.3.1.
Image representation by finite data amount ...........84
1.3.2.
Fourier transform, sampling theorem .....................88
1.3.3.
Time-changing image ..............91
1.3.4.
Quantization, pulse-code modulation ....................93
CHAPTER 2.
METROLOGICAL SUPPORT AND TEST SIGNALS
FOR ANALOGUE AND DIGITAL VIDEO INFORMATION
SYSTEMS .......96
2.1.
Metrological support and specific features of measurements
and monitoring in video information systems .........96
2.1.1.
Key tasks of metrology .............97
2.1.2.
Evaluation of signal waveform distortion ................99
2.2.
Summary of measurement and monitoring errors ........ 101
2.3.
Synthesis of test signals for analysis of analogue and digital
video information systems ................. 120
2.3.1.
System distortions of standard test signals ............ 121
2.3.2.
Criteria of test signals optimality for evaluation of analogue
and digital video information transmission channels ................... 126
2.3.3.
Synthesis of optimal test signals for evaluation of analogue
and digital video information transmission channels ................... 130
2.3.4.
Synthesis of test signals with coincided waveform and spectrum
envelope ............. 136
2.3.5.
Synthesis of test signals for echo radio signal evaluation .............. 140
2.3.6.
Test signals distortion in the systems with partial sideband suppression ........... 148
CHAPTER 3.
IMAGE AND SIGNAL ANALYSIS IN ANALOGUE
AND DIGITAL VIDEO INFORMATION SYSTEMS ............. 159
3.1.
Classification of characteristic distortions in analogue and digital
systems for image production and transmission ............ 159
3.1.1.
Analogue and analogue-digital video signals key parameters ....... 160
3.1.2.
Image distortions in digital video information systems ................ 160
- Blocking effect .......160
- Mosaic effect ..........161
- Image blurring ........161
- Edge ringing .......161
- Color blurring ........161
- Staircase effect .......162
- DCT-like distortions .............163
- False edges .........163
- Mosquito effect .....................164
- Granular noise in stationary area ..........164
- Wrong colors ..........165
Ghost effect .......166
3.1.3.
Test video sequences for distortion analysis in digital coding
of static images ....... 166
3.1.4.
Distortion analysis for MPEG-like interframe coding ................. 170
3.1.5.
Test patterns for distortion analysis in analogue-digital
transmission channels ............ 171
3.2.
Test signal processing algorithms for evaluation of video
information system parameters ......... 179
3.2.1.
Sampled and continuous optimal filtering of constant levels of video pulses ... 179
- Conditions of interferer optimal linear filtering ...........179
- Dependences of interferer dispersion optimal decrease
on signal processing interval duration ..................185
- Design of special signals for level evaluation accuracy enhancement ..............187
3.2.2.
Digital processing of quick-changing processes ............ 189
- Active methods for extremum search ...................190
- Extremum search with the use of stochastic approximation ........193
- Extremum search using digital filtering methods .........196
- Search of signal transitions over given potential level...................201
3.2.3.
Algorithms for processing test signals and measurement results ....... 203
- Measurement peculiarities of sinusoidal oscillation amplitudes .....................206
- Pulse response analysis specifics .......208
3.2.4.
Interference feature evaluation algorithms ........... 209
- Methods for simultaneous analysis of fluctuation and sinusoidal
interferences ..........213
- Evaluation peculiarities of sinusoidal interference frequencies
using sample series ................215
3.2.5.
Digital methods for evaluating fluctuation noise in dynamic image signals ..... 218
- Discrete transform of live video signal .................221
- Linear filtering of fluctuation noise in live video ..........223
- Fluctuation noise analysis performance enhancement
using nonlinear methods of digital processing ..............225
CHAPTER 4.
STATISTICAL AND VISUAL REDUNDANCY OF IMAGES ..................... 229
4.1.
Statistical redundancy of sampled data ................. 230
4.1.1.
Information theorem ............. 230
4.1.2.
Statistical coding types ........... 231
- Integer value presentation methods .....................233
- Shannon-Fano algorithm .................236
- Huffman algorithm ...............237
- Block and conditional coding ...........240
- Arithmetic coding .................242
- Vocabulary coding methods for serial sampled information ........244
- Statistical methods for modelling serial sampled information .........246
- Context methods of entropy coding .....................250
- Associative coding by Buyanovsky.................... 255
Burrows-Wheeler Transform ........ 259
4.1.3.
Transform coding ................... 259
- Predictive coding ...................259
- Discrete transform coding ................261
4.1.4.
Statistics of halftone and color images .................. 265
- Statistics of monochrome images without transform ...................265
- Statistics of monochrome images with transform .........268
- Statistics of color images .......269
4.1.5.
Coding with reduction of transmitted information volume .......... 270
4.1.6.
Classic communication system structure .............. 271
4.2.
Visual redundancy of images ............. 271
4.2.1.
Visibility of image luminance spatial changes ....... 273
4.2.2.
Visibility of image luminance temporal changes ........... 278
4.2.3.
Noise influence ....... 278
4.2.4.
Specific features of color perception .................... 280
4.2.5.
Subjective methods for image quality evaluation .......... 283
4.2.6.
Computer formats for image storage .................... 285
CHAPTER 5.
METHODS FOR IMAGE COMPRESSION.......... 291
5.1.
Direct and predictive image coding ....... 293
5.1.1.
Pulse-code modulation .......... 293
5.1.2.
Predictive image coding, differential pulse-code modulation .......... 295
5.1.3.
Main types of prediction ........ 300
- Intraframe prediction ............300
- Interframe prediction ............302
5.1.4.
Signal quantization, prediction errors .................. 304
5.1.5.
Predictive coding interference tolerance .............. 308
5.2.
Group coding of images ......... 309
5.2.1.
Discrete linear orthogonal transforms .................. 310
- Discrete Fourier transform (DFT) .......311
- Haar transform .......315
- Hadamard transform .............316
- Discrete sine transform (DST) .........317
- Discrete cosine transform (DCT) .........318
- Karhunen-Loe' ve transform (KLT) .......321
- Other transform types ............323
5.2.2.
Transform coefficient quantization ....... 324
5.2.3.
Transform coefficient coding ............ 327
5.2.4.
Interframe or 3D coding ........ 328
5.3.
Other methods for image coding ....... 329
5.3.1.
Hybrid transform coding ........ 329
5.3.2.
Other methods of block and interpolative coding ......... 330
- Linde-Buzo-Gray algorithm ............332
- Equitz algorithm ...................333
5.4.
Fractal image coding ............. 338
CHAPTER 6.
WAVELETS AND MULTISCALE IMAGE PROCESSING ......... 345
6.1.
Continuous wavelet transform........... 346
6.2.
Discrete wavelet transform ................ 349
6.3.
Multiscale wavelet analysis ................ 351
6.4.
Basic information about subband coding .............. 354
6.4.1.
Dual-channel system for subband discrete signal transform......... 354
- Orthogonal FIR-filters with odd number of taps and linear phase response ...358
- Orthogonal FIR-filters with even number of taps .........361
- Quadrature-mirror FIR-filters .........366
6.4.2.
Tree-channel system for subband discrete signal transform.......... 368
6.4.3.
Four-channel system for subband discrete signal transform ......... 374
6.4.4.
Five-channel system for subband discrete signal transform .......... 379
6.4.5.
Multiscale discrete wavelet image transform ......... 384
6.5.
Image processing with the use of multiscale discrete wavelet transform .......... 387
6.5.1.
Fundamentals ......... 387
6.5.2.
Dependency between image subband energy characteristics
and wavelet decomposition basis ....... 389
6.5.3.
Choice of quantization mask for wavelet transform components
of image .............. 392
6.5.4.
Processing test images using dual-channel wavelet filters ............. 397
6.5.5.
Processing test images using complexes of wavelet filters ............. 399
CHAPTER 7.
HARMONIC SIGNAL ANALYSIS USING WINDOW FUNCTIONS ......... 405
7.1.
Structure of window functions and their key parameters ............. 406
7.1.1.
Fundamentals ......... 406
7.1.2.
Key parameters of window functions ................... 410
- Equivalent noise bandwidth..............410
- Processing gain .....................411
- Overlap correlation ...............412
- Scalloping loss ........414
- Maximum processing loss ................414
- Spectral leakage ....................415
- Minimum resolution bandwidth .......415
- Relative difference of noise bandwidth and –3 dB level bandwidth ................416
- Maximum sidelobe level ........416
- Sidelobe falloff .......416
- Choice of window function for digital signal processing ..............416
7.2.
Classic window functions ....... 417
7.2.1.
Rectangle and triangle window functions ............. 417
- Rectangle (Dirichlet) window ..........417
- Triangle (Fejer, Bartlett) window ..........418
7.2.2.
Hanning window functions cos(x) ....... 419
- Cosine lobe ........420
- Squared cosine Hanning window .........420
- Cube cosine window .............421
- Cos4 window .........421
7.2.3.
Hamming, Blackman, Blackman-Harris window functions ........ 421
- Hamming window (modified Hanning window) .........421
- Blackman window .................422
- Blackman-Harris windows ...............423
7.2.4.
Nuttall, Blackman-Nuttall, Bartlett-Hann, flat-top window functions .......... 424
- Nuttall and Blackman-Nuttall windows ..............424
- Hybrid Bartlett-Hann window .........424
- Flat-top window ...................425
7.3.
Dolph-Chebyshev, Barcilon-Temes window functions and
its modifications .................... 426
7.3.1.
Dolph-Chebyshev, Barcilon-Temes windows ....... 426
7.3.2.
Modification of Dolph-Chebyshev, Barcilon-Temes windows ......... 432
7.4.
Synthesis of high efficiency window functions using minimization
of spectral components outside of given span ....... 438
7.4.1.
Spectrum sidelobe power minimization for windows with cosine
components ........ 438
7.4.2.
Spectrum parameters calculation results for windows with odd cosine
components ........ 439
7.4.3.
Spectrum parameters calculation results for windows with even cosine
components ........ 444
7.5.
Synthesis of high efficiency window functions using minimization
of difference between its waveform and spectrum ......... 446
7.6.
Algorithms for window spectrum sidelobe falloff maximization ....... 451
CHAPTER 8.
INTRAFRAME AND INTERFRAME IMAGE PROCESSING .................. 457
8.1.
Block quantization coefficient changing for JPEG-like video
compression algorithms ......... 459
8.2.
Directed spatial intraframe prediction in H.264/AVC standard ....... 463
8.2.1.
Luminance pixel prediction mode for 16x16 blocks..................... 463
8.2.2.
Luminance pixel prediction mode for 8x8 blocks ......... 465
8.2.3.
Luminance pixel prediction mode for 4x4 blocks ......... 471
8.2.4.
Chrominance pixel prediction mode .................... 475
8.3.
Directed spatial intraframe prediction in H.265/HEVC standard ................... 478
8.4.
Intraframe image processing for blocking effect reduction........... 480
8.4.1.
Border filtering for bS < 4 ....... 483
8.4.2.
Border filtering for bS = 4 ....... 484
8.5.
Motion estimation and motion prediction for dynamic images ....... 486
8.5.1.
Simplified motion estimation principles.......488
- Full search method ...............488
- Logarithmic, combined two-directional, three-step, hierarchical
methods .............489
8.5.2.
Methods based on standard transforms usage ....... 490
Optical flow based methods ..............490
- Temporal and spatial correlation usage for motion vector search....................492
- Usage of temporal and spatial correlation of vectors
with optimization of bitstream disturbance ..........493
8.5.3.
Methods based on Fourier transform ................... 494
- Full search method with Fourier transform and phase correlation usage ........494
- Phase correlation method .................495
8.5.4.
Optimization of motion vector search in MPEG-4 standard
(MVFAST fast search method) ......... 497
8.5.5.
Improving motion estimation performance using reference points ................. 500
8.5.6.
Additional possibilities for motion compensation of details
in dynamic images ................. 508
- Main equations .....................510
- Experimental results ..............513
8.5.7.
Motion vector estimation and interframe prediction in H.264/AVC
standard .............. 515
- Interframe prediction in P-slices ..........515
- Interframe prediction in B-slices ..........518
- Motion vector prediction .............. 519
8.5.8.
Motion vector estimation and interframe prediction
in H.265/HEVC standard ................. 519
- Motion vectors ........519
- Motion compensation ............521
8.6.
Scene change analysis in dynamic images ............ 523
8.7.
Visualization of video information coding parameters
according to H.264/AVC and H.265/HEVC standards ................ 528
8.7.1.
Intraframe prediction modes ............ 528
8.7.2.
Interframe prediction modes............. 531
8.7.3.
Deblocking filtering mode ................ 531
CHAPTER 9.
STANDARDS FOR STATIC AND DYNAMIC IMAGES CODING .............533
9.1.
Standards for static images coding......... 534
9.1.1.
JPEG standard and its modification ..................... 536
9.1.2.
JPEG-2000 standard ............. 539
9.2.
Standards for dynamic images coding .................. 546
9.2.1.
H.261 standard ....... 549
9.2.2.
H.263 standard ....... 550
9.2.3.
MPEG-1 standard ................. 551
9.2.4.
MPEG-2 standard ................. 551
- MPEG-2 fundamentals .........552
- Scalability in MPEG-2..........554
- MPEG-2 transport and program streams ............555
- MPEG-2 videostream ...........557
- Bitstream structure for videosequence in MPEG-2 standard ..........557
- Program stream structure and coding parameters ........560
Transport stream structure and coding parameters .......565
9.2.5.
MPEG-4 standard ................. 566
- Coded representation of media objects ................566
- Audio objects .........569
- Video objects ..........571
9.2.6.
H.264/MPEG-4 Part 10 AVC – advanced video coding ............. 579
- H.264/AVC profiles and levels ..........581
- Live video compression performance in H.264/AVC standard ........582
- Network abstraction level .................586
- Video coding level .................588
- Transform, scaling and quantizing ........592
- Deblocking filtering ..............588
- Entropy coding .....................601
9.2.7.
H.265/MPEG-H Part 2 HEVC – high efficiency video coding ....... 605
- HEVC standard coding algorithm ........608
- New concepts in HEVC standard .........613
- Coding tree unit and coding tree block ................613
- Coding unit and coding block ...........614
- Prediction unit and prediction block ...................614
- Transform unit and transform block ....................614
- Intraframe prediction ............614
- Motion vectors and motion compensation ..........615
- Quantization control .............615
- Arithmetic coding .................615
- Deblocking filtering ..............615
- Sample adaptive offset ...........616
- Special coding modes ............616
9.3.
Some problems of implementation of video coding systems ........ 617
9.3.1.
Method for intermediate frame construction in video sequence ..................... 617
9.3.2.
Bitrate control method for dynamic images compression ............ 620
- Calculation of bits’ amount allocated for the frame and
DCT coefficients ..................622
- Rate-distortion model update...........624
9.3.3.
Scene change analysis aspects ........... 627
- Camera motion detection.................628
- Detection of scene change not associated with camera motion .......628
9.3.4.
Coding performance evaluation ........ 631
9.4.
Possibilities for coding stereoscopic images in MPEG-compatible
mode .................. 632
9.4.1.
Stereoscopy general description ........ 633
9.5.
Problems of advancing methods for image coding H.266/VVC ....... 640