 |
Основы цифровой обработки сигналов,
интегральные преобразования в обработке изображений
Математический спецкурс для студентов 2 и 3 курсов, а также магистров и студентов ВВО.
|
Лекторы: А. С. Лукин, А. С. Крылов.
Осенний семестр 2014. Лекции проходят по понедельникам в 16:20, ауд. 612. Первая лекция — 13 октября.
Формат курса: лекции + практическое задание + экзамен.
Экзамен: 22 декабря, 16:20, ауд. 759.
Билеты экзамена
| 1 |
Звуковые сигналы и их восприятие. Цифровые и аналоговые сигналы. Дискретизация. Теорема Котельникова. Наложение спектров (алиасинг). Фильтрация. Линейные системы. Свертка. Простейшие двумерные фильтры для изображений. |
| 2 |
Дискретное преобразование Фурье. Его базисные функции. Размытие спектра, весовые окна. Быстрое преобразование Фурье. Быстрая свертка в частотной области. Секционная свертка. |
| 3 |
Фильтрация. Быстрая свертка в частотной области. Секционная свертка. Свойства фильтров: АЧХ, ФЧХ, конечность импульсного отклика. Проектирование фильтров. Частотные характеристики простых двумерных фильтров. |
| 4 |
Спектральный анализ. Мощность сигнала, теорема Парсеваля. Спектрограммы, усреднение во времени. Кратковременное преобразование Фурье (STFT). Размытие спектра, весовые окна. Частотно-временное разрешение. |
| 5 |
Непрерывное вейвлет-преобразование. Дискретное вейвлет-преобразование. Пирамидальное представление изображений. Банки фильтров: понятие и примеры. Свойства STFT и MDCT. Применение банков фильтров в алгоритме спектрального вычитания. |
| 6 |
Применения вейвлетов и банков фильтров. Психоакустическая компрессия звука. Звуковые сигналы и их восприятие. Слуховая маскировка. Устройство алгоритма mp3. Эффект пред-эха.
|
| 7 |
Применения вейвлетов и банков фильтров. Подавление стационарных шумов. STFT как банк фильтров. Частотно-временное разрешение. Метод спектрального вычитания. Проблема «музыкального шума».
|
| 8 |
Виды шумов в изображениях. Медианная фильтрация. Билатеральный фильтр. Алгоритм нелокального усреднения. Подавление вейвлет-коэффициентов. Метод главных компонент и шумоподавление на его основе. |
| 9 |
Корреляция и автокорреляция, их вычисление. Линейное предсказание сигнала и его применения. Нахождение оптимальных коэффициентов линейного предсказания. Метод интерполяции LSAR. |
| 10 |
Психоакустика. Восприятие звука ухом. Слуховые пороги, область слышимости. Одновременная и временная маскировка. Спектр гармонических сигналов, форманты. |
| 11 |
Квантование. Свойства шума квантования. Дитеринг. Формирование спектра шума квантования (noise shaping). Слышимость шума квантования. Диффузия ошибки при квантовании изображений. |
| 12 |
Теорема о преобразовании Фурье свертки. Доказательство. Иллюстрация применения. |
| 13 |
Модель размытия изображений. Применение теоремы о свертке для восстановления размытых изображений. Фурье-дескрипторы в задаче оценки качества изображений глаз. |
| 14 |
Восстановление размытых изображений. Неустойчивость этой операции. Регуляризирующий алгоритм восстановления размытых изображений. |
| 15 |
Линейные методы увеличения изображений. Ядра свертки при увеличении. Артефакты увеличения. Спектр света и его восприятие. Аддитивные и субтрактивные цветовые системы. Цветовые системы, равномерные к восприятию. |
| 16 |
Нелинейные методы увеличения изображений: интерполяция вдоль границ, NEDI. Метрики близости изображений: PSNR, MSE. Функция чувствительности к контрасту. Понятие о визуальной маскировке. |
| 17 |
Алгоритмы изменения длительности и высоты звучания. Передискретизация (resampling). Гранулярный метод. Вокодерный метод. Понятие о сдвиге формант. Нахождение основного тона сигнала с помощью автокорреляции. |
Лекции
| Дата |
Тема |
Загрузить |
| 13 окт. |
Дискретизация. Свёртка. ДПФ.
Звуковые сигналы и их восприятие. Цифровые и аналоговые сигналы. Дискретизация. Теорема Котельникова. Наложение спектров (алиасинг). Фильтрация. Линейные системы. Свёртка. Простейшие двумерные фильтры для изображений. Дискретное преобразование Фурье. Понятие о спектральном анализе. |
Слайды 
Аудиозапись  |
| 20 окт. |
Теорема о преобразовании Фурье свёртки.
Доказательство. Иллюстрация применения.
Восстановление размытых изображений.
Модель размытия изображений. Применение теоремы о свёртке для восстановления размытых изображений. Неустойчивость этой операции. Регуляризирующий алгоритм восстановления размытых изображений.
Фурье-дескрипторы в задаче оценки качества изображений глаз. |
Слайды
Слайды
Слайды |
| 27 окт. |
Спектральный анализ. Быстрая свёртка. Фильтрация.
Мощность сигнала, теорема Парсеваля. Размытие спектра, весовые окна. Оконное преобразование Фурье (STFT). Спектрограммы, усреднение спектра по времени. Частотно-временное разрешение. Быстрая свёртка в частотной области. Секционная свёртка. Свойства фильтров. Проектирование фильтров. Частотные характеристики простых двумерных фильтров. Применения свёртки: звуковой эквалайзер, моделирование реверберации. |
Слайды
Аудиозапись |
| 10 ноя. |
Вейвлеты и банки фильтров.
Непрерывное вейвлет-преобразование. Дискретное вейвлет-преобразование. Квадратурные зеркальные фильтры. Пирамидальное представление данных. Банки фильтров, основанные на ДПФ: STFT, MDCT. |
Слайды
Аудиозапись
(+конец 3 лекции) |
| 17 ноя. |
Применения банков фильтров.
Психоакустическая компрессия звука. Слуховая маскировка. Устройство алгоритма mp3. Подавление стационарных шумов. Метод спектрального вычитания. STFT как банк фильтров, полосовые гейты. Проблема «музыкального шума» и методы борьбы с ним. Расширение полосы частот в аудиосигнале. |
Слайды
Аудиозапись
(+конец 4 лекции) |
| 24 ноя. |
Основы визуального восприятия.
Спектр света и его восприятие. Аддитивные и субтрактивные цветовые системы. Закон Вебера, гамма-коррекция. Цветовые системы, равномерные к восприятию. Метрики близости изображений: PSNR, MSE. Функция чувствительности к контрасту. Понятие о визуальной маскировке. Кортекс-преобразование и его использование в метриках близости изображений.
Шумоподавление для изображений.
Виды шумов и терминология. Подавление импульсных шумов. Медианная фильтрация. Подавление стационарных шумов. Билатеральный фильтр. Алгоритм нелокального усреднения (non-local means) и его оптимизация. Подавление вейвлет-коэффициентов. Метод главных компонент (PCA) и шумоподавление на его основе. |
Слайды
Аудиозапись
Слайды
Аудиозапись |
| 1 дек. |
Линейное предсказание. Интерполяция аудиосигнала.
Корреляция и автокорреляция. Авторегрессионная модель сигнала. Нахождение оптимальных коэффициентов регрессии. Применения LPC в сжатии и интерполяции сигналов. Метод интерполяции LSAR. Подавление искажений клиппирования и щелчков в аудиосигнале.
Консультация по практическому заданию. |
Слайды
Аудиозапись
Аудиозапись |
| 8 дек. |
Квантование, дитеринг.
Шум квантования. Дитеринг. Формирование спектра шума квантования (noise shaping). Восприятие шумов квантования.
Изменение длительности и высоты звучания.
Передискретизация и эффект замедленной плёнки. Алгоритмы временной области: гранулярный подход, автокорреляция. Алгоритмы частотной области: фазовый вокодер, проблема фазовой когерентности.
Основы психоакустики.
Основной тон гармонических звуков. Музыкальный звукоряд. Разрешающая способность слуха по частоте. Маскировка. Речеобразование, форманты.
Коррекция формант при сдвиге высоты тона.
Форманты и тембр голоса. Сдвиг формант при передискретизации. Определение основного тона. Коррекция формант с помощью банка фильтров. |
Слайды
Аудиозапись
Слайды
Аудиозапись
Слайды
Аудиозапись
Слайды
Аудиозапись |
| 15 дек. |
Линейные и нелинейные методы увеличения изображений.
Ядра свёртки при линейном увеличении. Артефакты увеличения. Нелинейные методы: интерполяция вдоль границ, метод NEDI, метод регуляризации обратной задачи.
Консультация перед экзаменом. |
Слайды |
Практическое задание
Предлагается реализовать «Шумоподавление для звука».
Срок сдачи задания — 17 декабря. Задание (исходные коды и exe) нужно отправить архивом на адрес 
с темой письма «Задание по спецкурсу». Не забудьте вложить в архив readme-файл с указанием вашей фамилии и списка выполненных пунктов. Если письмо не отправляется из-за наличия exe в архиве, сделайте архив с паролем либо воспользуйтесь файлообменным сервисом.
Баллы за практическое задание
| Фамилия |
Ш/п |
Спек. |
Авт. |
М/ш |
Доп. |
Штраф |
Sum |
Комментарий |
| Кондратьев |
7 |
2 |
1 |
0 |
- |
0 |
10 |
k=0.001 уже вносит искаж-я, a=0.1 сильно меняет уровень |
| Лузин |
9 |
3 |
3 |
2 |
4 |
–3 |
18 |
|
| Мельникова |
9 |
- |
- |
- |
- |
–2 |
7 |
|
| Сорокина |
9 |
- |
- |
- |
- |
–2 |
7 |
|
| Чеснаков |
9 |
2 |
1 |
2 |
- |
–2 |
12 |
-auto находит оч. короткий интервал, спектр неустойчив |
Если вы присылали работу, а её нет в списке — срочно отошлите её ещё раз на и укажите в письме дату первоначальной отправки. Также приносите работу на экзамен.
Материалы
| Описание |
Загрузка |
Рекоменд. |
Методичка по DSP
Пособие для студентов. |
PDF |
***** |
The Scientist and Engineer's Guide to Digital Signal Processing
Книжка по DSP на английском, очень понятное изложение. |
Сайт с PDF |
***** |
Основы психоакустики
Цикл статей И. Алдошиной в журнале «Звукорежиссер».
Искать в архиве, начиная с номера 6 за 1999 год. |
Архив за 1999 год |
**** |
Спектроанализатор — что мы на нем видим?
Статья о звуковых спектроанализаторах и весовых окнах. |
Сайт |
**** |
Дитеринг. Нойз-шейпинг. Теория.
Статья о методах понижения разрядности (квантования). |
Сайт |
*** |
A Review of Algorithms for Perceptual Coding of Digital Audio Signals
Статья о психоакустической компрессии звука. |
PDF |
*** |
Коллекция книг по DSP
Много книг — в отсканированном виде. |
Сайт |
*** |
Архив лекций
Лекции 2013 года
Лекции 2012 года 
Лекции 2011 года
