Обработка изображений в системах искусственного интеллекта (курс лекций, А.Н.Гнеушев)/Вопросы 1 семестр

Материал из MachineLearning.

Перечень контрольных вопросов для сдачи экзамена в 7-ом семестре студентов 4 курса
специализации «Проектирование и организация систем» кафедры «Интеллектуальные системы» ФУПМ МФТИ

1. Математическая модель интеллектуальной системы обработки изображения в системах ИИ, декомпозиция на основные функциональные подсистемы, путь сигнала, параметры подсистем. Примеры реализации модулей интеллектуальной системы для классификации объектов на изображении на основе выделения признаков и их нейросетевого классификатора. Понятие формального нейрона, пример обучаемой интеллектуальной системы для анализа изображения на основе сверточной нейронной сети, описание ее базовой функциональности.
2. Первичная обработка изображения в сетчатке и зрительной коре головного мозга, структура глаза, спектральная чувствительность колбочек и палочек, их пространственная организация и функции. Выделение признаков в яркостном поле зрительной системой: в сетчатке и в первичной зрительной коре, математические модели рецептивных полей обрабатывающих нейронов в сетчатке и в первичной зрительной коре, их биологические основы. Основания механизма внимания для анализа первичной зрительной информации, зрительные иллюзии.
3. Регистрация видеоизображений. Математическая модель и устройство цифровой видеокамеры. Путь и изменение яркостного сигнала в тракте видеокамеры. Основные операции, производимые цифровой видеокамерой для получения цифрового изображения. Математическая модель регистрации яркостного сигнала в сенсоре камеры, влияние диафрагмы и выдержки. Типы и устройство видео сенсоров, получение цветных изображений, мозаика Байера.
4. Квантование аналогового видео сигнала сенсора в цифровой видеокамере, получение цифрового изображения. Математическая модель квантования значений непрерывной функции яркости, оптимальное квантование, квантователь Ллойда-Макса, равномерное и неравномерное квантование.
5. Дискретизация аналогового сигнала сенсора в видеокамере, получение цифрового изображения. Математическая модель дискретизации двумерного непрерывного поля яркости, спектр дискретного изображения, условия восстановления непрерывного изображения (теорема Котельникова).
6. Модели представления изображений. Функциональное, матричное, статистическое описание изображений, статистические модели изображения, стационарная марковская модель. Представление цветных изображений, основания трех-цветовой модели, основные цветовые модели (RGB,HSI,HSV,YUV).
7. Гистограмма яркости изображения. Статистические характеристики гистограмм, примеры гистограмм различных типов изображений, моды гистограмм. Изменение гистограммы при поэлементном преобразовании изображения. Адаптивная бинаризация изображения с использованием гистограммы.
8. Линейные операции с гистограммой яркости и эффект насыщения. Адаптивные линейные преобразования яркости изображения с параметрами, вычисленными по гистограмме, нормализация яркости и контрастности.
9. Нелинейные операции с гистограммой яркости. Степенные, полиномиальные и кусочно-линейные преобразования яркости с параметрами, вычисленными по гистограмме. Адаптивная коррекция яркости и контрастности изображения.
10. Нелинейные операции с гистограммой яркости. Приведение гистограммы яркости к заданному распределению яркости, алгоритм построения такой функции преобразования с ограничениями на производную. Эквализация, эквализация бимодальной гистограммы. Коррекция искажений яркости на основе гистограммных преобразований.
11. Алгебраические преобразования изображения. Описание прозрачности областей с помощью маски. Усреднение изображений, дисперсия яркости в точках усредненного изображения с аддитивным нормальным шумом. Использование аддитивных моделей фона для контрастирования изображения, фильтрации шума, линейная регрессионная оценка фона видеоизображения.
12. Модели систем обработки изображения. Характеристические функции системы: импульсная характеристика, передаточная функция, амплитудно-фазовая частотная характеристика (АФЧХ).
13. Фильтрация. Интеграл суперпозиции линейной системы, интеграл свертки, свертка в пространственной области, ядро свертки. Интегральное преобразование Фурье, спектральная теорема о свертке и ее применение.
14. Фильтрация. Конструирование элементарных фильтров: сглаживание, взвешенное сглаживание. Их пространственные ядра и амплитудно-частотные характеристики. Работа фильтров в пространственной и частотной области.
15. Фильтрация. Конструирование элементарных фильтров: фильтры на основе пространственных производных для повышения четкости изображения. Их пространственные ядра и амплитудно-частотные характеристики. Работа фильтров в пространственной и частотной области.
16. Фильтрация. Конструирование элементарных фильтров: сглаживание, взвешенное сглаживание. Их пространственные ядра и амплитудно-частотные характеристики. Работа фильтров в пространственной и частотной области.
17. Фильтрация. Конструирование элементарных фильтров: фильтры на основе пространственных производных для повышения четкости изображения. Их пространственные ядра и амплитудно-частотные характеристики. Работа фильтров в пространственной и частотной области.
18. Применение теоремы о свертке для непрерывного сигнала. Инверсная фильтрация, инверсная фильтрация с отсечением, винеровская фильтрация изображения. Фильтрация с регуляризацией по Тихонову.
19. Модели искажений изображения и реконструкция изображения. Модели размытости вследствие движения камеры, турбулентности атмосферы. Прямое измерение функции рассеяния точки (ФРТ).
20. Реконструкция изображения. Конструирование фильтра в частотной области.
21. Дискретное преобразование Фурье (ДПФ), его основные свойства. Понятие дискретной свертки. Доказательство Теоремы о свертке в дискретном случае, условия периодического дополнения изображения. Линейная и циклическая свертка. Быстрое преобразование Фурье (БПФ), схема реализации.
22. Уравнение Винера-Хопфа. Винеровский фильтр, вывод решения для дискретного случая. Решения для линейной модели искажения, модели искажения с аддитивным шумом, соотношение сигнал/шум.
23. Дискретное преобразование Фурье (ДПФ) со сдвигом начала координат в центр изображения. Дискретная низкочастотная фильтрация: идеальный низкочастотный фильтр, НЧ фильтр Баттерворта, гауссов НЧ фильтр, усреднение. Дискретная высокочастотная фильтрация: идеальный низкочастотный фильтр, ВЧ фильтр Баттерворта, гауссов ВЧ фильтр. Лапласиан и повышение резкости. Режекторная, полосовая и узкополосная фильтрация. Адаптивная фильтрация шума на основе оценивания его параметров.
24. Алгебраический подход к обработке изображений. Матричное представление ДПФ, операции свертки, Теплицева матрица. Матричное представление задачи реставрации изображения. Обобщенно-обратная матрица, вывод решения для случая переопределенной и недоопределенной системы, сингулярное разложение для случая неполного ранга.
25. Алгебраический подход к реставрации изображений. Регрессионная оценка для модели с аддитивным шумом, винеровской оценки в матричном виде, регуляризация обобщенно обратной матрицы с сглаживанием по Тихонову.
26. Нелинейная фильтрация. Фильтры порядковых статистик. Влияние размера окна фильтрации. Понятие адаптивной фильтрации, адаптивный линейный и медианный фильтры.
27. Оконная фильтрация. Локальная нормализация, эквализация. Билатеральный фильтр.
28. Морфологические операции на дискретных изображениях, частные случаи бинарного и полутонового изображений. Понятие смежности и связности. Дилатация и эрозия, их двойственность. Операции Открытия и Замыкания, их двойственность. Морфологическая фильтрация, сглаживающий фильтр, морфологический градиент.
29. Билинейная и кусочно билинейная интерполяции при преобразовании системы координат. Аффинное преобразование в однородных координатах, оценка параметров. Полиномиальное преобразование второго порядка, нахождение параметров преобразования. Интерполяция яркости по ближайшему соседу, билинейная интерполяция.
30. Интерполяция яркости в преобразованной системе координат. Интерполяция яркости по ближайшему соседу, билинейная интерполяция. Интерполяция яркости на основе линейной свертки. Сверточные ядра полиномов Котельникова, Ланцоша. Условия идеальной интерполяции на основе спектральной модели и теоремы Котельникова. Сверточные ядра на основе В-cплайнов. Прямоугольное и треугольной ядро, их эквивалентность интерполяции по ближайшему соседу и билинейной интерполяции соответственно. Кубический B-сплайн и гауссовские ядра, их спектры.

См. также

• Обработка изображений в системах искусственного интеллекта (курс лекций, А.Н.Гнеушев)
• Специализация «Проектирование и организация систем» кафедры «Интеллектуальные системы» ФУПМ МФТИ
• Кафедра «Интеллектуальные системы» ФУПМ МФТИ