Image resampling and superresolution

Superresolution example

Andrey Nasonov, Alexey Lukin, Andrey Krylov

Single-frame image resampling

  • Reconstruction of a high-resolution image as a solution of ill-posed inverse problem to the reconstruction of a low-resolution image from high-resolution one. Regularization methods are used to solve this problem.
  • Low-complexity image interpolation algorithms for realtime video conversion. Fast edge-directional resizing algorithms image and video are developed.
Deringing algorithm is applied after image resampling as a post-processing tool.

Multi-frame super-resolution

Using several low-resolution images can provide better quality of a high-resolution image. The process of reconstructing a single high-resolution image from several low-resolution observations is called as superresolution.

We perform research in three directions:

  • High-quality superresolution based on regularization methods.
  • Non-iterative superresolution. A method of weighted median averaging is used to combine pixel values of given low-resolution images.
  • Superresolution for video sequences. Two images are used here for high-resolution frame construction: current low-resolution frame and previous high-resolution frame.

Publications

2017

A. Nasonov, K. Chesnakov, A. Krylov. “CNN based retinal image upscaling using zero component analysis” // In: International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences - ISPRS Archives, Vol. 24, 2W4. 2017, pp. 27−31. PDF.

2016

A. Nasonov, A. Krylov, X. Petrova, M. Rychagov. “Edge-directional interpolation algorithm using structure tensor” // In: 28th annual International Symposium on Electronic Imaging. 2016. PDF.

A. Nasonov, K. Chesnakov, A. Krylov. “Convolutional neural networks based image resampling with noisy training set” // In: International Conference on Signal Processing (ICSP2016). Chengdu, China, 2016, pp. 62−66. PDF.

A. V. Nasonov, A. S. Krylov, K. E. Chesnakov. “An image resampling method using combined directional kernels” // In: Proceedings of the 6th European Workshop on Visual Information Processing EUVIP2016. Marselle, France, 2016, pp. 1−5. PDF.

2014

А. А. Насонова. «Деформационный метод повышения разрешения изображений с сохранением резкости границ» // в: Труды 16-й международной конференции «Цифровая обработка сигналов и её применение» (DSPA'2014), т. 2. Москва, 2014, с. 452−455. PDF.

А. С. Крылов, А. В. Насонов. Регуляризирующие методы интерполяции изображений. АРГАМАК-МЕДИА, Москва, 2014, 100 с.

А. С. Крылов, А. В. Насонов. Регуляризирующие методы интерполяции изображений. АРГАМАК-МЕДИА, Москва, 2014, 100 с.

2011

A. S. Krylov, A. V. Nasonov. “Edge-directed Image Interpolation Using Color Gradient Information” // 16th International Conference on Image Analysis and Processing (ICIAP'2011), Lecture Notes in Computer Science, Vol. 6979, part 2, 2011, pp. 40−49. PDF.

А. С. Крылов, А. В. Насонов. Компьютерное повышение разрешения изображений с использованием методов математической физики. МАКС Пресс, Москва, 2011, 72 с. PDF.

A. S. Lukin. “Image interpolation with automatic hinting based on gradient sparsity” // In: Proceedings of 13-th International Conference “Digital Signal Processing and its Applications” (DSPA'2011), Vol. 2. Moscow, Russia, 2011, p. 147. PDF.

А. С. Лукин. «Интерполяция изображений с автоматическим хинтованием на основе разреженного градиента» // в: Труды 13-й международной конференции «Цифровая обработка сигналов и её применение» (DSPA'2011), т. 2. Москва, 2011, с. 144−147. PDF.

2010

A. V. Nasonov, A. S. Krylov. “Fast super-resolution using weighted median filtering” // In: Proceedings of International Conference on Pattern Recognition (ICPR'2010). Istanbul, Turkey, 2010, pp. 2230−2233. PDF.

A. V. Nasonov, A. S. Krylov. “Using weighted median filtering for fast image super-resolution” // In: Proceedings of 12-th International Conference and Exhibition “Digital Signal Processing and its Applications” (DSPA'2010), Vol. 2. Moscow, Russia, 2010, pp. 104−105. PDF.

А. В. Насонов, А. С. Крылов. «Быстрое суперразрешение изображений с использованием взвешенной медианной фильтрации» // в: Труды 12-й международной конференции и выставки «Цифровая обработка сигналов и её применение» (DSPA'2010), т. 2. Москва, 2010, с. 101−104. PDF.

2009

A. S. Krylov, A. V. Nasonov, A. A. Chernomorets. “Combined linear resampling method with ringing control” // In: 19-th International Conference on Computer Graphics GraphiCon'2009. Moscow, Russia, 2009, pp. 163−165. PDF.

A. S. Krylov, A. S. Lukin, A. V. Nasonov. “Edge-preserving nonlinear iterative image resampling method” // In: Proceedings of International Conference on Image Processing (ICIP'09). Cairo, Egypt, 2009, pp. 385−388. PDF.

A. S. Krylov, A. V. Nasonov, O. S. Ushmaev. “Video super-resolution with fast deconvolution” // Pattern Recognition and Image Analysis, Vol. 19, No. 3, 2009, pp. 497−500. PDF.

А. В. Насонов, А. С. Крылов, О. С. Ушмаев. «Применение метода суперразрешения для биометрических задач распознавания лиц в видеопотоке» // Системы высокой доступности, №. 1, 2009, с. 26−34. PDF.

2008

A. Krylov, A. Nasonov. “Adaptive Total Variation Deringing Method for Image Interpolation” // In: Proceedings of International Conference on Image Processing (ICIP'08). San Diego, USA, 2008, pp. 2608−2611. PDF.

A. Krylov, A. Nasonov. “Fast Super-Resolution from video data using optical flow estimation” // In: Processings of IEEE International Conference on Signal Processing (ICSP'08). Beijing, China, 2008, pp. 853−856. PDF.

А. В. Насонов. «Программное повышение разрешения и подавление эффекта Гиббса на изображениях» // в: Сборник аннотаций работ 6-й Курчатовской молодёжной научной школы. Москва, 2008, с. 153. PDF.

A. Lukin. “High-Quality Spatial Interpolation of Interlaced Video” // In: 18-th International Conference on Computer Graphics GraphiCon'2008. Moscow, Russia, 2008, pp. 114−117. PDF.

A. Lukin, J. Todd. “Parametric Interpolation of Gaps in Audio Signals” // In: 125th Audio Engineering Society Convention. San Francisco, USA, 2008, paper #7512. PDF.

A. Krylov, A. Nasonov, D. Sorokin. “Face image super-resolution from video data with non-uniform illumination” // In: 18-th International Conference on Computer Graphics GraphiCon'2008. Moscow, Russia, 2008, pp. 150−155. PDF.

A. Krylov, A. Nasonov, O. Ushmaev. “Image Super-Resolution using Fast Deconvolution” // Proceedings of 9th Conference on Pattern Recognition and Image Analysis: New Information Technologies, Vol. 1, No. 2, Nizhni Novgorod, Russia, 2008, pp. 362−364. PDF.

2007

A. Nasonov, A. Krylov, A. Lukin. “Post-Processing by Total Variation Quasi-Solution Method for Image Interpolation” // In: 17-th International Conference on Computer Graphics GraphiCon'2007. Moscow, Russia, 2007, pp. 178−181. PDF.

2006

А. Насонов, А. Крылов, А. Лукин. «Увеличение разрешения изображения с использованием метода регуляризации Тихонова (Image resampling using Tikhonov regularization method)» // в: Материалы международной конференции «Тихонов и современная математика». Москва, 2006. PDF.

A. Lukin, A. Krylov, A. Nasonov. “Image Interpolation by Super-Resolution” // In: 16th International Conference Graphicon'2006. Novosibirsk Akademgorodok, Russia, 2006, pp. 239−242. PDF.