|

|
IJE TRANSACTIONS B: Applications Vol. 31, No. 2 (February 2018) 241-249
|
Downloaded:
74 |
|
Viewed:
808 |
|
|
IMPROVING SUPER-RESOLUTION TECHNIQUES VIA EMPLOYING BLURRINESS INFORMATION OF THE IMAGE
|
|
|
S. J. Seyyedyazdi and H. Hassanpour
|
|
|
( Received:
October 05, 2017
– Accepted in Revised Form: November 30, 2017 )
|
|
|
Abstract
Super-resolution (SR) is a technique that produces a high resolution (HR) image via employing a number of low resolution
(LR) images from the same scene. One of the degradations that attenuates performance of the SR is the blurriness of the
input LR images. In many previous works in the SR, the blurriness of the LR images is assumed to be due to the integral
effect of the image sensor of the image acquisition device, while in practice, there are some other factors that blur
the LR images, such as diffraction, motion of the object and/or acquisition device, atmospheric blurring and defocus
blur. To apply the super-resolution process accurately, we need to know the degradation model applied on HR image
leading to LR ones. In this paper, we aim to use the LR images blurriness to find the blurring kernel applied on the HR
image. Hence we setup a simulation experiment in which the blurring kernel is limited to be one of the predetermined
kernels. In the experiment, the blurriness of the LR images is supposed to be unknown, and is estimated using a blur
kernel estimation method. Then the estimated blur kernels of the LR images are fed to an artificial neural network (ANN)
to determine the blur kernels associated with the HR image. Experiment results show the use of determined blur kernels
improves the quality of output HR image.
|
|
|
Keywords
Super-resolution, Blur kernel, Blur Kernel Estimation, Neural Network
|
|
|
چکیده
ابرتفکیکپذیری فنی است که با
استفاده از آن میتوان با ترکیب چند تصویر با دقت کم از یک صحنه، تصویری با دقت
بالا ایجاد کرد. یکی از مشکلاتی که کارایی این تکنیک را کم میکند، تاری در تصاویر
ورودی است. در بسیاری از کارهای انجام شده در زمینهی ابرتفکیکپذیری تاری تصاویر
کم دقت ناشی از خاصیت انتگرالگیری حسگر تصویر در دستگاه تصویربرداری فرض شده
است؛ در حالی که در عمل عوامل دیگری نیز وجود دارد که موجب تاری تصویر کم دقت میشوند.
از جملهی این عوامل میتوان به پراش نور، حرکت جسم یا دستگاه تصویربرداری یا هر
دو، تاری ناشی از اغتشاش هوا و تاری ناشی از عدم تمرکز عدسی دوربین اشاره کرد.
برای اعمال دقیق ابرتفکیکپذیری نیاز است که مدل تخریب اعمال شده بر روی تصویر دقت
بالا (ایدهآل) در فرآیند تولید تصویر کم دقت مشخص باشد. در این مقاله هدف ما
بررسی تاری در تصاویر کم دقت برای یافتن هستهی تاری اعمال شده به تصویر دقت بالاست.
از این رو یک آزمایش شبیهسازی ترتیب دادهایم که در آن هستههای تاری، محدود به
چند هستهی از پیش تعیین شده هستند. در این آزمایش تاری تصاویر کم دقت نامعلوم فرض
شده است و بهوسیلهی یکی از روشهای تخمین تاری به دست میآیند. آنگاه، هستههای
تاری برآورد شده مربوط به تصاویر کم دقت به یک شبکهی عصبی مصنوعی داده میشوند تا
هستههای تاری مربوط به تصاویر دقت بالا را تعیین کند. نتایج آزمایشها نشان میدهد
که استفاده از هستههای تاری تعیین شده توسط شبکهی عصبی، کیفیت تصویر دقت بالای
خروجی را افزایش میدهد.
|
|
References
1. Katsaggelos, A.K., Molina, R. and Mateos,
J., "Super resolution of images and video", Synthesis Lectures on Image,
Video, and Multimedia Processing,
Vol. 1, No. 1, (2007), 1-134.
2. Farsiu, S.,
Robinson, M.D., Elad, M. and Milanfar, P., "Fast and robust multiframe
super resolution", IEEE Transactions on Image Processing, Vol. 13, No. 10, (2004), 1327-1344.
3. Babacan, S.D.,
Molina, R. and Katsaggelos, A.K., "Variational bayesian super
resolution", IEEE Transactions on Image Processing, Vol. 20, No. 4, (2011), 984-999.
4. Tsai, R.,
"Multiframe image restoration and registration", Advance Computer Visual and Image
Processing, Vol. 1, (1984),
317-339.
5. Tipping, M.E.
and Bishop, C.M., "Bayesian image super-resolution", in Advances in
neural information processing systems. (2003), 1303-1310.
6. Nguyen, N.,
Milanfar, P. and Golub, G., "Efficient generalized cross-validation with
applications to parametric image restoration and resolution enhancement", IEEE Transactions
on Image Processing, Vol. 10,
No. 9, (2001), 1299-1308.
7. Aly, H.A. and
Dubois, E., "Specification of the observation model for regularized image
up-sampling", IEEE Transactions on Image Processing, Vol. 14, No. 5, (2005), 567-576.
8. Sroubek, F.,
Cristóbal, G. and Flusser, J., "A unified approach to superresolution and
multichannel blind deconvolution", IEEE Transactions on Image Processing, Vol. 16, No. 9, (2007), 2322-2332.
9. Laghrib, A.,
Ezzaki, M., El Rhabi, M., Hakim, A., Monasse, P. and Raghay, S.,
"Simultaneous deconvolution and denoising using a second order variational
approach applied to image super resolution", Computer Vision and Image
Understanding, (2017).
10. Javaran,
T.A., Hassanpour, H. and Abolghasemi, V., "Non-blind image deconvolution
using a regularization based on re-blurring process", Computer Vision and Image
Understanding, Vol. 154, (2017),
16-34.
11. Nair,
V. and Hinton, G.E., "Rectified linear units improve restricted boltzmann
machines", in Proceedings of the 27th international conference on machine
learning (ICML-10). (2010), 807-814.
12. Russakovsky,
O., Deng, J., Su, H., Krause, J., Satheesh, S., Ma, S., Huang, Z., Karpathy,
A., Khosla, A. and Bernstein, M., "Imagenet large scale visual recognition
challenge", International Journal of Computer Vision, Vol. 115, No. 3, (2015), 211-252.
13. Wang,
Z., Bovik, A.C., Sheikh, H.R. and Simoncelli, E.P., "Image quality
assessment: From error visibility to structural similarity", IEEE Transactions
on Image Processing, Vol. 13,
No. 4, (2004), 600-612.
|
|
|
|
|