Abstract    Super-resolution (SR) is a technique that produces a high resolution (HR) image via employing a number of low resolution (LR) images from the same scene. One of the degradations that attenuates performance of the SR is the blurriness of the input LR images. In many previous works in the SR, the blurriness of the LR images is assumed to be due to the integral effect of the image sensor of the image acquisition device, while in practice, there are some other factors that blur the LR images, such as diffraction, motion of the object and/or acquisition device, atmospheric blurring and defocus blur. To apply the super-resolution process accurately, we need to know the degradation model applied on HR image leading to LR ones. In this paper, we aim to use the LR images blurriness to find the blurring kernel applied on the HR image. Hence we setup a simulation experiment in which the blurring kernel is limited to be one of the predetermined kernels. In the experiment, the blurriness of the LR images is supposed to be unknown, and is estimated using a blur kernel estimation method. Then the estimated blur kernels of the LR images are fed to an artificial neural network (ANN) to determine the blur kernels associated with the HR image. Experiment results show the use of determined blur kernels improves the quality of output HR image.

Keywords    Super-resolution, Blur kernel, Blur Kernel Estimation, Neural Network

چکیده    ابرتفکیک‌پذیری فنی است که با استفاده از آن می‌توان با ترکیب چند تصویر با دقت کم از یک صحنه، تصویری با دقت بالا ایجاد کرد. یکی از مشکلاتی که کارایی این تکنیک را کم می‌کند، تاری در تصاویر ورودی است. در بسیاری از کارهای انجام شده در زمینه‌ی ابرتفکیک‌پذیری تاری تصاویر کم دقت ناشی از خاصیت انتگرال‌گیری حس­گر تصویر در دستگاه تصویربرداری فرض شده است؛ در حالی که در عمل عوامل دیگری نیز وجود دارد که موجب تاری تصویر کم دقت می‌شوند. از جمله‌ی این عوامل می‌توان به پراش نور، حرکت جسم یا دستگاه تصویربرداری یا هر دو، تاری ناشی از اغتشاش هوا و تاری ناشی از عدم تمرکز عدسی دوربین اشاره کرد. برای اعمال دقیق ابرتفکیک‌پذیری نیاز است که مدل تخریب اعمال شده بر روی تصویر دقت بالا (ایده‌آل) در فرآیند تولید تصویر کم دقت مشخص باشد. در این مقاله هدف ما بررسی تاری در تصاویر کم دقت برای یافتن هسته‌ی تاری اعمال شده به تصویر دقت بالاست. از این رو یک آزمایش شبیه‌سازی ترتیب داده‌ایم که در آن هسته‌های تاری، محدود به چند هسته‌ی از پیش تعیین شده هستند. در این آزمایش تاری تصاویر کم دقت نامعلوم فرض شده است و به­وسیله‌ی یکی از روش‌های تخمین تاری به دست می‌آیند. آنگاه، هسته‌های تاری برآورد شده مربوط به تصاویر کم دقت به یک شبکه‌ی عصبی مصنوعی داده می‌شوند تا هسته‌های تاری مربوط به تصاویر دقت بالا را تعیین کند. نتایج آزمایش‌ها نشان می‌دهد که استفاده از هسته‌های تاری تعیین شده توسط شبکه‌ی عصبی، کیفیت تصویر دقت بالای خروجی را افزایش می‌دهد.

References    1.      Katsaggelos, A.K., Molina, R. and Mateos, J., "Super resolution of images and video", Synthesis Lectures on Image, Video, and Multimedia Processing,  Vol. 1, No. 1, (2007), 1-134. 2.      Farsiu, S., Robinson, M.D., Elad, M. and Milanfar, P., "Fast and robust multiframe super resolution", IEEE Transactions on Image Processing,  Vol. 13, No. 10, (2004), 1327-1344. 3.      Babacan, S.D., Molina, R. and Katsaggelos, A.K., "Variational bayesian super resolution", IEEE Transactions on Image Processing,  Vol. 20, No. 4, (2011), 984-999. 4.      Tsai, R., "Multiframe image restoration and registration", Advance Computer Visual and Image Processing,  Vol. 1, (1984), 317-339. 5.      Tipping, M.E. and Bishop, C.M., "Bayesian image super-resolution", in Advances in neural information processing systems. (2003), 1303-1310. 6.      Nguyen, N., Milanfar, P. and Golub, G., "Efficient generalized cross-validation with applications to parametric image restoration and resolution enhancement", IEEE Transactions on Image Processing,  Vol. 10, No. 9, (2001), 1299-1308. 7.      Aly, H.A. and Dubois, E., "Specification of the observation model for regularized image up-sampling", IEEE Transactions on Image Processing,  Vol. 14, No. 5, (2005), 567-576. 8.      Sroubek, F., Cristóbal, G. and Flusser, J., "A unified approach to superresolution and multichannel blind deconvolution", IEEE Transactions on Image Processing,  Vol. 16, No. 9, (2007), 2322-2332. 9.      Laghrib, A., Ezzaki, M., El Rhabi, M., Hakim, A., Monasse, P. and Raghay, S., "Simultaneous deconvolution and denoising using a second order variational approach applied to image super resolution", Computer Vision and Image Understanding,  (2017). 10.    Javaran, T.A., Hassanpour, H. and Abolghasemi, V., "Non-blind image deconvolution using a regularization based on re-blurring process", Computer Vision and Image Understanding,  Vol. 154, (2017), 16-34. 11.    Nair, V. and Hinton, G.E., "Rectified linear units improve restricted boltzmann machines", in Proceedings of the 27th international conference on machine learning (ICML-10). (2010), 807-814. 12.    Russakovsky, O., Deng, J., Su, H., Krause, J., Satheesh, S., Ma, S., Huang, Z., Karpathy, A., Khosla, A. and Bernstein, M., "Imagenet large scale visual recognition challenge", International Journal of Computer Vision,  Vol. 115, No. 3, (2015), 211-252. 13.             Wang, Z., Bovik, A.C., Sheikh, H.R. and Simoncelli, E.P., "Image quality assessment: From error visibility to structural similarity", IEEE Transactions on Image Processing,  Vol. 13, No. 4, (2004), 600-612.