افزایش وضوح و روشنایی تصاویر کم‌نور با استفاده از رویکرد RETINEX و تبدیل غیر خطی
محورهای موضوعی : مهندسی برق و کامپیوتر
مریم قاسمی
1
(دانشگاه فردوسی مشهد)
مرتضی خادمی
2
(دانشگاه فردوسی مشهد)
عباس ابراهیمی مقدم
3
(دانشگاه فردوسی مشهد)
کلید واژه: بهبود تصاویر کم‌نور, بهبود روشنایی و وضوح, تبدیل غیر خطی, روش‌های مبتنی بر رویکرد RETINEX,
چکیده مقاله :
تصاویر ضبط‌شده در شرایط نوری ضعیف دارای روشنایی و وضوح پایین و نویز زیاد هستند، لذا برای بینایی انسان و ماشین نامناسب بوده و در عملکرد آنها تأثیرات منفی می‌گذارند. تحقیقات زیادی برای بهبود چنین تصاویری انجام شده است. روش‌های پیشنهادشده برای حل این مسئله به میزان قابل توجهی این گونه تصاویر را بهبود می‌بخشند. یک دسته از این روش‌ها، روش‌های مبتنی بر رویکرد RETINEX هستند که باعث اصلاح تصاویر کم‌نور شده‌اند. اما از آنجا که ساختار اولیه این رویکرد پیچیده است و کارایی پایینی دارد، محققان روش‌های دیگری همچون SSR، MSR و MSRCR را برای رفع مشکل آن ارائه داده‌اند. این روش‌ها نیز به نوبه خود مشکلاتی همچون غیر طبیعی‌بودن تصاویر حاصل و تقویت نویز دارند. در این تحقیق با به دست آوردن مؤلفه روشنایی بهینه، استفاده از تبدیل غیر خطی و اعمال هموارسازی روی تصویر به عنوان مرحله پس‌پردازش، این نقاط ضعف تا حد زیادی رفع می‌شوند. با اعمال روش پیشنهادی، تصاویر پردازش‌شده ظاهری طبیعی‌تر داشته و اطلاعات آنها بیشتر حفظ شده است. برای ارزیابی روش پیشنهادی از معیارهای ذهنی و عینی همچون AFC2، IE، SSIM، PSNR و IMMSE استفاده شده است. نتایج شبیه‌سازی، نشان‌دهنده برتری روش پیشنهادی نسبت به روش‌های رقیب می‌باشد.
Images captured in low light conditions are unsuitable for human and machine vision due to low brightness and sharpness and high noise, and have a negative effect on their performance. Much research has been done to improve such images. The methods proposed so far to solve this problem greatly improve such images. One of these methods is the RETINEX-based method, which modifies low-light images, but because the initial structure of this method is complex and inefficient, researchers have developed other methods such as SSR, MSR, and MSRCR. To solve the problem, they have presented this approach. These methods, in turn, have problems such as abnormal images and amplification of noise. In the continuation of the work done, the field of optimization has been used, which shows better performance than the previous works. In this research, by obtaining the optimal brightness component, using nonlinear conversion and applying smoothing filter and reducing noise on the image as a post-processing step, these weaknesses are largely eliminated. By applying the proposed method, the resulting images look more natural and their information is more preserved. Subjective and objective criteria such as EI, SSIM, PSNR and IMMSE were used to evaluate the proposed method. The simulation results show the superiority of the proposed method over the competing methods.
[1] Y. Xu, C. Yang, B. Sun, X. Yan, and M. Chen, "A novel multi-scale fusion framework for detail-preserving low-light image enhancement," Information Sciences, vol. 548, pp. 378-397, Feb. 2021.
[2] W. Wang, X. Wu, X. Yuan, and Z. Gao, "An experiment-based review of low-light image enhancement methods," IEEE Access, vol. 8, pp. 87884-87917, 2020.
[3] X. Liu, G. Cheung, X. Ji, D. Zhao, and W. Gao, "Graph-based joint dequantization and contrast enhancement of poorly lit JPEG images," IEEE Trans. on Image Processing, vol. 28, no. 3, pp. 1205-1219, Mar. 2018.
[4] S. Parihar and K. Singh, "A study on retinex based method for image enhanceme," in Proc. of the 2nd Int. Conf. on Inventive Systems and Control, ICISC'18, pp. 619-624, Coimbatore, India, 19-20 Jan. 2018.
[5] A. Mahmood, S. A. Khan, S. Hussain, and E. M. Almaghayreh, "An adaptive image contrast enhancement technique for low-contrast images," IEEE Access, vol. 7, pp. 161584-161593, 2019.
[6] T. Dong, G. Zhao, J. Wu, Y. Ye, and Y. Shen, "Efficient traffic video dehazing using adaptive dark channel prior and spatial-temporal correlations," Sensors, vol. 19, no. 7, Artucle ID: 1593, 2019.
[7] Y. Chang, C. Jung, P. Ke, H. Song, and J. Hwang, "Automatic contrast-limited adaptive histogram equalization with dual gamma correction," IEEE Access, vol. 6, pp. 11782-11792, 2018.
[8] J. Xiong, et al., "Application of histogram equalization for image enhancement in corrosion areas," Shock and Vibration, vol. 2021, Article ID: 8883571, 2021.
[9] P. P. Banik, R. Saha, and K. D. Kim, "Contrast enhancement of low-light image using histogram equalization and illumination adjustment," in Proc. IEEE Int. Conf. on Electronics, Information, and Communication, ICEIC'18, 4 pp., Honolulu, HI, USA, 24-27 Jan. 2018.
[10] K. A. Dar and S. Mittal, "An enhanced adaptive histogram equalization based local contrast preserving technique for HDR images," in Proc. IOP Conf. Series: Materials Science and Engineering, vol. 1022, Article: ID: 012119, 12 pp., 2021.
[11] E. H. Land and J. J. McCann, "Lightness and retinex theory," Journal of the Optical Society of America, vol. 61, no. 1, pp. 1-11, 1971.
[12] Y. Guo, Y. Lu, R. W. Liu, M. Yang, and K. T. Chui, "Low-light image enhancement with regularized illumination optimization and deep noise suppression," IEEE Access, vol. 8, pp. 145297-145315, 2020.
[13] H. Tanaka, Y. Waizumi, and T. Kasezawa, "Retinex-based signal enhancement for image dark regions," in Proc. IEEE Int, Conf. on Signal and Image Processing Applications, ICSIPA'17, pp. 205-209, Kuching, Malaysia, 12-14 Sept. 2017.
[14] J. Zhou, D. Zhang, P. Zou, W. Zhang, and W. Zhang, "Retinex-based laplacian pyramid method for image defogging," IEEE Access, vol. 7, pp. 122459-122472, 2019.
[15] S. Park, K. Kim, S. Yu, and J. Paik, "Contrast enhancement for low-light image enhancement: a survey," IEIE Trans. on Smart Processing & Computing, vol. 7, pp. 36-48, 2018.
[16] K. A. Dar and S. Mittal, "A dynamic fuzzy histogram equalization for high dynamic range images by using multi-scale retinex algorithm," in Proc. of the First Int. Conf. on Innovative Computing & Communications, ICICC'20, 8 pp., 1-1 Apr. 2020.
[17] P. Hao, S. Wang, S. Li, and M. Yang, "Low-light image enhancement based on retinex and saliency theories," in Proc.Chinese Automation Congress, CAC'19, pp. 2594-2597, Hangzhou, China, 22-24 Nov. 2019.
[18] M. Cornia, L. Baraldi, G. Serra, and R. Cucchiara, "Predicting human eye fixations via an LSTM-based saliency attentive model," IEEE Trans. on Image Processing, vol. 27, no. 10, pp. 5142-5154, Oct. 2018.
[19] M. A. Al-Hashim and Z. Al-Ameen, "Retinex-based multiphase algorithm for low-light image enhancement," Traitement du Signal, vol. 37, no. 5, pp. 733-743, Oct. 2020.
[20] S. Liu, W. Long, L. He, Y. Li, and W. Ding, "Retinex-based fast algorithm for low-light image enhancement entropy," Entropy, vol. 21, no. 6, Article ID: 746, 2021.
[21] A. Arora, et al., Low Light Image Enhancement via Global and Local Context Modeling, arXiv preprint arXiv: 2101.00850, Jan. 2021.
[22] H. Liang, A. Yu, M. Shao, and Y. Tian, "Multi-feature guided low-light image enhancement," Applied Sciences, vol. 11, Article ID: 5055, 11 pp., 2021.
[23] X. Guo, Y. Li, and H. Ling, "LIME: low-light image enhancement via illumination map estimation," IEEE Trans. on Image Processing, vol. 26, no. 2, pp. 982-993, Feb. 2017.
[24] S. Rahman, et al., "An adaptive gamma correction for image enhancement," EURASIP J. on Image and Video Processing, vol. 26, Article ID: 35, 13 pp., 2016.
[25] Wikipedia, Guided Filter, last edited in 2021, https://en.wikipedia.org/wiki/Guided_filter.
[26] X. Fu, D. Zeng, Y. Huang, X. P. Zhang, and X. Ding, "A weighted variational model for simultaneous reflectance and illumination estimation," in Proc. of the IEEE Conf. on Computer Vision and Pattern Recognition, pp. 2782-2790, Las Vegas, NV, USA, 27-30 Jun. 2016.
[27] S. C. Huang, F. C. Cheng, and Y. S. Chiu, "Efficient contrast enhancement using adaptive gamma correction with weighting distribution," IEEE Trans. on Image Processing, vol. 22, no. 3, pp. 1032-1041, Mar. 2013.
[28] X. Fu, et al., "A fusion-based enhancing method for weakly illuminated images," Signal Processing, vol. 129, no. C, pp. 82-96, Dec. 2016.
[29] L. Li, S. Sun, C. Xia, P. Chen, and F. M. Dong, "Survey of histogram equalization technology," Comput. Syst. Appl, vol. 23, no. 3, pp. 1-8, 2014.
نشریه مهندسی برق و مهندسی كامپیوتر ایران، ب- مهندسی کامپیوتر، سال 20، شماره 4، زمستان 1401 301
مقاله پژوهشی
افزایش وضوح و روشنایی تصاویر کم‌نور با استفاده
از رویکرد RETINEX و تبدیل غیر خطی
مریم قاسمی، مرتضی خادمی درح و عباس ابراهیمی مقدم
چكیده: تصاویر ضبط‌شده در شرایط نوری ضعیف دارای روشنایی و وضوح پایین و نویز زیاد هستند، لذا برای بینایی انسان و ماشین نامناسب بوده و
در عملکرد آنها تأثیرات منفی می‌گذارند. تحقیقات زیادی برای بهبود چنین تصاویری انجام شده است. روش‌های پیشنهادشده برای حل این مسئله به میزان قابل توجهی این گونه تصاویر را بهبود می‌بخشند. یک دسته از این روش‌ها، روش‌های مبتنی بر رویکرد RETINEX هستند که باعث اصلاح تصاویر کم‌نور شده‌اند. اما از آنجا که ساختار اولیه این رویکرد پیچیده است و کارایی پایینی دارد، محققان روش‌های دیگری همچون SSR، MSR و MSRCR را برای رفع مشکل آن ارائه داده‌اند. این روش‌ها نیز به نوبه خود مشکلاتی همچون غیر طبیعی‌بودن تصاویر حاصل و تقویت نویز دارند. در این تحقیق با به دست آوردن مؤلفه روشنایی بهینه، استفاده از تبدیل غیر خطی و اعمال هموارسازی روی تصویر به عنوان مرحله پس‌پردازش، این نقاط ضعف تا حد زیادی رفع می‌شوند. با اعمال روش پیشنهادی، تصاویر پردازش‌شده ظاهری طبیعی‌تر داشته و اطلاعات آنها بیشتر حفظ شده است. برای ارزیابی روش پیشنهادی از معیارهای ذهنی و عینی همچون AFC2، IE، SSIM، PSNR و IMMSE استفاده شده است. نتایج شبیه‌سازی، نشان‌دهنده برتری روش پیشنهادی نسبت به روش‌های رقیب می‌باشد.
کلیدواژه: بهبود تصاویر کم‌نور، بهبود روشنایی و وضوح، تبدیل غیر خطی، روش‌های مبتنی بر رویکرد RETINEX.
1- مقدمه
تصویربرداری در شرایط نوری ضعیف توسط دوربین‌ها باعث می‌شود که تصاویر به دست آمده دارای کیفیت پایینی از لحاظ روشنایی، وضوح و نویز باشند. تصاویر گرفته‌شده در درون اتاق، روزهای ابری و غروب خورشید یا شب‌هنگام دارای روشنایی کم و غیر یکنواخت (تصاویر کم‌نور) هستند. در تصاویر کم‌نور، اطلاعات بافت تصویر پنهان شده و بنابراین باعث ایجاد اختلال در روند تشخیص و شناسایی می‌شود [1]. از آنجا که کیفیت این گونه تصاویر پایین و تشخیص جزئیات در آنها دشوار است، استفاده از این تصاویر برای پردازش توسط ماشین با محدودیت جدی مواجه است [2]. شکل 1، 3 تصویر کم‌نور را همراه هیستوگرام‌های مربوط نشان می‌دهد. هیستوگرام تصاویر کم‌نور دارای چند ویژگی از جمله تجمع هیستوگرام در نزدیکی صفر، کم‌بودن اختلاف سطوح خاکستری مربوط به کانال‌های رنگی مختلف و تنزل اطلاعات مربوط به لبه‌ها می‌باشد [2]. افزایش وضوح و روشنایی تصاویر کم‌نور، معمولاً از طریق تنظیم توزیع میزان روشنایی تصویر برای مشاهده و درک بهتر جزئیات آن صورت می‌گیرد [3]. برای تحقق این هدف، روش‌های متعددی ارائه شده‌اند که می‌توانند در بهبود کیفیت این گونه تصاویر مفید باشند. استفاده از این روش‌ها باعث بهبود بصری و مطلوبیت این گونه تصاویر برای رؤیت توسط انسان و پردازش توسط کامپیوتر می‌شود [4].
از مهم‌ترین کاربردهای موضوع این تحقیق می‌توان به سنجش از راه دور، شناسایی هدف و نظارت بر ترافیک2، بینایی ماشین، پردازش تصاویر پزشکی3 و تشخیص بیماری [5]، کنترل کیفیت در خطوط تولید و سیستم‌های حمل‌ونقل هوشمند [6] اشاره کرد.
2- کارهای مرتبط
محققان روش‌های مختلفی را برای بهبود وضوح و روشنایی تصاویر کم‌نور ارائه کرده‌اند. از جمله مهم‌ترین آنها عبارت هستند از روش‌های مبتنی بر متعادل سازی هیستوگرام4، روش‌های مبتنی بر رویکرد RETINEX5 و روش‌های مبتنی بر یادگیری6 که برای هر یک از روش‌ها، الگوریتم‌های متعددی ارائه شده است.
روش‌های مبتنی بر HE، دارای روابط ریاضی ساده و سرعت اجرای بالایی بوده و به همین دلیل در بسیاری از کاربردهای پردازش تصویر مورد توجه هستند [1]. این روش‌ها با نگاشت تصویر تحت تابع توزیع تجمعی تصویر، باعث بهبود وضوح و روشنایی شده و تابع چگالی احتمال تقریباً یکنواختی را ایجاد می‌کنند [2] و دارای معایبی همچون امکان اشباع بیش از حد روشنایی و اعوجاج رنگ هستند. برای حل این نقاط ضعف، محققان تا کنون روش‌های مختلفی را ارائه داده‌اند [1]. چانگ و همکاران، روش متعادل‌سازی هیستوگرام سازگار با محدودیت وضوح7
را ارائه کرده‌اند و از روش تصحیح گامای دوگانه برای افزایش وضوح با حفظ طبیعی‌بودن بهره برده‌اند [7]. در [8] از رویکرد HE برای تشخیص خوردگی فلزات استفاده شده که باعث افزایش کیفیت تصویر و در نتیجه دقت بیشتر در تشخیص می‌شود. در این روش به خاطر ترکیب 2 الگوریتم
[1] این مقاله در تاریخ 8 آبان ماه 1400 دریافت و در تاریخ 21 بهمن ماه 1400 بازنگری شد.
مریم قاسمی، دانشکده مهندسی، دانشگاه فردوسی مشهد، مشهد، ایران،
(email: ghasemi.maryam@mail.um.ac.ir).
مرتضی خادمی درح (نویسنده مسئول)، دانشکده مهندسی، دانشگاه فردوسی مشهد، مشهد، ایران، (email: khademi@um.ac.ir).
عباس ابراهیمی مقدم، دانشکده مهندسی، دانشگاه فردوسی مشهد، مشهد، ایران، (email: a.ebrahimi@um.ac.ir).
[2] . Traffic Monitoring
[3] . Medical Image Processing
[4] . Histogram Eequalization (HE) Based Methods
[5] . RETINEX Based Methods
[6] . Learning Based Methods
[7] . Contrast-Limited Adaptive Histogram Equalization
شکل 1: مثالی از تصاویر کم‌نور و هیستوگرام‌های متناظر.
تعادل هیستوگرام و روش‌های حوزه فرکانس مثل تبدیل موجک و فیلترینگ همگن 1(HF)، پیچیدگی محاسباتی بالا رفته و در نتیجه باعث دشواری در پیادهسازی روش شده است. در [9] از روش‌های مختلف پردازش تصویر همچون تغییر فضای رنگی، معکوس‌سازی تصویر، الگوریتم حذف مه و ترمیم تخریب رنگ استفاده شده و از روش حذف نویز به عنوان یک مرحله پس‌پردازش استفاده می‌کند که باعث ایجاد تصویری طبیعی‌تر می‌شود. روش HE دارای نقاط ضعفی همچون نتایجی با کیفیت پایین و تولید نویزهای ناخوشایند است و معمولاً در ترکیب با روش‌های دیگر مورد استفاده قرار می‌گیرد [10].
رویکرد RETINEX، اولین بار توسط Land و McCann ارائه شد [11]. این رویکرد از مدل روشنایی- بازتاب استفاده می‌کند که طبق آن یک تصویر را می‌توان حاصل‌ضرب دو مؤلفه روشنایی و بازتاب فرض کرد. روش‌های مبتنی بر این رویکرد می‌توانند به دو دسته تقسیم‌بندی شوند: دسته اول، مؤلفه بازتاب را به عنوان تصویر بهبودیافته در نظر می‌گیرد و دسته دوم با بهینه‌کردن دو مؤلفه و ترکیب آنها، تصویر بهبودیافته را به دست می‌آورد. نتایج نشان می‌دهند که دسته اول، دچار اعوجاج و افزایش بیش از حد روشنایی بوده است اما دسته دوم، نتایج قابل قبولی دارد [12]. 2SSR [2] روشی ساده در بهبود وضوح تصویر است و در عین حال باعث ایجاد اثرات هاله در لبه [13]، عدم توانایی ثبات رنگ و حفظ جزئیات [14] و ایجاد تصویری شبه‌خاکستری می‌شود [15]. برای بهبود این اثرات، روش 3MSR [2] ارائه شد که از چندین فیلتر گوسی برای تخمین روشنایی استفاده می‌کند. این روش نیز فاقد توانایی ثبات رنگ است [15]. روش SSR و MSR با اعمال تقویت بر روی هر کانال رنگی به صورت جداگانه باعث اعوجاج رنگ می‌شوند [2] و برای حل این مشکل، روش 4MSRCR [2] که حاوی تابع بازیابی رنگ است، ارائه شد. این روش گرچه نسبت به روش MSR بهتر عمل می‌کند اما نمی‌تواند از اثرات هاله در نزدیکی لبه و تقویت نویز جلوگیری کند [15]. در [16] نیز از رویکرد RETINEX برای بهبود روشنایی تصاویر کم‌نور استفاده شده و به خوبی قادر به حفظ جزئیات تصویر بوده و شکل طبیعی آن را حفظ می‌کند، اما میزان بهبود روش بر روی انواع تصویر از جمله، تصاویر محیط‌های داخلی و محیط‌های بیرونی یکسان نیست. در [17] با ترکیب دو رویکرد RETINEX و برجستگی بصری5 [18]، روشی جدید برای بهبود تصاویر کم‌نور ارائه شده و اولین روشی است که اطلاعات تصویری سطح بالا را در روند بهبود تصویر کم‌نور ادغام کرده و باعث افزایش کیفیت برای دید انسان و ماشین می‌شود. در [19] مشابه الگوریتم SSR، ابتدا مؤلفه روشنایی محاسبه شده و سپس با کم‌کردن شکل لگاریتمی آن از تصویر اصلی و سپس پردازش مؤلفه بازتاب با تابع سیگموید و گامای اصلاح‌شده و نرمال‌سازی نتیجه، تصویر بهبود مییابد. این الگوریتم نسبتاً ساده و قابل درک بوده و نتایج بهبود قابل قبولی را ارائه می‌دهد. در [20] ابتدا یک نگاشت بر روی تصویر، انجام و سپس به فضای HSV6 منتقل می‌شود و با اعمال تبدیل خطی روی مؤلفه 
، آن را گسترش می‌دهد
و از رویکرد RETINEX برای افزایش روشنایی بهره می‌برد. این روش نیز ساده و در عین حال دارای کاربردهای مختلفی برای بهبود تصاویر کم‌نور است.
تحقیقات زیادی بر مبنای یادگیری عمیق از سال 2016 برای بهبود تصاویر کم‌نور انجام شده است. یکی از پرکاربردترین روش‌های یادگیری عمیق، روش شبکه‌های عصبی کانولوشنی 7(CNN) است. CNN در بهبود تصاویر کم‌نور موفق بوده است اما چون از مقیاس‌های مختلف مکانی بهره نمی‌برد، روش‌هایی همچون [21] ارائه شده‌اند. در [22] برای بهبود مؤثر تصاویر کم‌نور از روش یادگیری عمیق استفاده گردیده است. مرجع [14] از روش یادگیری عمیق برای بهبود تصاویر دریایی بهره برده که در آن، مؤلفه روشنایی اولیه به وسیله بیشینه مقادیر کانال‌های رنگی، محاسبه و در انتها از روش تصحیح گامای تطبیقی استفاده می‌شود. از آنجایی که یادگیری عمیق به داده اولیه زیادی احتیاج دارد، تصاویر حاصل از این دسته روش‌ها،
[1] . Homomorphic Filter
[2] . Single-Scale Retinex
[3] . Multiscale Retinex
[4] . MSR with Color Restoration
[5] . RETINEX and Saliency Theories
[6] . HSV Space (Hue, Saturation, Value)
[7] . Convolutional Neural Network
شکل 2: دیاگرام جعبه‌ای روش پیشنهادی.
در صورت کم‌بودن داده اولیه، بهبود زیادی نخواهند داشت.
در ادامه این مقاله در بخش 3، الگوریتم پیشنهادی و تئوری مربوط توضیح داده شده است. در بخش 4، نتایج و آزمایش‌های انجام‌شده و در بخش 5، نتیجه‌گیری این مقاله ارائه می‌گردد.
3- روش پیشنهادی
شکل 2، دیاگرام جعبه‌ای روش پیشنهادی را نشان می‌دهد. روش پیشنهادی، بهبوددهنده روش 1LIME [23] بوده و مبتنی بر رویکرد RETINEX است. طبق مدل روشنایی- بازتاب داریم
(1)
که در آن 
تصویر ورودی است و 
و 
به ترتیب بیانگر مؤلفه‌های بازتاب و روشنایی هستند.
طبق دیاگرام جعبه‌ای، ابتدا مؤلفه روشنایی اولیه به صورت بیشینه مقادیر سه کانال رنگی، تخمین زده می‌شود