استخراج مدل سه بعدي جسم با ادغام ويژگي‌هاي مستخرج از تصاوير استريو، تخمين حرکت و تصاوير نيم‌رخ
محورهای موضوعی : مهندسی برق و کامپیوترحسن قاسمیان یزدی 1 * , حسن ابراهیم نژاد 2
1 - دانشگاه تربیت مدرس
2 - دانشگاه تربیت مدرس
کلید واژه: پوسته قابل ديدتخمين حرکتتطبيق استريونيم‌رخنقاط ويژگينقاط منفرد,
چکیده مقاله :
در اين مقاله يک روش جديد براي بازسازي مدل سه بعدي جسم صلب با استفاده از نيمرخهاي آن در طول زمان حرکت جسم ارائه مي‌‌گردد. ايده اصلي مقاله ارائه راهکاري مناسب جهت کاهش مشکلات و تنگناهاي موجود در بازسازي دقيق مدل سه بعدي همراه با افزايش سرعت بازسازي مي‌‌باشد. از جمله اين مشکلات مي‌‌توان به ابهام موجود در تطبيق تصاوير استريو براي نواحي با درجه تباين پائين، توازن غير دقيق شدت نور و رنگ دوربينها در مرحله راه اندازي و ايجاد خطا در تطبيق نقاط متناظر، ايجاد سايه بدليل تغيير زاويه تابش منبع نور در زمان حرکت جسم و خطاي ناشي از آن در تخمين حرکت و نهايتاً وابستگي شديد روش نيم‌رخ به تعداد دوربينها اشاره نمود. در اين مقاله يک روش کاملا ابتکاري براي ادغام سه روش تطبيق استريو، تخمين حرکت و نيم‌رخ پيشنهاد مي‌‌گردد که با بهره جوئي از نقاط قوت هر روش، به برطرف ساختن نقاط ضعف آنها مي‌‌پردازد. ابتکارات بکار گرفته شده در اين مقاله عبارتند از: ارائه الگوريتم مبتني بر رشد ناحيه براي نقاط همسايگي با تفاضل رنگ پائين، جهت افزايش دقت در فرآيند حذف پس‌زمينه. استخراج نقاط ويژگي جسم با درجه تباين بالا، جهت افزايش دقت تطبيق استريو و کاهش حساسيت آن به توازن شدت نور و رنگ دوربينها. بکارگيري روش تطبيق چندگانه به جاي تطبيق استريو، جهت افزايش دقت در استخراج مختصات سه بعدي نقاط منفرد جسم. استفاده از نقاط منفرد سه بعدي براي تخمين دقيق حرکت جسم صلب. ايجاد دوربين‌هاي مجازي و افزايش تعداد نيمرخهاي جسم در مدت زمان حرکت جسم. ارائه يک الگوريتم سريع سلسله مراتبي جهت استخراج پوسته قابل ديد از نيمرخهاي جسم.
In this paper we propose a new approach to reconstruct the three-dimensional model of object using multi camera silhouettes during time. The main idea in this work is to reduce the current bottlenecks of three-dimensional model reconstruction including: ambiguous stereo matching in low contrast regions; non-exact color adjustment between cameras which raises the matching uncertainty; shading and non-consistency of intensity duo to motion and varying the light angle which raises the motion estimation error; high dependency of silhouette method to the number of cameras. We propose a novel scheme to combine three popular methods i.e. stereo matching, motion and silhouette. The novelties of this work include: region growing for low color different neighborhood to increase the quality of background removing process, robust feature based stereo matching of multi camera images to find the exact place of some sparse singular points belong to the surface of object, singular points matching to robustly estimate the motion parameters in next frame. Also, we propose a hierarchical cone intersection method to extract the bounding edges visual hull from all the silhouettes captured by virtual cameras during time.
[1] A. Bottino and A. Laurentini, "Introducing a new problem: shapefrom- silhouette when the relative positions of the viewpoints is unknown," IEEE Trans. Pattern Analysis and Machine Intelligence,vol. 25, no. 11, pp. 1484-1492, Nov. 2003.
[2] A. Bottino and A. Laurentini, "The Visual hull of smooth curved objects," IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 26, no. 12, pp. 1622-1632, Dec. 2004.
[3] Y. Liu, G. Chen, N. Max, C. Hofsetz, and P. McGuinness, "Visual hull rendering with multi-view stereo," Journal of WSCG., vol. 12, no. 1-3, pp. 261-268, Feb. 2004.
[4] E. Boyer and J.-S. Franco, "A Hybrid approach for computing visual hulls of complex objects," in Proc. of the 2003 IEEE Conf. on Computer Vision and Pattern Recognition (CVPR'03), vol. 1,pp. 695-701, Jun. 2003.
[5] S. Chang Pei, C. Wen Ko, and M. Shing Su, "Global motion estimation in model-based image coding by tracking treedimensional contour feature," IEEE Trans. Circuits and Systems for Video Technology, vol. 8, no. 2, pp. 181-190, Apr. 1998.
[6] K. Astrom and F. Kahl, "Motion estimation in image sequences using the deformation of apparent contours," IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 21, no. 2, pp. 114-127,Feb. 1999.
[7] G. Jiang, L. Quan, and H. Tat Tsui, "Circular motion geometry using minimal data," IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 26, no. 6, pp. 721-731, Jun. 2004.
[8] G. K. M. Cheung, S. Baker, and T. Kanade, "Visual hull alignment and refinement across time: a 3D reconstruction algorithm combining shape from silhouette with stereo," in Proc. of IEEE Conf. on Computer Vision and Pattern Recognition 2003, vol. 2, pp. 375-382, Jun. 2003.
[9] R. Yang, M. Pollefeys, and G. Welch, "Dealing with texture less regions and specula highlights – A progressive space carving sheme using a novel photo-consistency measure,"in Proc 9th IEEE Int. Conf. on Computer Vision (ICCV 2003), vol. 1, pp. 576-584, Oct. 2003.
[10] S. Baker, T. Sim, and T. Kanade,"A characterization of inherent stereo ambiguities," in Proc. of the 8th Int. Conf. on Computer Vision, vol. 1, pp. 428–435, Jul. 2001.
[11] K. Kutulakos and S. M. Seitz, "A Theory of shape by space carving," Int. Journal of Computer Vision (IJCV), vol. 38, no. 3, pp. 199-218,Jul. 2000.
[12] H. Ebrahimnezhad and H. Ghassemian, "3D Model reconstruction by multiple-views feature based matching and silhouette information during time," in Proc. of 13th Iranian Conf. on Electrical Engineering (ICEE2005), vol. 1, pp. 459-464, May 2005.
[13] Q. Zang, R. Klette, "Robust background subtraction and maintenance," in Proc. of the 17th Int. Conf. on Pattern Recognition (ICPR 2004), vol. 2, pp. 90-93, Aug. 2004.
[14] L. Li, W. Huang, I. Yu-Hua Gu, and Q. Tian, "Statistical modeling of complex backgrounds for foreground object detection," IEEE Trans. on Image Processing, vol. 13, no. 11, pp. 1459-1472, Nov. 2004.
[15] Z. Zhang, "A flexible new technique for camera calibration," IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. 22, no. 1, pp. 1330-1334, Nov. 2000.
[16] H. Ebrahimnezhadi and H. Ghassemian, "3D model reconstruction through a silhouette based hierarchical method," in Proc. of 10th CSICC2005, vol. 2, pp. 40-47, Feb. 2005.