• صفحه اصلی
  • ماشین یادگیری مفرط عمیق: رویکرد ترکیبی یادگیری افزایشی برای طبقه‌بندی داده‌های جریانی

اشتراک گذاری

آدرس مقاله


کد مقاله : 13991107261922 بازدید : 5017 صفحه: 66 - 72

20.1001.1.16823745.1401.20.1.5.9

نوع مقاله: پژوهشی

ماشین یادگیری مفرط عمیق: رویکرد ترکیبی یادگیری افزایشی برای طبقه‌بندی داده‌های جریانی

محورهای موضوعی : مهندسی برق و کامپیوتر

جواد حمیدزاده 1 * , منا مرادی 2

1 - دانشگاه سجاد مشهد،دانشکده مهندسی کامپیوتر و فناوری اطلاعات
2 - دانشگاه سمنان،دانشکده مهندسی برق و کامپیوتر

تاریخ دریافت : 1399/11/07 تاریخ پذیرش : 1400/12/08 تاریخ انتشار : 1401/03/30

کلید واژه: داده‌های جریانی, رانش مفهوم, ماشین یادگیری مفرط, یادگیری افزایشی,

چکیده مقاله :

داده‌های جریانی متشکل از داده‌هایی است که به ترتیب و با سرعت و حجم زیاد به سیستم وارد می‌شوند. توزیع این داده‌ها ناپایدار بوده و در طول زمان ممکن است تغییر کنند. با توجه به اهمیت این نوع داده‌ها در حوزه‌هایی مهم نظیر اینترنت اشیا، تسریع عملکرد و افزایش توان عملیاتی تحلیل داده‌های بزرگ جریانی به عنوان موضوعی مهم، مورد توجه محققین است. در روش پیشنهادی، از مفهوم یادگیری ترکیبی برخط در مدل بهبودیافته ماشین یادگیر مفرط به منظور طبقه‌بندی داده‌های جریانی استفاده شده است. به دلیل استفاده از رویکرد افزایشی، در هر لحظه تنها یک بلوک داده بدون نیاز به دسترسی به داده‌های پیشین یاد گرفته می‌شود. همچنین با بهره‌گیری از رویکرد آدابوست، وزن‌دهی به طبقه‌بندی‌کننده‌های پایه و تصمیم‌گیری در مورد حفظ و یا حذف آنها بر اساس کیفیت پیش‌بینی‌ها انجام می‌شود. مزیت دیگر روش پیشنهادی، بهره‌گیری از رویکرد مبتنی بر صحت طبقه‌بندی کننده‌ جهت شناسایی رانش مفهوم است که منجر به تسهیل انطباق مدل و افزایش کارایی آن می‌شود. آزمایش‌ها بر روی مجموعه‌ داده‌های استاندارد انجام گردید و روش پیشنهادی به طور میانگین با کسب 90/0% خاص‌بودن، 69/0% حساسیت و 87/0% صحت توانست اختلاف معناداری با دو روش رقیب داشته باشد.

چکیده انگلیسی:

Streaming data refers to data that is continuously generated in the form of fast streams with high volumes. This kind of data often runs into evolving environments where a change may affect the data distribution. Because of a wide range of real-world applications of data streams, performance improvement of streaming analytics has become a hot topic for researchers. The proposed method integrates online ensemble learning into extreme machine learning to improve the data stream classification performance. The proposed incremental method does not need to access the samples of previous blocks. Also, regarding the AdaBoost approach, it can react to concept drift by the component weighting mechanism and component update mechanism. The proposed method can adapt to the changes, and its performance is leveraged to retain high-accurate classifiers. The experiments have been done on benchmark datasets. The proposed method can achieve 0.90% average specificity, 0.69% average sensitivity, and 0.87% average accuracy, indicating its superiority compared to two competing methods.

منابع و مأخذ:

[1] J. Lu, A. Liu, F. Dong, F. Gu, J. Gama, and G. Zhang, "Learning under concept drift: a review," IEEE Trans. on Knowledge Data Engineering, vol. 31, no. 12, pp. 2346-2363, Dec. 2018.
[2] X. Zheng, P. Li, X. Hu, and K. Yu, "Semi-supervised classification on data streams with recurring concept drift and concept evolution," Knowledge-Based Systems, vol. 215, Article ID: 106749, Mar. 2021.
[3] J. Ko and M. Comuzzi, "Keeping our rivers clean: information-theoretic online anomaly detection for streaming business process events," Information Systems, vol. 104, Article ID: 101894, Feb. 2022.
[4] H. Tavasoli, B. J. Oommen, and A. Yazidi, "On utilizing weak estimators to achieve the online classification of data streams," Engineering Applications of Artificial Intelligence, vol. 86, no. C, pp. 11-31, Nov. 2019.
[5] H. D. Dilectin and R. B. V. Mercy, "Classification and dynamic class detection of real time data for tsunami warning system," in Proc. Int. Conf. on Recent Advances in Computing and Software Systems, pp. 124-129, Chennai, India, 25-27 Apr. 2012.
[6] G. Liu, H. Cheng, Z. Qin, Q. Liu, and C. Liu, "E-CVFDT: an improving CVFDT method for concept drift data stream," in Proc. Int. Conf. on Communications, Circuits and Systems, ICCCAS’13, vol. 1, pp. 315-318, Chengdu, China, 15-17 Nov. 2013.
[7] J. Guan, W. Guo, H. Chen, and O. Lou, "An ensemble of classifiers algorithm based on GA for handling concept-drifting data streams," in Proc. 6th Int. Symp. on Parallel Architectures, Algorithms and Programming, pp. 282-284, Beijing, China, 13-15 Jul. 2014.
[8] M. A. M. Raja and S. Swamynathan, "Ensemble learning for network data stream classification using similarity and online genetic algorithm classifiers," in Proc. Int. Conf. on Advances in Computing, Communications and Informatics, ICACCI’16, pp. 1601-1607, Jaipur, India, 21-24 Sept. 2016.
[9] Y. Lv, et al., "A classifier using online bagging ensemble method for big data stream learning," Tsinghua Science Technology, vol. 24, no. 4, pp. 379-388, Aug. 2019.
[10] W. Chen, Q. Sun, J. Wang, J. J. Dong, and C. Xu, "A novel AdaBoost and CNN based for vehicle classification," IEEE Access, vol. 6, pp. 60445-60455, 2018.
[11] H. Zhao, H. Yu, D. Li, T. Mao, and H. Zhu, "Vehicle accident risk prediction based on AdaBoost-SO in vanets," IEEE Access, vol. 7, pp. 14549-14557, 2019.
[12] H. Yu, X. Sun, and J. Wang, "Ensemble OS-ELM based on combination weight for data stream classification," Applied Intelligence, vol. 49, no. 6, pp. 2382-2390, 15 Jun. 2019.
[13] D. Vitorio, E. Souza, and A. L. I. Oliveira, "Using active learning sampling strategies for ensemble generation on opinion mining," in Proc. 8th Brazilian Conf. on Intelligent Systems, BRACIS’19, pp. 114-119, Salvador, Brazil, 15-18 Oct. 2019.
[14] Y. Freund and R. E. Schapire, "Experiments with a new boosting algorithm," in Proc. of the 13th Int. Conf. on Machine Learning, pp. 148-156, Bari, Italy, 3-6 Jul. 1996.
[15] B. L. S. da Silva, F. K. Inaba, E. O. T. Salles, and P. M. Ciarelli, "Outlier robust extreme machine learning for multi-target regression," Expert Systems with Applications, vol. 140, Article ID: 112877, Feb. 2020.
[16] G. B. Huang, Q. Y. Zhu, and C. K. Siew, "Extreme learning machine: theory and applications," Neurocomputing, vol. 70, no. 1-3, pp. 489-501, Dec. 2006.
[17] S. Zhang, W. Tan, and Y. Li, "A survey of online sequential extreme learning machine," Proc. of 5th Inte. Conf. on Control, Decision and Information Technologies, CoDIT’18, pp. 45-50, Thessaloniki, Greece, 10-13 Apr. 2018.
[18] G. B. Huang, M. B. Li, L. Chen, and C. K. Siew, "Incremental extreme learning machine with fully complex hidden nodes," Neurocomputing, vol. 71, no. 4-6, pp. 576-583, Jan. 2008.
[19] G. Feng, G. Huang, Q. Lin, and R. Gay, "Error minimized extreme learning machine with growth of hidden nodes and incremental learning," IEEE Trans. on Neural Networks, vol. 20, no. 8, pp. 1352-1357, Aug. 2009.
[20] H. J. Rong, Y. S. Ong, A. H. Tan, and Z. Zhu, "A fast pruned-extreme learning machine for classification problem," Neurocomput., vol. 72, no. 1-3, pp. 359-366, Dec. 2008.
[21] Y. Miche, et al., "OP-ELM: optimally pruned extreme learning machine," IEEE Trans. on Neural Networks, vol. 21, no. 1, pp. 158-162, Jan. 2010.
[22] N. Liu and H. Wang, "Ensemble based extreme learning machine," IEEE Signal Processing Letters, vol. 17, no. 8, pp. 754-757, Aug. 2010.
[23] N. Liang, G. Huang, P. Saratchandran, and N. Sundararajan, "A fast and accurate online sequential learning algorithm for feedforward networks," IEEE Trans. on Neural Networks, vol. 17, no. 6, pp. 1411-1423, Nov. 2006.
[24] W. Guo, T. Xu, K. Tang, J. Yu, and S. Chen, "Online sequential extreme learning machine with generalized regularization and adaptive forgetting factor for time-varying system prediction," Mathematical Problems in Engineering, vol. 2018, Article ID: 6195387, 31 May 2018.
[25] J. Xie, et al., "GSPSO-LRF-ELM: grid search and particle swarm optimization-based local receptive field-enabled extreme learning machine for surface defects detection and classification on the magnetic tiles," Discrete Dynamics in Nature and Society, vol. 2020, Article ID: 4565769, 15 May 2020.
[26] Y. Lan, Y. C. Soh, and G. B. Huang, "Ensemble of online sequential extreme learning machine," Neurocomputing, vol. 72, no. 13-15, pp. 3391-3395, Aug. 2009.
[27] S. Xu and J. Wang, "Dynamic extreme learning machine for data stream classification," Neurocomputing, vol. 238, pp. 433-449, May 2017. [28] O. Aydogdu and M. Ekinci, "A new approach for data stream classification: unsupervised feature representational online sequential extreme learning machine," Multimedia Tools and Applications, vol. 79, no. 37, pp. 27205-27227, Oct. 2020.
[29] W. Li-Wen, G. Wei, and Y. Yi-Cheng, "An online weighted sequential extreme learning machine for class imbalanced data streams," J. of Physics: Conf. Series, vol. 1994, no. 1, Article ID: 012008, 10 pp., Chongqing, China, 9-11 Jul. 2021.
[30] W. Guo, "Robust adaptive online sequential extreme learning machine for predicting nonstationary data streams with outliers," J. of Algorithms & Computational Technology, vol. 13, Article ID: 1748302619895421, 18 Dec. 2019.
[31] Y. Zhang, W. Liu, X. Ren, and Y. Ren, "Dual weighted extreme learning machine for imbalanced data stream classification," J. of Intelligent & Fuzzy Systems, vol. 33, no. 2, pp. 1143-1154, 2017.
[32] B. Mirza, S. Kok, and F. Dong, "Multi-layer Online Sequential Extreme Learning Machine for Image Classification," pp. 39-49, 2016.
[33] S. Ding, L. Guo, and Y. Hou, "Extreme learning machine with kernel model based on deep learning," Neural Computing and Applications, vol. 28, no. 8, pp. 1975-1984, Aug. 2017.
[34] B. Krawczyk, L. Minku, J. Gama, J. Stefanowski, and M. Wozniak, "Ensemble learning for data stream analysis: a survey," Information Fusion, vol. 37, pp. 132-156, Sept. 2017.
[35] UC Irvine Machine Learning Repository, https://archive.ics.uci.edu/ml/index.php (Accessed 03/13, 2020).
متن کامل:
معرفي يک روش جديد خوشه‌يابي خودکار

67                                                                                               نشریه مهندسی برق و مهندسی كامپیوتر ایران، ب- مهندسی کامپیوتر، سال 20، شماره 1، بهار 1401

مقاله پژوهشی

ماشین یادگیری مفرط عمیق: رویکرد ترکیبی یادگیری 
افزایشی برای طبقه‌بندی داده‌های جریانی

جواد حمیدزاده و منا مرادی

 

 

1 

چكیده: داده‌های جریانی متشکل از داده‌هایی است که به ترتیب و با سرعت و حجم زیاد به سیستم وارد می‌شوند. توزیع این داده‌ها ناپایدار بوده و در طول زمان ممکن است تغییر کنند. با توجه به اهمیت این نوع داده‌ها در حوزه‌هایی مهم نظیر اینترنت اشیا، تسریع عملکرد و افزایش توان عملیاتی تحلیل داده‌های بزرگ جریانی به عنوان موضوعی مهم، مورد توجه محققین است. در روش پیشنهادی، از مفهوم یادگیری ترکیبی برخط در مدل بهبودیافته ماشین یادگیر مفرط به منظور طبقه‌بندی داده‌های جریانی استفاده شده است. به دلیل استفاده از رویکرد افزایشی، در هر لحظه تنها یک بلوک داده بدون نیاز به دسترسی به داده‌های پیشین یاد گرفته می‌شود. همچنین با بهره‌گیری از رویکرد آدابوست، وزن‌دهی به طبقه‌بندی‌کننده‌های پایه و تصمیم‌گیری در مورد حفظ و یا حذف آنها بر اساس کیفیت پیش‌بینی‌ها انجام می‌شود. مزیت دیگر روش پیشنهادی، بهره‌گیری از رویکرد مبتنی بر صحت طبقه‌بندی کننده‌ جهت شناسایی رانش مفهوم است که منجر به تسهیل انطباق مدل و افزایش کارایی آن می‌شود. آزمایش‌ها بر روی مجموعه‌ داده‌های استاندارد انجام گردید و روش پیشنهادی به طور میانگین با کسب 90/0% خاص‌بودن، 69/0% حساسیت و 87/0% صحت توانست اختلاف معناداری با دو روش رقیب داشته باشد.

 

کلیدواژه: داده‌های جریانی، رانش مفهوم، ماشین یادگیری مفرط، یادگیری افزایشی.

1-       مقدمه

کاوش در داده‌های جریانی2 در سال‌های اخیر توجه بسیاری از محققان را به خود جلب کرده است. داده‌های جریانی یک رشته از داده‌ها مانند img0 هستند که در زمان‌های img0 img0 به صورت پیوسته تولید می‌شوند و نیازمند پاسخ سریع می‌باشند. داده‌های جریانی دارای ویژگی‌هایی هستند که آنها را از داده‌های سنتی متمایز می‌کند [1]:

حجم زیاد داده‌ها: داده‌های جریانی به صورت پیوسته و در حجم بالا تولید می‌شوند. بنابراین امکان ذخیره‌سازی تمام آنها وجود ندارد و در نتیجه، فرض در دسترس بودن همه داده‌ها در یک زمان صحیح نیست.

سرعت بالای ورود داده‌ها و زمان محدود: به دلیل سرعت بالای ورود داده‌ها، روش‌های سنتی با پیچیدگی محاسباتی بالا برای داده‌های جریانی مناسب به نظر نمی‌رسند. منابع تولیدکننده داده‌های جریانی، توان پردازشی و حافظه محدودی دارند، از سوی دیگر امکان دسترسی نامحدود به داده‌ها وجود نداشته و داده‌های ذخیره‌شده در حافظه نمی‌توانند چندین بار مورد دسترسی قرار بگیرند. در نتیجه میزان حافظه مورد نیاز در این منابع باید 
تا حد امکان کاهش یافته و در عین حال کیفیت نتیجه طبقه‌بندی نیز حفظ شود.

ورود پیوسته داده‌ها: داده‌های جریانی یکی پس از دیگری و به ترتیب زمانی به سیستم وارد می‌شوند؛ بنابراین لازم است مدل یادگیرنده با ورود اطلاعات جدید، سریعاً آموزش دیده و به روز رسانی شود.

نویز: یکی از مشکلات رایج داده‌کاوی، وجود نویز در داده‌ها است که ممکن است به علت برچسب‌گذاری اشتباه داده‌ها و یا نویز در مقادیر ویژگی‌ها رخ دهد. در داده‌های جریانی، همراهی نویز با تغییر مفهوم3، مسئله را دشوارتر می‌سازد زیرا ممکن است نویز به اشتباه، تغییر مفهوم تلقی شود.

رانش مفهوم: منظور از مدل یا مفهوم، قواعد و روابطی است که به کمک آنها می‌توان داده‌ها را به طبقه‌های مختلف منتسب کرد. در داده‌های جریانی، توزیع داده‌ها از قبل مشخص نبوده و ممکن است متأثر از عوامل بیرونی، پیوسته با زمان تغییر کند. در این صورت، مدلی که برای داده‌های گذشته معتبر بوده است با ورود داده‌های جدید، کارایی خود را از دست خواهد داد. در یک دسته‌بندی کلی، رانش مفهوم از نظر سرعت وقوع به پنج دسته تقسیم می‌شود:

        رانش مفهوم تدریجی4: در این نوع رانش، یک تغییر هموار و تدریجی از مفهومی به مفهوم دیگر رخ می‌دهد. مفهوم میانی تولیدشده، یکی از مفاهیم آغازین یا پایانی است.

        رانش مفهوم ناگهانی5: در این نوع رانش، یک تغییر ناگهانی در محتوای کلاس رخ داده و کلاس دیگری ظاهر می‌شود.

        رانش مفهوم افزایشی6: در این نوع رانش، ضمن تغییر از مفهومی به مفهوم دیگر، چندین مفهوم میانی دیگر ظاهر می‌شوند. مفاهیم میانی تولیدشده، ترکیبی از مفاهیم آغازین و پایانی هستند.

        رانش مفهوم بازگشتی7: در این نوع رانش، پس از گذشت زمان، مفاهیم از قبل مشاهده شده، مجدداً ظاهر خواهند شد.

        رانش کوتاه8: در این نوع رانش، داده پرت با مفهوم موجود آمیخته 

[1] این مقاله در تاریخ 22 بهمن ماه 1399 دریافت و در تاریخ 1 آذر ماه 1400 بازنگری شد.

جواد حمیدزاده (نویسنده مسئول)، دانشکده مهندسی کامپیوتر و فناوری اطلاعات، دانشگاه سجاد، مشهد، ایران، (email: j_hamidzadeh@sadjad.ac.ir).

منا مرادی، دانشکده مهندسی برق و کامپیوتر، دانشگاه سمنان، سمنان، ایران، (email: mmoradi@semnan.ac.ir).

[2] . Streaming Data

[3] . Concept Drift

[4] . Gradual

[5] . Sudden

[6] . Incremental

[7] . Recurrent

[8] . Abrupt

img0 

شکل 1:  دسته‌بندی روش‌های طبقه‌بندی داده‌های جریانی.

 

 

        می‌شود که در این حالت، تغییر مفهوم موقتی بوده و داده‌های بعدی را تغییر نخواهد داد.

یکی از مسایل مهم در طراحی طبقه‌بندی‌کننده‌ داده‌های جریانی آن است که نتیجه طبقه‌بندی باید به صورت مداوم به‌روز شده و هر زمان که کاربر مایل به مشاهده نتایج باشد، بتواند این کار را انجام دهد. همچنین الگوریتم طبقه‌بندی داده‌های جریانی، علاوه بر صحت بالا باید مقیاس‌پذیر بوده و به تکامل داده‌ها نیز توجه نماید. از دیدگاه دسترسی به داده، روش‌های طبقه‌بندی داده‌های جریانی به دو دسته تقسیم می‌شوند:

1)        روش‌های مبتنی بر بلوک: در این روش‌ها، داده‌های جریانی در بلوکی با اندازه مشخص وارد شده و طبقه‌بندی و شناسایی رانش مفهوم به ازای هر بلوک انجام می‌شود. عیب این روش‌ها، ناتوانی در تشخیص رانش مفهوم ناگهانی است [2].

2)        روش‌های برخط: در این روش‌ها، پنجره‌ای که حاوی تعداد img0 داده اخیر است در نظر گرفته شده و با ورود هر داده، فرایند طبقه‌بندی و شناسایی رانش مفهوم انجام می‌شود. عیب این روش‌ها، ناتوانی در شناسایی رانش‌های تدریجی و بازگشتی است [3] و [4].

روش‌های احتمالاتی، مبتنی بر همسایگی، مبتنی بر ساختار درختی، مبتنی بر یادگیری ترکیبی و شبکه‌های عصبی، پنج رویکرد پرکاربرد در طبقه‌بندی داده‌های جریانی هستند (شکل 1). روش‌های احتمالاتی معمولاً از الگوریتم بیز و روش‌های مبتنی بر همسایگی [5] از الگوریتم kNN استفاده می‌نمایند. الگوریتم 1VFDT و نسخه‌های توسعه‌یافته آن از مشهورترین روش‌های طبقه‌بندی داده‌های جریانی هستند که از ساختار درختی بهره می‌برند [6]. یادگیری ترکیبی نیز یکی از رویکردهای پرکاربرد جهت بهبود فرایند یادگیری این گونه از داده‌ها است که در آن، ساختار مدل یادگیری به گونه‌ای تنظیم می‌شود که قابلیت تعمیم زیادی دارد، به گونه‌ای که به خطای آزمون کمتری نسبت به مدل‌های ساخته‌شده با یک طبقه‌بندی‌کننده واحد دست یابند [7] و [8]. در شرایطی خاص، یادگیری ترکیبی بهتر از یادگیری بر اساس یک مدل واحد عمل می‌نماید [9]. در [10] تا [13] روش‌های مبتنی بر الگوریتم آدابوست2 [14] برای طبقه‌بندی داده‌های جریانی ارائه گردید. از مهم‌ترین نقاط قوت این روش‌ها، وزن‌دهی به نمونه‌ها و اصلاح وزن نمونه‌های ورودی در هر مرحله و همچنین کاهش خطای طبقه‌بندی است؛ هرچند مهم‌ترین نقطه ضعف این روش‌ها، پیچیدگی زمانی و مشکل‌بودن تنظیم پارامترها است. همچنین شبکه‌های عصبی پیش‌خور3 با یک لایه پنهان با تعداد دلخواه پارامتر و توابع فعال‌سازی دلخواه به طور موفقیت‌آمیزی در طبقه‌بندی داده‌های جریانی کاربرد دارند. اگرچه این نوع از شبکه‌های عصبی از مشکل زمان زیاد فرایند آموزش رنج می‌برند زیرا الگوریتم‌ یادگیری‌شان بر اساس روش‌های گرادیان کاهشی مانند پس‌انتشار خطا است و همگرایی به کمینه4 محلی و نیاز به تنظیم پارامترهای متعدد از خصوصیات آنها است [15].

به منظور غلبه بر این مشکلات، روش ماشین یادگیری مفرط 5(ELM) [16] ارائه گردید. برخلاف الگوریتم‌های یادگیری مبتنی بر گرادیان کاهشی6 که نیازمند تنظیم کل پارامترهای شبکه شامل وزن‌ها و بایاس‌های لایه‌های شبکه پیش‌خور با یک لایه پنهان در طول فرایند یادگیری تکراری هستند، ELM وزن‌های اتصالی از لایه ورودی به لایه پنهان و بایاس‌های نورون‌های مخفی را به طور تصادفی تولید می‌نماید. علاوه بر این، وزن‌های اتصالی از لایه پنهان به لایه خروجی به طور تحلیلی با معکوس‌کردن لایه پنهان و ضرب خروجی آموزشی و با استفاده از روش حداقل مربعات تعیین شده است و در نتیجه، قابلیت تعمیم خوب با هزینه محاسباتی بسیار پایین دارد و از آنجا که پس از تکمیل فرایند آموزش شبکه، به تنظیم پارامتر در شبکه نمی‌پردازد آموزش، سریع‌تر انجام می‌شود. علی‌رغم مزایای گفته‌شده، ELM ممکن است با کاستی‌هایی همراه باشد:

1)        به دلیل تعیین تصادفی پارامترهای نورون‌های لایه پنهان ممکن است بعضی از پارامترهای غیر بهینه تولید شوند که در عملکرد و ثبات شبکه تأثیر خواهند داشت. این مسئله در مدل‌هایی با تعداد زیادی از نورون‌های پنهان ممکن است منجر به پیچیدگی زیاد الگوریتم شود.

2)        از آنجا که این روش برای به حداقل رساندن خطای آموزش از کل داده‌های آموزشی استفاده می‌کند، ممکن است مشکل بیش‌برازش را به همراه داشته باشد.

3)        در کاربردهای برخط که نیازمند به روز رسانی مداوم مدل‌ها است، الگوریتم ELM پس از ورود داده‌های جدید، آنها را به داده‌های قبلی اضافه کرده و کل داده‌ها مجدداً آموزش داده خواهند شد که منجر به صرف هزینه و زمان محاسباتی زیادی خواهد گردید.

تا کنون روش‌های گوناگونی برای بهبود الگوریتم ELM ارائه شده‌اند [17]. مؤلفان در [18] و [19] با افزایش و در [20] و [21] با کاهش تعداد نورون‌های لایه مخفی و با بهره‌گیری از یادگیری افزایشی، سعی در بهبود کارایی ELM داشتند. روش [22] به منظور افزایش قابلیت تعمیم 
ELM معرفی گردید. در [23] و [24] نیز با استفاده از یادگیری افزایشی، طبقه‌بندی‌کننده‌های داده‌های جریانی دارای رانش مفهوم ارائه‌شده، از قابلیت تعمیم و سرعت قابل قبولی برخوردار هستند. در [25] روشی با هدف بهینه‌سازی پارامترهای ELM معرفی گردید.

در این مقاله، به منظور طبقه‌بندی داده‌های جریانی در حضور رانش مفهوم، طبقه‌بندی‌کننده مبتنی بر یادگیری ترکیبی با استفاده از مدل 

[1] . Very Fast Decision Tree

[2] . AdaBoost

[3] . Feed Forward Neural Networks

[4] . Minimum

[5] . Extreme Machine Learning

[6] . Descent Gradiant

img0 

شکل 2:  روندنمای DELM.

 

 

بهبودیافته ماشین یادگیری مفرط به نام یادگیری مفرط عمیق 1(DELM) ارائه شده است. به دلیل بهره‌مندی از رویکرد یادگیری افزایشی، روش پیشنهادی به نمونه‌های موجود در بلوک داده‌های پیشین بی‌نیاز بوده و در عین حال می‌تواند کارایی‌اش را در صورت عدم اعتبار طبقه‌بندی‌کننده حفظ نماید. این روش با استفاده از داده‌های بلوک زمان جاری می‌تواند با تغییرات رخ‌داده در داده‌های جریانی تطبیق یافته و وجود داده‌های مرزی و نویزی، تأثیری بر عملکرد آن نخواهد داشت. همچنین روش پیشنهادی به دلیل تلفیق با روش آدابوست، توانسته است بر مشکل بیش‌برازش ELM غلبه نماید.

سازمان‌دهی مقاله به صورت زیر است: کارهای پیشین در بخش دوم آورده شده است. روش پیشنهادی و آزمایش‌های انجام‌شده در بخش‌های سوم و چهارم بیان گردیده‌اند و همچنین در بخش پنجم، نتیجه‌گیری و کارهای آینده ارائه شده‌اند.

2-       کارهای پیشین

از آنجا که روش پیشنهادی مبتنی بر ماشین یادگیری مفرط است، این بخش به مروری بر تعدادی از روش‌های ارائه‌شده در این حوزه می‌پردازد.

در [12] طبقه‌بندی‌کننده برخط داده‌های جریانی ایستا با استفاده از مفاهیم ترکیبی و معماری ELM ارائه گردید. در روش مذکور، ایجاد مدل بر اساس همبستگی میان طبقه‌بندی‌کننده‌ها و تغییرات خطای آزمایش است. وزن‌دهی اولیه توسط الگوریتم آدابوست و در نهایت بهبود آنها با استفاده از نظریه بازی‌ها انجام می‌شود. مؤلفان در [26] طبقه‌بندی‌کننده برخط ترکیبی مبتنی بر معماری ELM برای مجموعه داده‌های بزرگ ارائه نمودند. روش [27] از رویکرد یادگیری برخط در ELM برای طبقه‌بندی داده‌های جریانی دارای رانش مفهوم استفاده می‌کند. در این روش جهت حفظ قابلیت تعمیم به هنگام وقوع رانش مفهوم، به تعداد گره‌های لایه مخفی افزوده می‌شود. در [28] رویکرد طبقه‌بندی داده‌های جریانی مبتنی بر ELM با کمک استخراج ویژگی بدون نظارت و یادگیری ترکیبی ارائه گردید. در روش [29] به حل مسئله عدم توازن داده‌های جریانی مبتنی بر ELM پرداخته شده است. در [30] طبقه‌بندی‌کننده مقاوم به نویز و رانش مفهوم داده‌های جریانی مبتنی بر ELM با استفاده از تخمین‌گر img0 و مکانیسم فراموشی متغیر معرفی گردید. در [31] رویکرد ترکیبی برخط و وزن‌دهی مبتنی بر چگالی جهت تنظیم وزن داده‌های جریانی نامتوازن و بهبود ELM ارائه شده است.

در سال‌های اخیر با افزایش محبوبیت یادگیری عمیق از آن برای بهبود ELM بهره گرفته شده است. مرجع [32] با استفاده از تخصیص اتوانکدر به هر لایه مخفی ELM به حل مسئله طبقه‌بندی داده‌های جریانی می‌پردازد. با در نظر گرفتن وجود تنها یک لایه مخفی در ELM، بنابراین فرایند استخراج ویژگی نیازمند توجه بیشتری است. بدین منظور، روش [33] با استفاده از مفهوم کرنل و نگاشت به فضای با ابعاد بالاتر، سعی در بهبود استخراج ویژگی در ELM دارد.

بررسی کارهای انجام‌شده در حوزه طبقه‌بندی داده‌های جریانی مبتنی بر ماشین یادگیری مفرط نشان می‌دهد که در اغلب روش‌ها با ورود داده جدید، آموزش به صورت مجدد انجام شده و راهکار یادگیری تدریجی مغفول مانده یا در صورت استفاده از رویکرد یادگیری تدریجی، به چالش رانش مفهوم توجهی نشده و بنابراین با در نظر گرفتن این مسایل، روش پیشنهادی ارائه گردیده است. همچنین روش پیشنهادی با استفاده از یادگیری ترکیبی و حفظ دانش معتبر کسب‌شده از داده‌های پیشین می‌تواند پیش‌بینی‌های دقیق‌تری در صورت وقوع رانش مفهوم داشته باشد.

3-       ماشین یادگیری مفرط عمیق

روش پیشنهادی با نام DELM با هدف طبقه‌بندی داده‌های جریانی و بر اساس رویکرد آدابوست و با طبقه‌بندی‌کننده‌های پایه ELM تعریف می‌شود و برای درک بهتر، روندنمای آن در شکل 2 نشان داده شده است. آدابوست یکی از مهم‌ترین رویکرد‌های یادگیری ترکیبی است که به منظور افزایش قابلیت تعمیم و دقت طبقه‌بندی‌کننده‌های پایه استفاده می‌شود. آدابوست نسبت به داده‌های نویزی و پرت حساس است، ولی نسبت به مشکل بیش‌برازش به بیشتر الگوریتم‌های یادگیری برتری دارد. در الگوریتم آدابوست در هر دور img0، یک طبقه‌بندی‌کننده‌ ضعیف، اضافه و در هر فراخوانی بر اساس اهمیت داده‌ها، وزن‌ها به‌روز می‌شوند. در هر تکرار، وزن داده‌های غلط طبقه‌بندی‌شده افزایش می‌یابند و وزن داده‌های درست طبقه‌بندی‌شده کاهش داده می‌شوند و بنابراین طبقه‌بندی‌کننده‌ جدید بر داده‌هایی که سخت‌تر یاد گرفته می‌شوند، متمرکز خواهد بود [34].

فرض کنید داده‌های جریانی، یک رشته از داده‌های عددی مانند img0 img0 هستند که در زمان‌های img0 img0 تولید می‌شوند. چنانچه img0 برچسب داده img0 تولیدشده در زمان img0 باشد، دوتایی img0 نشان‌دهنده یک داده برچسب‌دار در زمان img0 است. برای پیش‌بینی برچسب img0 مربوط به داده img0، روش پیشنهادی از مکانیسم پنجره لغزان با اندازه img0 استفاده می‌کند؛ بدین معنی که در زمان جاری img0، img0 داده برچسب‌دار اخیر در بلوک img0 قابل دسترس هستند و برای آموزش طبقه‌بندی‌کننده مورد استفاده قرار می‌گیرند. در گام بعد به منظور کاهش زمان پردازش، استخراج ویژگی به روش تحلیل مؤلفه‌های اصلی 2(PCA) انجام می‌شود و بدین ترتیب، تأثیر ویژگی‌هایی که کمترین ارتباط را با طبقه مربوط دارند حذف می‌شود img0.

اکنون با در نظر گرفتن الگوریتم آدابوست با طبقه‌بندی‌کننده‌های پایه ELM و با فرض تعداد تکرار img0، مقداردهی اولیه وزن داده‌ها به صورت img0 که img0، img0 بوده و همچنین با فرض در اختیار داشتن اولین بلوک داده img0 با اندازه img0، img0 وزن img0 و بایاس img0، از (1) برای محاسبه ماتریس خروجی لایه پنهان img0 با تعداد img0 نورون و ماتریس هدف اولیه img0 استفاده می‌گردد

img0        (1)

img0        (2)

به همین ترتیب، وزن خروجی اولیه img0 به صورت (3) است

img0        (3)

که در آن img0 و img0 است.

برای طبقه‌بندی‌کننده‌های ضعیف img0، طبقه‌بندی‌کننده‌ img0 به گونه‌ای انتخاب می‌شود که میزان خطا نسبت به توزیع، کمینه گردد

img0        (4)

در (4)، img0 یک تابع نشان‌گر است که در صورت صحت، مقدار آن برابر یک و در غیر این صورت برابر صفر می‌شود.

خطای img0 از (5) محاسبه می‌گردد

img0        (5)

اگر img0 و img0 یک آستانه از پیش تعیین شده باشد، نیازی به به روز رسانی وزن داده‌ها نیست. در غیر این صورت به روز رسانی با استفاده از (6) صورت می‌گیرد

img0        (6)

معمولاً img0 برای img0 در نظر گرفته می‌شود 
و img0 یک عامل نرمال‌سازی با مقدار img0 است که موجب می‌گردد img0 یک توزیع احتمالاتی مجاز را نشان دهد.

خروجی نهایی طبقه‌بندی‌کننده‌ها از (7) محاسبه می‌شود

img0        (7)

توجه داشته باشید که توزیع img0 به گونه‌ای به‌روز می‌شود که

img0        (8)

بدین ترتیب، به آن دسته از داده‌های img0 که طبقه‌بندی‌کننده‌ img0 آنها را غلط طبقه‌بندی می‌کند وزن بیشتری تخصیص می‌یابد. در روش آدابوست، زمانی که طبقه‌بندی‌کننده‌ها بر اساس توزیع img0 سنجیده می‌شوند، طبقه‌بندی‌کننده‌ای انتخاب می‌شود که توانایی بیشتری در تشخیص نمونه‌های غلط طبقه‌بندی‌شده را داشته باشد.

با ورود img0امین بلوک داده، به روز رسانی بلوک داده (رابطه (9))، ماتریس خروجی لایه پنهان img0 (رابطه (10)) و ماتریس هدف img0 (رابطه (11))، به صورت زیر انجام می‌شود

img0        (9)

img0        (10)

img0        (11)

که در آن img0 اندازه بلوک داده با برچسب زمانی img0 است. همچنین ماتریس وزن خروجی img0 از (12) و (13) به دست می‌آید

img0        (12)

img0        (13)

از آنجا که ماتریس وزن خروجی img0 به محاسبات پیچیده وارون ماتریس نیازمند است، بنابراین از (14) برای کاهش محاسبات استفاده می‌شود

img0        (14)

و در ادامه، رویکرد پیشنهادی در مواجهه با تغییرات داده‌های جریانی ذکر می‌گردد.

DELM برای به روز رسانی طبقه‌بندی‌کننده‌ها از مکانیسم یادگیری توالی افزایشی استفاده می‌کند. به عبارتی دیگر این روش، خود راهی برای مقابله با تغییر تدریجی مفهوم پیدا نموده و این اطمینان را می‌دهد که نیازی به آموزش مجدد و مستمر نخواهد داشت. رویکرد روش پیشنهادی در شناسایی تغییرات موجود در داده‌های جریانی بدین صورت است: فرض می‌کنیم برای بلوک داده img0 در زمان img0ام، میزان خطای طبقه‌بندی‌کننده‌ img0 است که یک متغیر تصادفی بوده و از توزیع برنولی پیروی می‌کند. میزان پراکندگی خطا از (15) محاسبه می‌شود

img0        (15)

که img0 تعداد نمونه‌های موجود در بلوک است. با در نظر گرفتن مقادیر img0 و img0، تغییر داده‌های جریانی به سه حالت پایدار، اخطار و تغییر مفهوم دسته‌بندی می‌شود.

حالت پایدار: اگر img0 و img0 باشد، بدین معناست که میزان خطای طبقه‌بندی‌کننده‌ها در سطح پایینی است و مفهوم داده‌های جریانی در جایی که img0 آستانه باشد ثابت است. بنابراین طبقه‌بندی‌کننده‌ها برای طبقه‌بندی داده‌های جریانی فعلی مناسب بوده و نیاز به تطبیق ندارند [12].

حالت اخطار: اگر img0 و img0 باشد، بدین معناست  که  میزان  خطای  طبقه‌بندی‌کننده‌ها  همچنان  در  سطح  پایینی 

 

Requirements: Data stream img0, Block img0, img0 and img0 classifiers;

while img0 do

     Get img0;

     Employ PCA

     if img0 and img0 then

          The data stream is stable. The ensemble classifier remains

          unchanged.

          if img0 and img0 then

               Incremental learning is done by updating the classifiers;

          else if img0 and img0 then

               Concept drift has happened;

               Ignore all classifiers and retrain them

     End if

     Return label

End while

 

شکل 3: الگوریتم 1- شناسایی تغییرات در روش پیشنهادی DELM.

 

است، اما عملکرد طبقه‌بندی‌کننده‌ها نوسان بزرگی دارد. در این حالت، طبقه‌بندی‌کننده‌ها هشدار می‌دهند و DELM از مکانیسم یادگیری توالی افزایشی برای به روز رسانی هر طبقه‌بندی‌کننده‌ استفاده می‌کند.

حالت تغییر مفهوم: اگر img0 یا img0 باشد، این نشان می‌دهد که تغییر داده‌های جریانی بسیار چشم‌گیر است یا عملکرد طبقه‌بندی‌کننده‌ها در سطح پایینی است. در این شرایط، مدل طبقه‌بندی برای جریان داده فعلی مناسب نبوده است و بنابراین همه طبقه‌بندی‌کننده‌ها، حذف و مجدداً فرایند آموزش انجام می‌گردد. چگونگی مواجهه با تغییرات موجود در داده‌های جریانی توسط روش پیشنهادی در شکل 3 نشان داده شده است.

4-       آزمایش‌ها

اکنون براي بررسي كارايي روش پيشنهادي، از دو طبقه‌بندی‌کننده داده‌های جریانی مبتنی بر ماشین یادگیری مفرط استفاده شده است. در ادامه، مجموعه داده‌های مورد استفاده، معيار ارزيابي و نتایج حاصل از آزمایش‌ها تشريح گردیده است.

4-1 مجموعه داده‌ها

در جدول 1 مجموعه داده‌های استخراج‌شده از مخزن UCI [35] با ذکر تعداد نمونه‌ها، ویژگی‌ها و طبقه‌های آنها مشاهده می‌شوند. مجموعه داده‌ها از کاربردهای مختلف نظیر داده‌های زیستی (Abalone)، داده‌های تصویری (Segment, Sattelite Image)، داده‌های تراکنش مالی (Credit Card)، داده‌های تشخیص نفوذ (Website Phishing) و فیزیک (Waveform) بوده و تنوع زیادی از نظر تعداد نمونه‌ها (2310 تا 30000)، تعداد ویژگی‌ها (8 تا 36) و تعداد طبقه‌ها (2 تا 7) دارند. مقادیر ویژگی‌های این مجموعه داده‌ها شامل اعداد حقیقی و صحیح و فاقد مقادیر گم‌شده هستند.

4-2 معیارهای ارزیابی

معیارهای مورد استفاده در ارزیابی روش پیشنهادی عبارت هستند از صحت (رابطه (16))، حساسیت3 (رابطه (17)) برای بررسی دقت الگوریتم در تشخیص نمونه‌های مثبت، خاص‌بودن4 (رابطه (18)) برای بررسی 
دقت  الگوریتم  در  تشخیص  نمونه‌های  منفی،  1F  (رابطه  (19))  و  ضریب 

جدول 1: مجموعه داده‌ها.

 

مجموعه داده

تعداد نمونه‌ها

تعداد ویژگی‌ها

تعداد طبقه‌ها

Abalone

4177

8

3

Segment

2310

23

2

Credit Card

30000

19

7

Waveform

5000

36

6

Website Phishing

2456

21

3

Satellite Image

6435

36

6

 

همبستگی متیوز 5(MCC) (رابطه (20)) که به صورت زیر تعریف می‌شوند

img0        (16)

img0        (17)

img0        (18)

img0        (19)

img0        (20)

ضریب همبستگی متیوز بیانگر وابستگی میان متغیر پیش‌بینی شده و مقادیر واقعی آن بوده و مقداری در بازه img0 دارد. مقدار img0 نشان‌دهنده پیش‌بینی فاقد خطای طبقه‌بندی‌کننده، مقدار 0 بیان‌کننده پیش‌بینی تصادفی و مقدار img0 عدم تطابق کامل میان مقادیر پیش‌بینی شده و مقادیر واقعی است. در محاسبه معیارهای مذکور از نمادهای img0، img0، img0 و img0 استفاده شده که این نمادها عبارت هستند از:

img0: تعداد داده‌هایی که به اشتباه منفی تشخیص داده شده‌اند.

img0: تعداد داده‌هایی که به اشتباه مثبت تشخیص داده شده‌اند.

img0: تعداد داده‌هایی که به درستی منفی تشخیص داده شده‌اند.

img0: تعداد داده‌هایی که به درستی مثبت تشخیص داده شده‌اند.

علاوه بر این، کارایی روش پیشنهادی از نظر زمان اجرا سنجیده شده است. منظور از زمان اجرا، فاصله زمانی میان لحظه ورود داده به الگوریتم تا اعلام نتایج شبیه‌سازی توسط الگوریتم است.

4-3 نتایج

مقایسه کارایی روش DELM با 2 روش CWEOS-ELM [12] و E-OS-ELM [26] توسط نرم‌افزار متلب 2016 روی سیستمی با پردازنده 30/2 گیگاهرتز و 8 گیگابایت RAM و با استفاده از اعتبارسنجی متقابل به روش Leave-one-out انجام شده است. در DELM با استفاده از آزمون و خطا، تعداد طبقه‌بندی‌کننده‌ها img0 و حد آستانه img0 تنظیم شده است. همچنین به مجموعه داده Abalone، 25 نورون در لایه مخفی، به مجموعه داده‌های Segment و Credit هر کدام 50 نورون، به Waveform تعداد 500 نورون و به Website phishing و Sattelite image نیز هر کدام 100 نورون تخصیص یافته است. تابع فعال‌سازی، سیگموئید انتخاب شده و نتایج آزمایش‌ها در جدول 2 آمده‌اند.

جدول 2: مقایسه معیارهای ارزیابی به درصد (بهترین نتایج، پررنگ شده‌اند).

 

DELM

CWEOS-ELM

E-OS-ELM

معیار

مجموعه داده

62/0

82/0

64/0

MCC

Abalone

84/0

78/0

76/0

1F

78/0

78/0

48/0

Specificity

59/0

54/0

55/0

Sensitivity

63/0

63/0

62/0

Accuracy

58/1

22/1

19/1

Time (s)

98/0

82/0

78/0

MCC

Segment

92/0

87/0

76/0

1F

99/0

87/0

76/0

Specificity

89/0

82/0

79/0

Sensitivity

96/0

93/0

94/0

Accuracy

56/1

19/0

15/0

Time (s)

95/0

85/0

75/0

MCC

Credit Card

34/0

14/0

27/0

1F

89/0

86/0

69/0

Specificity

30/0

14/0

11/0

Sensitivity

83/0

82/0

81/0

Accuracy

97/6

52/5

84/4

Time (s)

84/0

81/0

68/0

MCC

Waveform

94/0

76/0

73/0

1F

86/0

83/0

60/0

Specificity

81/0

74/0

67/0

Sensitivity

90/0

89/0

88/0

Accuracy

99/1

98/0

56/0

Time (s)

94/0

74/0

79/0

MCC

Website Phishing

92/0

85/0

85/0

1F

93/0

80/0

73/0

Specificity

66/0

65/0

53/0

Sensitivity

94/0

93/0

92/0

Accuracy

64/0

60/0

41/0

Time (s)

94/0

85/0

75/0

MCC

Satellite Image

90/0

82/0

94/0

1F

96/0

88/0

76/0

Specificity

89/0

77/0

79/0

Sensitivity

97/0

97/0

96/0

Accuracy

03/28

14/23

16/19

Time (s)

 

همچنین برای نشان‌دادن معنی‌داربودن آزمایش‌ها از آزمون آنالیز واریانس (Turkey's Honestly (HSD)) استفاده گردیده است. نتایج مندرج در جدول 3 نشان می‌دهند که روش پیشنهادی از نظر معیار ضریب همبستگی متیوز با هیچ کدام از دو روش رقیب، اختلاف معناداری ندارد. از نظر خاص‌بودن، حساسیت و صحت با هر دو روش اختلاف معنادار داشته اما از نظر معیار 1F تنها با روش CWEOS-ELM اختلاف معنادار دارد. از آنجا که روش مذکور برای داده‌های جریانی ناایستا طراحی شده و در برابر رانش مفهوم راه حلی ارائه نداده است، بنابراین نتایج به دست آمده قابل توجیه می‌باشند.

جدول 3: نتایج آزمون HSD روش DELM.

 

معیار

میانگین

وجود اختلاف معنادار

MCC

88/0

-

1F

81/0

CWEOS-ELM

Specificity

90/0

CWEOS-ELM, E-OS-ELM

Sensitivity

69/0

CWEOS-ELM, E-OS-ELM

Accuracy

87/0

CWEOS-ELM, E-OS-ELM

Time (s)

80/6

-

 

علاوه بر این، همان طور که مشاهده می‌شود روش پیشنهادی از نظر زمان اجرا نیز تفاوت معناداری با دو روش رقیب ندارد. بدین معنا که یادگیری افزایشی استفاده‌شده در روش پیشنهادی توانسته است ضمن حفظ نتایج قابل قبول عملکردی، موجب کاهش محاسبات پیچیده و در نتیجه، کم‌شدن زمان اجرا شود.

5-       نتیجه‎گیری و کارهای آینده

در روش پیشنهادی، یک رویکرد ترکیبی یادگیری افزایشی مبتنی بر ماشین یادگیری مفرط برای طبقه‌بندی داده‌های جریانی به نام DELM ارائه گردید که توانست در مقایسه با دو روش دیگر مبتنی بر یادگیری مفرط عمیق از نظر معیارهای خاص‌بودن، حساسیت و صحت برتری یابد. همچنین از نظر معیارهای 1F، ضریب همبستگی متیوز و زمان اجرا تفاوت معناداری با روش‌های رقیب مشاهده نگردید. الگوریتم آدابوست 
به کار گرفته شده در روش پیشنهادی بر مشکل بیش‌برازش ELM غلبه می‌نماید. همچنین استفاده از رویکرد یادگیری افزایشی و به روز رسانی طبقه‌بندی‌کننده‌ها تنها در صورت رخداد رانش مفهوم، می‌تواند از آموزش مجدد طبقه‌بندی‌کننده‌ها به ازای هر تغییر در توزیع داده‌ها توسط ELM جلوگیری نماید. البته هنوز مشکل دیگر ELM یعنی تنظیم مقداردهی تصادفی پارامترهای نورون‌های لایه پنهان پابرجا بوده و می‌تواند تأثیر منفی بر عملکرد بهینه روش پیشنهادی داشته باشد.

به عنوان کارهای آینده، ارائه راهکارهای مناسب برای حل مسایل مقداردهی پارامترهای نورون‌های لایه مخفی و پیش‌بینی برچسب داده‌های جریانی در شرایطی که ویژگی‌های جدید به فضای ویژگی آن افزوده می‌شود در نظر گرفته شده‌اند.

مراجع

[1]       J. Lu, A. Liu, F. Dong, F. Gu, J. Gama, and G. Zhang, "Learning under concept drift: a review," IEEE Trans. on Knowledge Data Engineering, vol. 31, no. 12, pp. 2346-2363, Dec. 2018.

[2]       X. Zheng, P. Li, X. Hu, and K. Yu, "Semi-supervised classification on data streams with recurring concept drift and concept evolution," Knowledge-Based Systems, vol. 215, Article ID: 106749, Mar. 2021.

[3]       J. Ko and M. Comuzzi, "Keeping our rivers clean: information-theoretic online anomaly detection for streaming business process events," Information Systems, vol. 104, Article ID: 101894, Feb. 2022.

[4]       H. Tavasoli, B. J. Oommen, and A. Yazidi, "On utilizing weak estimators to achieve the online classification of data streams," Engineering Applications of Artificial Intelligence, vol. 86, no. C, pp. 11-31, Nov. 2019.

[5]       H. D. Dilectin and R. B. V. Mercy, "Classification and dynamic class detection of real time data for tsunami warning system," in Proc. Int. Conf. on Recent Advances in Computing and Software Systems, pp. 124-129, Chennai, India, 25-27 Apr. 2012.

[6]       G. Liu, H. Cheng, Z. Qin, Q. Liu, and C. Liu, "E-CVFDT: an improving CVFDT method for concept drift data stream," in Proc. Int. Conf. on Communications, Circuits and Systems, ICCCAS’13, vol. 1, pp. 315-318, Chengdu, China, 15-17 Nov. 2013.

[7]       J. Guan, W. Guo, H. Chen, and O. Lou, "An ensemble of classifiers algorithm based on GA for handling concept-drifting data streams," in Proc. 6th Int. Symp. on Parallel Architectures, Algorithms and Programming, pp. 282-284, Beijing, China, 13-15 Jul. 2014.

[8]       M. A. M. Raja and S. Swamynathan, "Ensemble learning for network data stream classification using similarity and online genetic algorithm classifiers," in Proc. Int. Conf. on Advances in Computing, Communications and Informatics, ICACCI’16, pp. 1601-1607, Jaipur, India, 21-24 Sept. 2016.

[9]       Y. Lv, et al., "A classifier using online bagging ensemble method for big data stream learning," Tsinghua Science Technology, vol. 24,
no. 4, pp. 379-388, Aug. 2019.

[10]       W. Chen, Q. Sun, J. Wang, J. J. Dong, and C. Xu, "A novel AdaBoost and CNN based for vehicle classification," IEEE Access, vol. 6,  pp. 60445-60455, 2018.

[11]       H. Zhao, H. Yu, D. Li, T. Mao, and H. Zhu, "Vehicle accident risk prediction based on AdaBoost-SO in vanets," IEEE Access, vol. 7, pp. 14549-14557, 2019.

[12]       H. Yu, X. Sun, and J. Wang, "Ensemble OS-ELM based on combination weight for data stream classification," Applied Intelligence, vol. 49, no. 6, pp. 2382-2390, 15 Jun. 2019.

[13]       D. Vitorio, E. Souza, and A. L. I. Oliveira, "Using active learning sampling strategies for ensemble generation on opinion mining," in Proc. 8th Brazilian Conf. on Intelligent Systems, BRACIS’19, pp. 114-119, Salvador, Brazil, 15-18 Oct. 2019.

[14]       Y. Freund and R. E. Schapire, "Experiments with a new boosting algorithm," in Proc. of the 13th Int. Conf. on Machine Learning, pp. 148-156, Bari, Italy, 3-6 Jul. 1996.

[15]       B. L. S. da Silva, F. K. Inaba, E. O. T. Salles, and P. M. Ciarelli, "Outlier robust extreme machine learning for multi-target regression," Expert Systems with Applications, vol. 140, Article ID: 112877, Feb. 2020.

[16]       G. B. Huang, Q. Y. Zhu, and C. K. Siew, "Extreme learning machine: theory and applications," Neurocomputing, vol. 70, no. 1-3, pp. 489-501, Dec. 2006.

[17]       S. Zhang, W. Tan, and Y. Li, "A survey of online sequential extreme learning machine," Proc. of 5th Inte. Conf. on Control, Decision and Information Technologies, CoDIT’18, pp. 45-50, Thessaloniki, Greece, 10-13 Apr. 2018.

[18]       G. B. Huang, M. B. Li, L. Chen, and C. K. Siew, "Incremental extreme learning machine with fully complex hidden nodes," Neurocomputing, vol. 71, no. 4-6, pp. 576-583, Jan. 2008.

[19]       G. Feng, G. Huang, Q. Lin, and R. Gay, "Error minimized extreme learning machine with growth of hidden nodes and incremental learning," IEEE Trans. on Neural Networks, vol. 20, no. 8, pp. 1352-1357, Aug. 2009.

[20]       H. J. Rong, Y. S. Ong, A. H. Tan, and Z. Zhu, "A fast pruned-extreme learning machine for classification problem," Neurocomput., vol. 72, no. 1-3, pp. 359-366, Dec. 2008.

[21]       Y. Miche, et al., "OP-ELM: optimally pruned extreme learning machine," IEEE Trans. on Neural Networks, vol. 21, no. 1, pp. 158-162, Jan. 2010.

[22]       N. Liu and H. Wang, "Ensemble based extreme learning machine," IEEE Signal Processing Letters, vol. 17, no. 8, pp. 754-757, Aug. 2010.

[23]       N. Liang, G. Huang, P. Saratchandran, and N. Sundararajan, "A fast and accurate online sequential learning algorithm for feedforward networks," IEEE Trans. on Neural Networks, vol. 17, no. 6, pp. 1411-1423, Nov. 2006.

[24]       W. Guo, T. Xu, K. Tang, J. Yu, and S. Chen, "Online sequential extreme learning machine with generalized regularization and adaptive forgetting factor for time-varying system prediction," Mathematical Problems in Engineering, vol. 2018, Article ID: 6195387, 31 May 2018.

[25]       J. Xie, et al., "GSPSO-LRF-ELM: grid search and particle swarm optimization-based local receptive field-enabled extreme learning machine for surface defects detection and classification on the magnetic tiles," Discrete Dynamics in Nature and Society, vol. 2020, Article ID: 4565769, 15 May 2020.

[26]       Y. Lan, Y. C. Soh, and G. B. Huang, "Ensemble of online sequential extreme learning machine," Neurocomputing, vol. 72, no. 13-15, pp. 3391-3395, Aug. 2009.

[27]       S. Xu and J. Wang, "Dynamic extreme learning machine for data stream classification," Neurocomputing, vol. 238, pp. 433-449, May 2017.

[28]       O. Aydogdu and M. Ekinci, "A new approach for data stream classification: unsupervised feature representational online sequential extreme learning machine," Multimedia Tools and Applications, vol. 79, no. 37, pp. 27205-27227, Oct. 2020.

[29]       W. Li-Wen, G. Wei, and Y. Yi-Cheng, "An online weighted sequential extreme learning machine for class imbalanced data streams," J. of Physics: Conf. Series, vol. 1994, no. 1, Article ID: 012008, 10 pp., Chongqing, China, 9-11 Jul. 2021.

[30]       W. Guo, "Robust adaptive online sequential extreme learning machine for predicting nonstationary data streams with outliers," J. of Algorithms & Computational Technology, vol. 13, Article ID: 1748302619895421, 18 Dec. 2019.

[31]       Y. Zhang, W. Liu, X. Ren, and Y. Ren, "Dual weighted extreme learning machine for imbalanced data stream classification," J. of Intelligent & Fuzzy Systems, vol. 33, no. 2, pp. 1143-1154, 2017.

[32]       B. Mirza, S. Kok, and F. Dong, "Multi-layer Online Sequential Extreme Learning Machine for Image Classification," pp. 39-49, 2016.

[33]       S. Ding, L. Guo, and Y. Hou, "Extreme learning machine with kernel model based on deep learning," Neural Computing and Applications, vol. 28, no. 8, pp. 1975-1984, Aug. 2017.

[34]       B. Krawczyk, L. Minku, J. Gama, J. Stefanowski, and M. Wozniak, "Ensemble learning for data stream analysis: a survey," Information Fusion, vol. 37, pp. 132-156, Sept. 2017.

[35]       UC Irvine Machine Learning Repository, https://archive.ics.uci.edu/ml/index.php (Accessed 03/13, 2020).

 

جواد حمیدزاده تحصيلات خود را در مقاطع كارشناسي و كارشناسي ارشد مهندسی کامپیوتر به­ترتيب در سال­هاي 1374 و 1376 از دانشگاه صنعتی شریف و در مقطع دكتري مهندسی كامپيوتر در سال‌ 1391 از دانشگاه فردوسی مشهد به پايان رسانده است و هم­اكنون دانشیار دانشكده مهندسي كامپيوتر و فناوری اطلاعات دانشگاه سجاد مي‎باشد. زمينه‎هاي تحقيقاتي مورد علاقه ايشان عبارتند از: یادگیری ماشین، شناسایی الگو، محاسبات نرم و كاربردهاي آن، شبكه‌هاي كامپيوتري.

 

منا مرادي تحصيلات خود را در مقاطع كارشناسي و كارشناسي ارشد مهندسی کامپیوتر به­ترتيب در سال­هاي 1387 و 1392 از دانشگاه آزاد اسلامی مشهد و دانشگاه آزاد اسلامی فردوس به پايان رسانده است و هم اكنون دانشجوی دکتری دانشكده مهندسي برق و كامپيوتر دانشگاه سمنان مي‎باشد. زمينه‎هاي تحقيقاتي مورد علاقه ايشان عبارتند از: یادگیری ماشین، شناسایی الگو، محاسبات نرم و یادگیری انتقالی.

 

 

[1] . Deep Extreme Learning Machine

[2] . Principal Component Analysis

[3] . Sensitivity

[4] . Specificity

[5] . Matthews Correlation Coefficient

 

 


مقالات مرتبط

حقوق این وب‌سایت متعلق به سامانه مدیریت نشریات رایمگ است.
حق نشر © 1403-1396

صفحه اصلی| عضویت/ ورود| درباره رایمگ| تماس با ما|
[English] [العربية] [en] [ar]