Manuscript ID : 13991107261922 Visit : 3498 Page: 66 - 72

Article Type: Original Research

Deep Extreme Learning Machine: A Combined Incremental Learning Approach for Data Stream Classification

Subject Areas : electrical and computer engineering

Javad Hamidzadeh ¹ (Faculty of Computer Engineering and Information Technology, Sadjad University )
Mona Moradi ²

Received: 2021-01-26 Accepted : 2022-02-27 Published : 2022-06-20

Keywords: Concept drift, data stream, extreme machine learning, incremental learning,

Abstract :

Streaming data refers to data that is continuously generated in the form of fast streams with high volumes. This kind of data often runs into evolving environments where a change may affect the data distribution. Because of a wide range of real-world applications of data streams, performance improvement of streaming analytics has become a hot topic for researchers. The proposed method integrates online ensemble learning into extreme machine learning to improve the data stream classification performance. The proposed incremental method does not need to access the samples of previous blocks. Also, regarding the AdaBoost approach, it can react to concept drift by the component weighting mechanism and component update mechanism. The proposed method can adapt to the changes, and its performance is leveraged to retain high-accurate classifiers. The experiments have been done on benchmark datasets. The proposed method can achieve 0.90% average specificity, 0.69% average sensitivity, and 0.87% average accuracy, indicating its superiority compared to two competing methods.

References:

[1] J. Lu, A. Liu, F. Dong, F. Gu, J. Gama, and G. Zhang, "Learning under concept drift: a review," IEEE Trans. on Knowledge Data Engineering, vol. 31, no. 12, pp. 2346-2363, Dec. 2018.
[2] X. Zheng, P. Li, X. Hu, and K. Yu, "Semi-supervised classification on data streams with recurring concept drift and concept evolution," Knowledge-Based Systems, vol. 215, Article ID: 106749, Mar. 2021.
[3] J. Ko and M. Comuzzi, "Keeping our rivers clean: information-theoretic online anomaly detection for streaming business process events," Information Systems, vol. 104, Article ID: 101894, Feb. 2022.
[4] H. Tavasoli, B. J. Oommen, and A. Yazidi, "On utilizing weak estimators to achieve the online classification of data streams," Engineering Applications of Artificial Intelligence, vol. 86, no. C, pp. 11-31, Nov. 2019.
[5] H. D. Dilectin and R. B. V. Mercy, "Classification and dynamic class detection of real time data for tsunami warning system," in Proc. Int. Conf. on Recent Advances in Computing and Software Systems, pp. 124-129, Chennai, India, 25-27 Apr. 2012.
[6] G. Liu, H. Cheng, Z. Qin, Q. Liu, and C. Liu, "E-CVFDT: an improving CVFDT method for concept drift data stream," in Proc. Int. Conf. on Communications, Circuits and Systems, ICCCAS’13, vol. 1, pp. 315-318, Chengdu, China, 15-17 Nov. 2013.
[7] J. Guan, W. Guo, H. Chen, and O. Lou, "An ensemble of classifiers algorithm based on GA for handling concept-drifting data streams," in Proc. 6th Int. Symp. on Parallel Architectures, Algorithms and Programming, pp. 282-284, Beijing, China, 13-15 Jul. 2014.
[8] M. A. M. Raja and S. Swamynathan, "Ensemble learning for network data stream classification using similarity and online genetic algorithm classifiers," in Proc. Int. Conf. on Advances in Computing, Communications and Informatics, ICACCI’16, pp. 1601-1607, Jaipur, India, 21-24 Sept. 2016.
[9] Y. Lv, et al., "A classifier using online bagging ensemble method for big data stream learning," Tsinghua Science Technology, vol. 24, no. 4, pp. 379-388, Aug. 2019.
[10] W. Chen, Q. Sun, J. Wang, J. J. Dong, and C. Xu, "A novel AdaBoost and CNN based for vehicle classification," IEEE Access, vol. 6, pp. 60445-60455, 2018.
[11] H. Zhao, H. Yu, D. Li, T. Mao, and H. Zhu, "Vehicle accident risk prediction based on AdaBoost-SO in vanets," IEEE Access, vol. 7, pp. 14549-14557, 2019.
[12] H. Yu, X. Sun, and J. Wang, "Ensemble OS-ELM based on combination weight for data stream classification," Applied Intelligence, vol. 49, no. 6, pp. 2382-2390, 15 Jun. 2019.
[13] D. Vitorio, E. Souza, and A. L. I. Oliveira, "Using active learning sampling strategies for ensemble generation on opinion mining," in Proc. 8th Brazilian Conf. on Intelligent Systems, BRACIS’19, pp. 114-119, Salvador, Brazil, 15-18 Oct. 2019.
[14] Y. Freund and R. E. Schapire, "Experiments with a new boosting algorithm," in Proc. of the 13th Int. Conf. on Machine Learning, pp. 148-156, Bari, Italy, 3-6 Jul. 1996.
[15] B. L. S. da Silva, F. K. Inaba, E. O. T. Salles, and P. M. Ciarelli, "Outlier robust extreme machine learning for multi-target regression," Expert Systems with Applications, vol. 140, Article ID: 112877, Feb. 2020.
[16] G. B. Huang, Q. Y. Zhu, and C. K. Siew, "Extreme learning machine: theory and applications," Neurocomputing, vol. 70, no. 1-3, pp. 489-501, Dec. 2006.
[17] S. Zhang, W. Tan, and Y. Li, "A survey of online sequential extreme learning machine," Proc. of 5th Inte. Conf. on Control, Decision and Information Technologies, CoDIT’18, pp. 45-50, Thessaloniki, Greece, 10-13 Apr. 2018.
[18] G. B. Huang, M. B. Li, L. Chen, and C. K. Siew, "Incremental extreme learning machine with fully complex hidden nodes," Neurocomputing, vol. 71, no. 4-6, pp. 576-583, Jan. 2008.
[19] G. Feng, G. Huang, Q. Lin, and R. Gay, "Error minimized extreme learning machine with growth of hidden nodes and incremental learning," IEEE Trans. on Neural Networks, vol. 20, no. 8, pp. 1352-1357, Aug. 2009.
[20] H. J. Rong, Y. S. Ong, A. H. Tan, and Z. Zhu, "A fast pruned-extreme learning machine for classification problem," Neurocomput., vol. 72, no. 1-3, pp. 359-366, Dec. 2008.
[21] Y. Miche, et al., "OP-ELM: optimally pruned extreme learning machine," IEEE Trans. on Neural Networks, vol. 21, no. 1, pp. 158-162, Jan. 2010.
[22] N. Liu and H. Wang, "Ensemble based extreme learning machine," IEEE Signal Processing Letters, vol. 17, no. 8, pp. 754-757, Aug. 2010.
[23] N. Liang, G. Huang, P. Saratchandran, and N. Sundararajan, "A fast and accurate online sequential learning algorithm for feedforward networks," IEEE Trans. on Neural Networks, vol. 17, no. 6, pp. 1411-1423, Nov. 2006.
[24] W. Guo, T. Xu, K. Tang, J. Yu, and S. Chen, "Online sequential extreme learning machine with generalized regularization and adaptive forgetting factor for time-varying system prediction," Mathematical Problems in Engineering, vol. 2018, Article ID: 6195387, 31 May 2018.
[25] J. Xie, et al., "GSPSO-LRF-ELM: grid search and particle swarm optimization-based local receptive field-enabled extreme learning machine for surface defects detection and classification on the magnetic tiles," Discrete Dynamics in Nature and Society, vol. 2020, Article ID: 4565769, 15 May 2020.
[26] Y. Lan, Y. C. Soh, and G. B. Huang, "Ensemble of online sequential extreme learning machine," Neurocomputing, vol. 72, no. 13-15, pp. 3391-3395, Aug. 2009.
[27] S. Xu and J. Wang, "Dynamic extreme learning machine for data stream classification," Neurocomputing, vol. 238, pp. 433-449, May 2017. [28] O. Aydogdu and M. Ekinci, "A new approach for data stream classification: unsupervised feature representational online sequential extreme learning machine," Multimedia Tools and Applications, vol. 79, no. 37, pp. 27205-27227, Oct. 2020.
[29] W. Li-Wen, G. Wei, and Y. Yi-Cheng, "An online weighted sequential extreme learning machine for class imbalanced data streams," J. of Physics: Conf. Series, vol. 1994, no. 1, Article ID: 012008, 10 pp., Chongqing, China, 9-11 Jul. 2021.
[30] W. Guo, "Robust adaptive online sequential extreme learning machine for predicting nonstationary data streams with outliers," J. of Algorithms & Computational Technology, vol. 13, Article ID: 1748302619895421, 18 Dec. 2019.
[31] Y. Zhang, W. Liu, X. Ren, and Y. Ren, "Dual weighted extreme learning machine for imbalanced data stream classification," J. of Intelligent & Fuzzy Systems, vol. 33, no. 2, pp. 1143-1154, 2017.
[32] B. Mirza, S. Kok, and F. Dong, "Multi-layer Online Sequential Extreme Learning Machine for Image Classification," pp. 39-49, 2016.
[33] S. Ding, L. Guo, and Y. Hou, "Extreme learning machine with kernel model based on deep learning," Neural Computing and Applications, vol. 28, no. 8, pp. 1975-1984, Aug. 2017.
[34] B. Krawczyk, L. Minku, J. Gama, J. Stefanowski, and M. Wozniak, "Ensemble learning for data stream analysis: a survey," Information Fusion, vol. 37, pp. 132-156, Sept. 2017.
[35] UC Irvine Machine Learning Repository, https://archive.ics.uci.edu/ml/index.php (Accessed 03/13, 2020).

Full-Text:

معرفي يک روش جديد خوشه‌يابي خودکار

مقاله پژوهشی

ماشین یادگیری مفرط عمیق: رویکرد ترکیبی یادگیری
افزایشی برای طبقه‌بندی داده‌های جریانی

جواد حمیدزاده و منا مرادی

چكیده: داده‌های جریانی متشکل از داده‌هایی است که به ترتیب و با سرعت و حجم زیاد به سیستم وارد می‌شوند. توزیع این داده‌ها ناپایدار بوده و در طول زمان ممکن است تغییر کنند. با توجه به اهمیت این نوع داده‌ها در حوزه‌هایی مهم نظیر اینترنت اشیا، تسریع عملکرد و افزایش توان عملیاتی تحلیل داده‌های بزرگ جریانی به عنوان موضوعی مهم، مورد توجه محققین است. در روش پیشنهادی، از مفهوم یادگیری ترکیبی برخط در مدل بهبودیافته ماشین یادگیر مفرط به منظور طبقه‌بندی داده‌های جریانی استفاده شده است. به دلیل استفاده از رویکرد افزایشی، در هر لحظه تنها یک بلوک داده بدون نیاز به دسترسی به داده‌های پیشین یاد گرفته می‌شود. همچنین با بهره‌گیری از رویکرد آدابوست، وزن‌دهی به طبقه‌بندی‌کننده‌های پایه و تصمیم‌گیری در مورد حفظ و یا حذف آنها بر اساس کیفیت پیش‌بینی‌ها انجام می‌شود. مزیت دیگر روش پیشنهادی، بهره‌گیری از رویکرد مبتنی بر صحت طبقه‌بندی کننده‌ جهت شناسایی رانش مفهوم است که منجر به تسهیل انطباق مدل و افزایش کارایی آن می‌شود. آزمایش‌ها بر روی مجموعه‌ داده‌های استاندارد انجام گردید و روش پیشنهادی به طور میانگین با کسب 90/0% خاص‌بودن، 69/0% حساسیت و 87/0% صحت توانست اختلاف معناداری با دو روش رقیب داشته باشد.

کلیدواژه: داده‌های جریانی، رانش مفهوم، ماشین یادگیری مفرط، یادگیری افزایشی.

1- مقدمه

کاوش در داده‌های جریانی² در سال‌های اخیر توجه بسیاری از محققان را به خود جلب کرده است. داده‌های جریانی یک رشته از داده‌ها مانند هستند که در زمان‌های به صورت پیوسته تولید می‌شوند و نیازمند پاسخ سریع می‌باشند. داده‌های جریانی دارای ویژگی‌هایی هستند که آنها را از داده‌های سنتی متمایز می‌کند [1]:

حجم زیاد داده‌ها: داده‌های جریانی به صورت پیوسته و در حجم بالا تولید می‌شوند. بنابراین امکان ذخیره‌سازی تمام آنها وجود ندارد و در نتیجه، فرض در دسترس بودن همه داده‌ها در یک زمان صحیح نیست.

سرعت بالای ورود داده‌ها و زمان محدود: به دلیل سرعت بالای ورود داده‌ها، روش‌های سنتی با پیچیدگی محاسباتی بالا برای داده‌های جریانی مناسب به نظر نمی‌رسند. منابع تولیدکننده داده‌های جریانی، توان پردازشی و حافظه محدودی دارند، از سوی دیگر امکان دسترسی نامحدود به داده‌ها وجود نداشته و داده‌های ذخیره‌شده در حافظه نمی‌توانند چندین بار مورد دسترسی قرار بگیرند. در نتیجه میزان حافظه مورد نیاز در این منابع باید
تا حد امکان کاهش یافته و در عین حال کیفیت نتیجه طبقه‌بندی نیز حفظ شود.

ورود پیوسته داده‌ها: داده‌های جریانی یکی پس از دیگری و به ترتیب زمانی به سیستم وارد می‌شوند؛ بنابراین لازم است مدل یادگیرنده با ورود اطلاعات جدید، سریعاً آموزش دیده و به روز رسانی شود.

نویز: یکی از مشکلات رایج داده‌کاوی، وجود نویز در داده‌ها است که ممکن است به علت برچسب‌گذاری اشتباه داده‌ها و یا نویز در مقادیر ویژگی‌ها رخ دهد. در داده‌های جریانی، همراهی نویز با تغییر مفهوم³، مسئله را دشوارتر می‌سازد زیرا ممکن است نویز به اشتباه، تغییر مفهوم تلقی شود.

رانش مفهوم: منظور از مدل یا مفهوم، قواعد و روابطی است که به کمک آنها می‌توان داده‌ها را به طبقه‌های مختلف منتسب کرد. در داده‌های جریانی، توزیع داده‌ها از قبل مشخص نبوده و ممکن است متأثر از عوامل بیرونی، پیوسته با زمان تغییر کند. در این صورت، مدلی که برای داده‌های گذشته معتبر بوده است با ورود داده‌های جدید، کارایی خود را از دست خواهد داد. در یک دسته‌بندی کلی، رانش مفهوم از نظر سرعت وقوع به پنج دسته تقسیم می‌شود:

رانش مفهوم تدریجی⁴: در این نوع رانش، یک تغییر هموار و تدریجی از مفهومی به مفهوم دیگر رخ می‌دهد. مفهوم میانی تولیدشده، یکی از مفاهیم آغازین یا پایانی است.

رانش مفهوم ناگهانی⁵: در این نوع رانش، یک تغییر ناگهانی در محتوای کلاس رخ داده و کلاس دیگری ظاهر می‌شود.

رانش مفهوم افزایشی⁶: در این نوع رانش، ضمن تغییر از مفهومی به مفهوم دیگر، چندین مفهوم میانی دیگر ظاهر می‌شوند. مفاهیم میانی تولیدشده، ترکیبی از مفاهیم آغازین و پایانی هستند.

رانش مفهوم بازگشتی⁷: در این نوع رانش، پس از گذشت زمان، مفاهیم از قبل مشاهده شده، مجدداً ظاهر خواهند شد.

رانش کوتاه⁸: در این نوع رانش، داده پرت با مفهوم موجود آمیخته

[1] این مقاله در تاریخ 22 بهمن ماه 1399 دریافت و در تاریخ 1 آذر ماه 1400 بازنگری شد.

جواد حمیدزاده (نویسنده مسئول)، دانشکده مهندسی کامپیوتر و فناوری اطلاعات، دانشگاه سجاد، مشهد، ایران، (email: j_hamidzadeh@sadjad.ac.ir).

منا مرادی، دانشکده مهندسی برق و کامپیوتر، دانشگاه سمنان، سمنان، ایران، (email: mmoradi@semnan.ac.ir).

[2] . Streaming Data

[3] . Concept Drift

[4] . Gradual

[5] . Sudden

[6] . Incremental

[7] . Recurrent

[8] . Abrupt

شکل 1: دسته‌بندی روش‌های طبقه‌بندی داده‌های جریانی.

می‌شود که در این حالت، تغییر مفهوم موقتی بوده و داده‌های بعدی را تغییر نخواهد داد.

یکی از مسایل مهم در طراحی طبقه‌بندی‌کننده‌ داده‌های جریانی آن است که نتیجه طبقه‌بندی باید به صورت مداوم به‌روز شده و هر زمان که کاربر مایل به مشاهده نتایج باشد، بتواند این کار را انجام دهد. همچنین الگوریتم طبقه‌بندی داده‌های جریانی، علاوه بر صحت بالا باید مقیاس‌پذیر بوده و به تکامل داده‌ها نیز توجه نماید. از دیدگاه دسترسی به داده، روش‌های طبقه‌بندی داده‌های جریانی به دو دسته تقسیم می‌شوند:

1) روش‌های مبتنی بر بلوک: در این روش‌ها، داده‌های جریانی در بلوکی با اندازه مشخص وارد شده و طبقه‌بندی و شناسایی رانش مفهوم به ازای هر بلوک انجام می‌شود. عیب این روش‌ها، ناتوانی در تشخیص رانش مفهوم ناگهانی است [2].

2) روش‌های برخط: در این روش‌ها، پنجره‌ای که حاوی تعداد داده اخیر است در نظر گرفته شده و با ورود هر داده، فرایند طبقه‌بندی و شناسایی رانش مفهوم انجام می‌شود. عیب این روش‌ها، ناتوانی در شناسایی رانش‌های تدریجی و بازگشتی است [3] و [4].

روش‌های احتمالاتی، مبتنی بر همسایگی، مبتنی بر ساختار درختی، مبتنی بر یادگیری ترکیبی و شبکه‌های عصبی، پنج رویکرد پرکاربرد در طبقه‌بندی داده‌های جریانی هستند (شکل 1). روش‌های احتمالاتی معمولاً از الگوریتم بیز و روش‌های مبتنی بر همسایگی [5] از الگوریتم kNN استفاده می‌نمایند. الگوریتم ¹VFDT و نسخه‌های توسعه‌یافته آن از مشهورترین روش‌های طبقه‌بندی داده‌های جریانی هستند که از ساختار درختی بهره می‌برند [6]. یادگیری ترکیبی نیز یکی از رویکردهای پرکاربرد جهت بهبود فرایند یادگیری این گونه از داده‌ها است که در آن، ساختار مدل یادگیری به گونه‌ای تنظیم می‌شود که قابلیت تعمیم زیادی دارد، به گونه‌ای که به خطای آزمون کمتری نسبت به مدل‌های ساخته‌شده با یک طبقه‌بندی‌کننده واحد دست یابند [7] و [8]. در شرایطی خاص، یادگیری ترکیبی بهتر از یادگیری بر اساس یک مدل واحد عمل می‌نماید [9]. در [10] تا [13] روش‌های مبتنی بر الگوریتم آدابوست² [14] برای طبقه‌بندی داده‌های جریانی ارائه گردید. از مهم‌ترین نقاط قوت این روش‌ها، وزن‌دهی به نمونه‌ها و اصلاح وزن نمونه‌های ورودی در هر مرحله و همچنین کاهش خطای طبقه‌بندی است؛ هرچند مهم‌ترین نقطه ضعف این روش‌ها، پیچیدگی زمانی و مشکل‌بودن تنظیم پارامترها است. همچنین شبکه‌های عصبی پیش‌خور³ با یک لایه پنهان با تعداد دلخواه پارامتر و توابع فعال‌سازی دلخواه به طور موفقیت‌آمیزی در طبقه‌بندی داده‌های جریانی کاربرد دارند. اگرچه این نوع از شبکه‌های عصبی از مشکل زمان زیاد فرایند آموزش رنج می‌برند زیرا الگوریتم‌ یادگیری‌شان بر اساس روش‌های گرادیان کاهشی مانند پس‌انتشار خطا است و همگرایی به کمینه⁴ محلی و نیاز به تنظیم پارامترهای متعدد از خصوصیات آنها است [15].

به منظور غلبه بر این مشکلات، روش ماشین یادگیری مفرط ⁵(ELM) [16] ارائه گردید. برخلاف الگوریتم‌های یادگیری مبتنی بر گرادیان کاهشی⁶ که نیازمند تنظیم کل پارامترهای شبکه شامل وزن‌ها و بایاس‌های لایه‌های شبکه پیش‌خور با یک لایه پنهان در طول فرایند یادگیری تکراری هستند، ELM وزن‌های اتصالی از لایه ورودی به لایه پنهان و بایاس‌های نورون‌های مخفی را به طور تصادفی تولید می‌نماید. علاوه بر این، وزن‌های اتصالی از لایه پنهان به لایه خروجی به طور تحلیلی با معکوس‌کردن لایه پنهان و ضرب خروجی آموزشی و با استفاده از روش حداقل مربعات تعیین شده است و در نتیجه، قابلیت تعمیم خوب با هزینه محاسباتی بسیار پایین دارد و از آنجا که پس از تکمیل فرایند آموزش شبکه، به تنظیم پارامتر در شبکه نمی‌پردازد آموزش، سریع‌تر انجام می‌شود. علی‌رغم مزایای گفته‌شده، ELM ممکن است با کاستی‌هایی همراه باشد:

1) به دلیل تعیین تصادفی پارامترهای نورون‌های لایه پنهان ممکن است بعضی از پارامترهای غیر بهینه تولید شوند که در عملکرد و ثبات شبکه تأثیر خواهند داشت. این مسئله در مدل‌هایی با تعداد زیادی از نورون‌های پنهان ممکن است منجر به پیچیدگی زیاد الگوریتم شود.

2) از آنجا که این روش برای به حداقل رساندن خطای آموزش از کل داده‌های آموزشی استفاده می‌کند، ممکن است مشکل بیش‌برازش را به همراه داشته باشد.

3) در کاربردهای برخط که نیازمند به روز رسانی مداوم مدل‌ها است، الگوریتم ELM پس از ورود داده‌های جدید، آنها را به داده‌های قبلی اضافه کرده و کل داده‌ها مجدداً آموزش داده خواهند شد که منجر به صرف هزینه و زمان محاسباتی زیادی خواهد گردید.

تا کنون روش‌های گوناگونی برای بهبود الگوریتم ELM ارائه شده‌اند [17]. مؤلفان در [18] و [19] با افزایش و در [20] و [21] با کاهش تعداد نورون‌های لایه مخفی و با بهره‌گیری از یادگیری افزایشی، سعی در بهبود کارایی ELM داشتند. روش [22] به منظور افزایش قابلیت تعمیم
ELM معرفی گردید. در [23] و [24] نیز با استفاده از یادگیری افزایشی، طبقه‌بندی‌کننده‌های داده‌های جریانی دارای رانش مفهوم ارائه‌شده، از قابلیت تعمیم و سرعت قابل قبولی برخوردار هستند. در [25] روشی با هدف بهینه‌سازی پارامترهای ELM معرفی گردید.

در این مقاله، به منظور طبقه‌بندی داده‌های جریانی در حضور رانش مفهوم، طبقه‌بندی‌کننده مبتنی بر یادگیری ترکیبی با استفاده از مدل

[1] . Very Fast Decision Tree

[2] . AdaBoost

[3] . Feed Forward Neural Networks

[4] . Minimum

[5] . Extreme Machine Learning

[6] . Descent Gradiant

شکل 2: روندنمای DELM.

بهبودیافته ماشین یادگیری مفرط به نام یادگیری مفرط عمیق ¹(DELM) ارائه شده است. به دلیل بهره‌مندی از رویکرد یادگیری افزایشی، روش پیشنهادی به نمونه‌های موجود در بلوک داده‌های پیشین بی‌نیاز بوده و در عین حال می‌تواند کارایی‌اش را در صورت عدم اعتبار طبقه‌بندی‌کننده حفظ نماید. این روش با استفاده از داده‌های بلوک زمان جاری می‌تواند با تغییرات رخ‌داده در داده‌های جریانی تطبیق یافته و وجود داده‌های مرزی و نویزی، تأثیری بر عملکرد آن نخواهد داشت. همچنین روش پیشنهادی به دلیل تلفیق با روش آدابوست، توانسته است بر مشکل بیش‌برازش ELM غلبه نماید.

سازمان‌دهی مقاله به صورت زیر است: کارهای پیشین در بخش دوم آورده شده است. روش پیشنهادی و آزمایش‌های انجام‌شده در بخش‌های سوم و چهارم بیان گردیده‌اند و همچنین در بخش پنجم، نتیجه‌گیری و کارهای آینده ارائه شده‌اند.

2- کارهای پیشین

از آنجا که روش پیشنهادی مبتنی بر ماشین یادگیری مفرط است، این بخش به مروری بر تعدادی از روش‌های ارائه‌شده در این حوزه می‌پردازد.

در [12] طبقه‌بندی‌کننده برخط داده‌های جریانی ایستا با استفاده از مفاهیم ترکیبی و معماری ELM ارائه گردید. در روش مذکور، ایجاد مدل بر اساس همبستگی میان طبقه‌بندی‌کننده‌ها و تغییرات خطای آزمایش است. وزن‌دهی اولیه توسط الگوریتم آدابوست و در نهایت بهبود آنها با استفاده از نظریه بازی‌ها انجام می‌شود. مؤلفان در [26] طبقه‌بندی‌کننده برخط ترکیبی مبتنی بر معماری ELM برای مجموعه داده‌های بزرگ ارائه نمودند. روش [27] از رویکرد یادگیری برخط در ELM برای طبقه‌بندی داده‌های جریانی دارای رانش مفهوم استفاده می‌کند. در این روش جهت حفظ قابلیت تعمیم به هنگام وقوع رانش مفهوم، به تعداد گره‌های لایه مخفی افزوده می‌شود. در [28] رویکرد طبقه‌بندی داده‌های جریانی مبتنی بر ELM با کمک استخراج ویژگی بدون نظارت و یادگیری ترکیبی ارائه گردید. در روش [29] به حل مسئله عدم توازن داده‌های جریانی مبتنی بر ELM پرداخته شده است. در [30] طبقه‌بندی‌کننده مقاوم به نویز و رانش مفهوم داده‌های جریانی مبتنی بر ELM با استفاده از تخمین‌گر و مکانیسم فراموشی متغیر معرفی گردید. در [31] رویکرد ترکیبی برخط و وزن‌دهی مبتنی بر چگالی جهت تنظیم وزن داده‌های جریانی نامتوازن و بهبود ELM ارائه شده است.

در سال‌های اخیر با افزایش محبوبیت یادگیری عمیق از آن برای بهبود ELM بهره گرفته شده است. مرجع [32] با استفاده از تخصیص اتوانکدر به هر لایه مخفی ELM به حل مسئله طبقه‌بندی داده‌های جریانی می‌پردازد. با در نظر گرفتن وجود تنها یک لایه مخفی در ELM، بنابراین فرایند استخراج ویژگی نیازمند توجه بیشتری است. بدین منظور، روش [33] با استفاده از مفهوم کرنل و نگاشت به فضای با ابعاد بالاتر، سعی در بهبود استخراج ویژگی در ELM دارد.

بررسی کارهای انجام‌شده در حوزه طبقه‌بندی داده‌های جریانی مبتنی بر ماشین یادگیری مفرط نشان می‌دهد که در اغلب روش‌ها با ورود داده جدید، آموزش به صورت مجدد انجام شده و راهکار یادگیری تدریجی مغفول مانده یا در صورت استفاده از رویکرد یادگیری تدریجی، به چالش رانش مفهوم توجهی نشده و بنابراین با در نظر گرفتن این مسایل، روش پیشنهادی ارائه گردیده است. همچنین روش پیشنهادی با استفاده از یادگیری ترکیبی و حفظ دانش معتبر کسب‌شده از داده‌های پیشین می‌تواند پیش‌بینی‌های دقیق‌تری در صورت وقوع رانش مفهوم داشته باشد.

3- ماشین یادگیری مفرط عمیق

روش پیشنهادی با نام DELM با هدف طبقه‌بندی داده‌های جریانی و بر اساس رویکرد آدابوست و با طبقه‌بندی‌کننده‌های پایه ELM تعریف می‌شود و برای درک بهتر، روندنمای آن در شکل 2 نشان داده شده است. آدابوست یکی از مهم‌ترین رویکرد‌های یادگیری ترکیبی است که به منظور افزایش قابلیت تعمیم و دقت طبقه‌بندی‌کننده‌های پایه استفاده می‌شود. آدابوست نسبت به داده‌های نویزی و پرت حساس است، ولی نسبت به مشکل بیش‌برازش به بیشتر الگوریتم‌های یادگیری برتری دارد. در الگوریتم آدابوست در هر دور ، یک طبقه‌بندی‌کننده‌ ضعیف، اضافه و در هر فراخوانی بر اساس اهمیت داده‌ها، وزن‌ها به‌روز می‌شوند. در هر تکرار، وزن داده‌های غلط طبقه‌بندی‌شده افزایش می‌یابند و وزن داده‌های درست طبقه‌بندی‌شده کاهش داده می‌شوند و بنابراین طبقه‌بندی‌کننده‌ جدید بر داده‌هایی که سخت‌تر یاد گرفته می‌شوند، متمرکز خواهد بود [34].

فرض کنید داده‌های جریانی، یک رشته از داده‌های عددی مانند هستند که در زمان‌های تولید می‌شوند. چنانچه برچسب داده تولیدشده در زمان باشد، دوتایی نشان‌دهنده یک داده برچسب‌دار در زمان است. برای پیش‌بینی برچسب مربوط به داده ، روش پیشنهادی از مکانیسم پنجره لغزان با اندازه استفاده می‌کند؛ بدین معنی که در زمان جاری ، داده برچسب‌دار اخیر در بلوک قابل دسترس هستند و برای آموزش طبقه‌بندی‌کننده مورد استفاده قرار می‌گیرند. در گام بعد به منظور کاهش زمان پردازش، استخراج ویژگی به روش تحلیل مؤلفه‌های اصلی ²(PCA) انجام می‌شود و بدین ترتیب، تأثیر ویژگی‌هایی که کمترین ارتباط را با طبقه مربوط دارند حذف می‌شود .

اکنون با در نظر گرفتن الگوریتم آدابوست با طبقه‌بندی‌کننده‌های پایه ELM و با فرض تعداد تکرار ، مقداردهی اولیه وزن داده‌ها به صورت که ، بوده و همچنین با فرض در اختیار داشتن اولین بلوک داده با اندازه ، وزن و بایاس ، از (1) برای محاسبه ماتریس خروجی لایه پنهان با تعداد نورون و ماتریس هدف اولیه استفاده می‌گردد

(1)

(2)

به همین ترتیب، وزن خروجی اولیه به صورت (3) است

(3)

که در آن و است.

برای طبقه‌بندی‌کننده‌های ضعیف ، طبقه‌بندی‌کننده‌ به گونه‌ای انتخاب می‌شود که میزان خطا نسبت به توزیع، کمینه گردد

(4)

در (4)، یک تابع نشان‌گر است که در صورت صحت، مقدار آن برابر یک و در غیر این صورت برابر صفر می‌شود.

خطای از (5) محاسبه می‌گردد

(5)

اگر و یک آستانه از پیش تعیین شده باشد، نیازی به به روز رسانی وزن داده‌ها نیست. در غیر این صورت به روز رسانی با استفاده از (6) صورت می‌گیرد

(6)

معمولاً برای در نظر گرفته می‌شود
و یک عامل نرمال‌سازی با مقدار است که موجب می‌گردد یک توزیع احتمالاتی مجاز را نشان دهد.

خروجی نهایی طبقه‌بندی‌کننده‌ها از (7) محاسبه می‌شود

(7)

توجه داشته باشید که توزیع به گونه‌ای به‌روز می‌شود که

(8)

بدین ترتیب، به آن دسته از داده‌های که طبقه‌بندی‌کننده‌ آنها را غلط طبقه‌بندی می‌کند وزن بیشتری تخصیص می‌یابد. در روش آدابوست، زمانی که طبقه‌بندی‌کننده‌ها بر اساس توزیع سنجیده می‌شوند، طبقه‌بندی‌کننده‌ای انتخاب می‌شود که توانایی بیشتری در تشخیص نمونه‌های غلط طبقه‌بندی‌شده را داشته باشد.

با ورود امین بلوک داده، به روز رسانی بلوک داده (رابطه (9))، ماتریس خروجی لایه پنهان (رابطه (10)) و ماتریس هدف (رابطه (11))، به صورت زیر انجام می‌شود

(9)

(10)

(11)

که در آن اندازه بلوک داده با برچسب زمانی است. همچنین ماتریس وزن خروجی از (12) و (13) به دست می‌آید

(12)

(13)

از آنجا که ماتریس وزن خروجی به محاسبات پیچیده وارون ماتریس نیازمند است، بنابراین از (14) برای کاهش محاسبات استفاده می‌شود

(14)

و در ادامه، رویکرد پیشنهادی در مواجهه با تغییرات داده‌های جریانی ذکر می‌گردد.

DELM برای به روز رسانی طبقه‌بندی‌کننده‌ها از مکانیسم یادگیری توالی افزایشی استفاده می‌کند. به عبارتی دیگر این روش، خود راهی برای مقابله با تغییر تدریجی مفهوم پیدا نموده و این اطمینان را می‌دهد که نیازی به آموزش مجدد و مستمر نخواهد داشت. رویکرد روش پیشنهادی در شناسایی تغییرات موجود در داده‌های جریانی بدین صورت است: فرض می‌کنیم برای بلوک داده در زمان ام، میزان خطای طبقه‌بندی‌کننده‌ است که یک متغیر تصادفی بوده و از توزیع برنولی پیروی می‌کند. میزان پراکندگی خطا از (15) محاسبه می‌شود

(15)

که تعداد نمونه‌های موجود در بلوک است. با در نظر گرفتن مقادیر و ، تغییر داده‌های جریانی به سه حالت پایدار، اخطار و تغییر مفهوم دسته‌بندی می‌شود.

حالت پایدار: اگر و باشد، بدین معناست که میزان خطای طبقه‌بندی‌کننده‌ها در سطح پایینی است و مفهوم داده‌های جریانی در جایی که آستانه باشد ثابت است. بنابراین طبقه‌بندی‌کننده‌ها برای طبقه‌بندی داده‌های جریانی فعلی مناسب بوده و نیاز به تطبیق ندارند [12].

حالت اخطار: اگر و باشد، بدین معناست که میزان خطای طبقه‌بندی‌کننده‌ها همچنان در سطح پایینی

Requirements: Data stream , Block , and classifiers;

while do

Get ;

Employ PCA

if and then

The data stream is stable. The ensemble classifier remains

unchanged.

if and then

Incremental learning is done by updating the classifiers;

else if and then

Concept drift has happened;

Ignore all classifiers and retrain them

End if

Return label

End while

شکل 3: الگوریتم 1- شناسایی تغییرات در روش پیشنهادی DELM.

است، اما عملکرد طبقه‌بندی‌کننده‌ها نوسان بزرگی دارد. در این حالت، طبقه‌بندی‌کننده‌ها هشدار می‌دهند و DELM از مکانیسم یادگیری توالی افزایشی برای به روز رسانی هر طبقه‌بندی‌کننده‌ استفاده می‌کند.

حالت تغییر مفهوم: اگر یا باشد، این نشان می‌دهد که تغییر داده‌های جریانی بسیار چشم‌گیر است یا عملکرد طبقه‌بندی‌کننده‌ها در سطح پایینی است. در این شرایط، مدل طبقه‌بندی برای جریان داده فعلی مناسب نبوده است و بنابراین همه طبقه‌بندی‌کننده‌ها، حذف و مجدداً فرایند آموزش انجام می‌گردد. چگونگی مواجهه با تغییرات موجود در داده‌های جریانی توسط روش پیشنهادی در شکل 3 نشان داده شده است.

4- آزمایش‌ها

اکنون براي بررسي كارايي روش پيشنهادي، از دو طبقه‌بندی‌کننده داده‌های جریانی مبتنی بر ماشین یادگیری مفرط استفاده شده است. در ادامه، مجموعه داده‌های مورد استفاده، معيار ارزيابي و نتایج حاصل از آزمایش‌ها تشريح گردیده است.

4-1 مجموعه داده‌ها

در جدول 1 مجموعه داده‌های استخراج‌شده از مخزن UCI [35] با ذکر تعداد نمونه‌ها، ویژگی‌ها و طبقه‌های آنها مشاهده می‌شوند. مجموعه داده‌ها از کاربردهای مختلف نظیر داده‌های زیستی (Abalone)، داده‌های تصویری (Segment, Sattelite Image)، داده‌های تراکنش مالی (Credit Card)، داده‌های تشخیص نفوذ (Website Phishing) و فیزیک (Waveform) بوده و تنوع زیادی از نظر تعداد نمونه‌ها (2310 تا 30000)، تعداد ویژگی‌ها (8 تا 36) و تعداد طبقه‌ها (2 تا 7) دارند. مقادیر ویژگی‌های این مجموعه داده‌ها شامل اعداد حقیقی و صحیح و فاقد مقادیر گم‌شده هستند.

4-2 معیارهای ارزیابی

معیارهای مورد استفاده در ارزیابی روش پیشنهادی عبارت هستند از صحت (رابطه (16))، حساسیت³ (رابطه (17)) برای بررسی دقت الگوریتم در تشخیص نمونه‌های مثبت، خاص‌بودن⁴ (رابطه (18)) برای بررسی
دقت الگوریتم در تشخیص نمونه‌های منفی، 1F (رابطه (19)) و ضریب

جدول 1: مجموعه داده‌ها.

مجموعه داده	تعداد نمونه‌ها	تعداد ویژگی‌ها	تعداد طبقه‌ها
Abalone	4177	8	3
Segment	2310	23	2
Credit Card	30000	19	7
Waveform	5000	36	6
Website Phishing	2456	21	3
Satellite Image	6435	36	6

همبستگی متیوز ⁵(MCC) (رابطه (20)) که به صورت زیر تعریف می‌شوند

(16)

(17)

(18)

(19)

(20)

ضریب همبستگی متیوز بیانگر وابستگی میان متغیر پیش‌بینی شده و مقادیر واقعی آن بوده و مقداری در بازه دارد. مقدار نشان‌دهنده پیش‌بینی فاقد خطای طبقه‌بندی‌کننده، مقدار 0 بیان‌کننده پیش‌بینی تصادفی و مقدار عدم تطابق کامل میان مقادیر پیش‌بینی شده و مقادیر واقعی است. در محاسبه معیارهای مذکور از نمادهای ، ، و استفاده شده که این نمادها عبارت هستند از:

: تعداد داده‌هایی که به اشتباه منفی تشخیص داده شده‌اند.

: تعداد داده‌هایی که به اشتباه مثبت تشخیص داده شده‌اند.

: تعداد داده‌هایی که به درستی منفی تشخیص داده شده‌اند.

: تعداد داده‌هایی که به درستی مثبت تشخیص داده شده‌اند.

علاوه بر این، کارایی روش پیشنهادی از نظر زمان اجرا سنجیده شده است. منظور از زمان اجرا، فاصله زمانی میان لحظه ورود داده به الگوریتم تا اعلام نتایج شبیه‌سازی توسط الگوریتم است.

4-3 نتایج

مقایسه کارایی روش DELM با 2 روش CWEOS-ELM [12] و E-OS-ELM [26] توسط نرم‌افزار متلب 2016 روی سیستمی با پردازنده 30/2 گیگاهرتز و 8 گیگابایت RAM و با استفاده از اعتبارسنجی متقابل به روش Leave-one-out انجام شده است. در DELM با استفاده از آزمون و خطا، تعداد طبقه‌بندی‌کننده‌ها و حد آستانه تنظیم شده است. همچنین به مجموعه داده Abalone، 25 نورون در لایه مخفی، به مجموعه داده‌های Segment و Credit هر کدام 50 نورون، به Waveform تعداد 500 نورون و به Website phishing و Sattelite image نیز هر کدام 100 نورون تخصیص یافته است. تابع فعال‌سازی، سیگموئید انتخاب شده و نتایج آزمایش‌ها در جدول 2 آمده‌اند.

جدول 2: مقایسه معیارهای ارزیابی به درصد (بهترین نتایج، پررنگ شده‌اند).

DELM	CWEOS-ELM	E-OS-ELM	معیار	مجموعه داده
62/0	82/0	64/0	MCC	Abalone
84/0	78/0	76/0	1F
78/0	78/0	48/0	Specificity
59/0	54/0	55/0	Sensitivity
63/0	63/0	62/0	Accuracy
58/1	22/1	19/1	Time (s)
98/0	82/0	78/0	MCC	Segment
92/0	87/0	76/0	1F
99/0	87/0	76/0	Specificity
89/0	82/0	79/0	Sensitivity
96/0	93/0	94/0	Accuracy
56/1	19/0	15/0	Time (s)
95/0	85/0	75/0	MCC	Credit Card
34/0	14/0	27/0	1F
89/0	86/0	69/0	Specificity
30/0	14/0	11/0	Sensitivity
83/0	82/0	81/0	Accuracy
97/6	52/5	84/4	Time (s)
84/0	81/0	68/0	MCC	Waveform
94/0	76/0	73/0	1F
86/0	83/0	60/0	Specificity
81/0	74/0	67/0	Sensitivity
90/0	89/0	88/0	Accuracy
99/1	98/0	56/0	Time (s)
94/0	74/0	79/0	MCC	Website Phishing
92/0	85/0	85/0	1F
93/0	80/0	73/0	Specificity
66/0	65/0	53/0	Sensitivity
94/0	93/0	92/0	Accuracy
64/0	60/0	41/0	Time (s)
94/0	85/0	75/0	MCC	Satellite Image
90/0	82/0	94/0	1F
96/0	88/0	76/0	Specificity
89/0	77/0	79/0	Sensitivity
97/0	97/0	96/0	Accuracy
03/28	14/23	16/19	Time (s)

همچنین برای نشان‌دادن معنی‌داربودن آزمایش‌ها از آزمون آنالیز واریانس (Turkey's Honestly (HSD)) استفاده گردیده است. نتایج مندرج در جدول 3 نشان می‌دهند که روش پیشنهادی از نظر معیار ضریب همبستگی متیوز با هیچ کدام از دو روش رقیب، اختلاف معناداری ندارد. از نظر خاص‌بودن، حساسیت و صحت با هر دو روش اختلاف معنادار داشته اما از نظر معیار 1F تنها با روش CWEOS-ELM اختلاف معنادار دارد. از آنجا که روش مذکور برای داده‌های جریانی ناایستا طراحی شده و در برابر رانش مفهوم راه حلی ارائه نداده است، بنابراین نتایج به دست آمده قابل توجیه می‌باشند.

جدول 3: نتایج آزمون HSD روش DELM.

معیار	میانگین	وجود اختلاف معنادار
MCC	88/0	-
1F	81/0	CWEOS-ELM
Specificity	90/0	CWEOS-ELM, E-OS-ELM
Sensitivity	69/0	CWEOS-ELM, E-OS-ELM
Accuracy	87/0	CWEOS-ELM, E-OS-ELM
Time (s)	80/6	-

علاوه بر این، همان طور که مشاهده می‌شود روش پیشنهادی از نظر زمان اجرا نیز تفاوت معناداری با دو روش رقیب ندارد. بدین معنا که یادگیری افزایشی استفاده‌شده در روش پیشنهادی توانسته است ضمن حفظ نتایج قابل قبول عملکردی، موجب کاهش محاسبات پیچیده و در نتیجه، کم‌شدن زمان اجرا شود.

5- نتیجه‎گیری و کارهای آینده

در روش پیشنهادی، یک رویکرد ترکیبی یادگیری افزایشی مبتنی بر ماشین یادگیری مفرط برای طبقه‌بندی داده‌های جریانی به نام DELM ارائه گردید که توانست در مقایسه با دو روش دیگر مبتنی بر یادگیری مفرط عمیق از نظر معیارهای خاص‌بودن، حساسیت و صحت برتری یابد. همچنین از نظر معیارهای 1F، ضریب همبستگی متیوز و زمان اجرا تفاوت معناداری با روش‌های رقیب مشاهده نگردید. الگوریتم آدابوست
به کار گرفته شده در روش پیشنهادی بر مشکل بیش‌برازش ELM غلبه می‌نماید. همچنین استفاده از رویکرد یادگیری افزایشی و به روز رسانی طبقه‌بندی‌کننده‌ها تنها در صورت رخداد رانش مفهوم، می‌تواند از آموزش مجدد طبقه‌بندی‌کننده‌ها به ازای هر تغییر در توزیع داده‌ها توسط ELM جلوگیری نماید. البته هنوز مشکل دیگر ELM یعنی تنظیم مقداردهی تصادفی پارامترهای نورون‌های لایه پنهان پابرجا بوده و می‌تواند تأثیر منفی بر عملکرد بهینه روش پیشنهادی داشته باشد.

به عنوان کارهای آینده، ارائه راهکارهای مناسب برای حل مسایل مقداردهی پارامترهای نورون‌های لایه مخفی و پیش‌بینی برچسب داده‌های جریانی در شرایطی که ویژگی‌های جدید به فضای ویژگی آن افزوده می‌شود در نظر گرفته شده‌اند.

مراجع

[1] J. Lu, A. Liu, F. Dong, F. Gu, J. Gama, and G. Zhang, "Learning under concept drift: a review," IEEE Trans. on Knowledge Data Engineering, vol. 31, no. 12, pp. 2346-2363, Dec. 2018.

[2] X. Zheng, P. Li, X. Hu, and K. Yu, "Semi-supervised classification on data streams with recurring concept drift and concept evolution," Knowledge-Based Systems, vol. 215, Article ID: 106749, Mar. 2021.

[3] J. Ko and M. Comuzzi, "Keeping our rivers clean: information-theoretic online anomaly detection for streaming business process events," Information Systems, vol. 104, Article ID: 101894, Feb. 2022.

[4] H. Tavasoli, B. J. Oommen, and A. Yazidi, "On utilizing weak estimators to achieve the online classification of data streams," Engineering Applications of Artificial Intelligence, vol. 86, no. C, pp. 11-31, Nov. 2019.

[5] H. D. Dilectin and R. B. V. Mercy, "Classification and dynamic class detection of real time data for tsunami warning system," in Proc. Int. Conf. on Recent Advances in Computing and Software Systems, pp. 124-129, Chennai, India, 25-27 Apr. 2012.

[6] G. Liu, H. Cheng, Z. Qin, Q. Liu, and C. Liu, "E-CVFDT: an improving CVFDT method for concept drift data stream," in Proc. Int. Conf. on Communications, Circuits and Systems, ICCCAS’13, vol. 1, pp. 315-318, Chengdu, China, 15-17 Nov. 2013.

[7] J. Guan, W. Guo, H. Chen, and O. Lou, "An ensemble of classifiers algorithm based on GA for handling concept-drifting data streams," in Proc. 6th Int. Symp. on Parallel Architectures, Algorithms and Programming, pp. 282-284, Beijing, China, 13-15 Jul. 2014.

[8] M. A. M. Raja and S. Swamynathan, "Ensemble learning for network data stream classification using similarity and online genetic algorithm classifiers," in Proc. Int. Conf. on Advances in Computing, Communications and Informatics, ICACCI’16, pp. 1601-1607, Jaipur, India, 21-24 Sept. 2016.

[9] Y. Lv, et al., "A classifier using online bagging ensemble method for big data stream learning," Tsinghua Science Technology, vol. 24,
no. 4, pp. 379-388, Aug. 2019.

[10] W. Chen, Q. Sun, J. Wang, J. J. Dong, and C. Xu, "A novel AdaBoost and CNN based for vehicle classification," IEEE Access, vol. 6, pp. 60445-60455, 2018.

[11] H. Zhao, H. Yu, D. Li, T. Mao, and H. Zhu, "Vehicle accident risk prediction based on AdaBoost-SO in vanets," IEEE Access, vol. 7, pp. 14549-14557, 2019.

[12] H. Yu, X. Sun, and J. Wang, "Ensemble OS-ELM based on combination weight for data stream classification," Applied Intelligence, vol. 49, no. 6, pp. 2382-2390, 15 Jun. 2019.

[13] D. Vitorio, E. Souza, and A. L. I. Oliveira, "Using active learning sampling strategies for ensemble generation on opinion mining," in Proc. 8th Brazilian Conf. on Intelligent Systems, BRACIS’19, pp. 114-119, Salvador, Brazil, 15-18 Oct. 2019.

[14] Y. Freund and R. E. Schapire, "Experiments with a new boosting algorithm," in Proc. of the 13th Int. Conf. on Machine Learning, pp. 148-156, Bari, Italy, 3-6 Jul. 1996.

[15] B. L. S. da Silva, F. K. Inaba, E. O. T. Salles, and P. M. Ciarelli, "Outlier robust extreme machine learning for multi-target regression," Expert Systems with Applications, vol. 140, Article ID: 112877, Feb. 2020.

[16] G. B. Huang, Q. Y. Zhu, and C. K. Siew, "Extreme learning machine: theory and applications," Neurocomputing, vol. 70, no. 1-3, pp. 489-501, Dec. 2006.

[17] S. Zhang, W. Tan, and Y. Li, "A survey of online sequential extreme learning machine," Proc. of 5th Inte. Conf. on Control, Decision and Information Technologies, CoDIT’18, pp. 45-50, Thessaloniki, Greece, 10-13 Apr. 2018.

[18] G. B. Huang, M. B. Li, L. Chen, and C. K. Siew, "Incremental extreme learning machine with fully complex hidden nodes," Neurocomputing, vol. 71, no. 4-6, pp. 576-583, Jan. 2008.

[19] G. Feng, G. Huang, Q. Lin, and R. Gay, "Error minimized extreme learning machine with growth of hidden nodes and incremental learning," IEEE Trans. on Neural Networks, vol. 20, no. 8, pp. 1352-1357, Aug. 2009.

[20] H. J. Rong, Y. S. Ong, A. H. Tan, and Z. Zhu, "A fast pruned-extreme learning machine for classification problem," Neurocomput., vol. 72, no. 1-3, pp. 359-366, Dec. 2008.

[21] Y. Miche, et al., "OP-ELM: optimally pruned extreme learning machine," IEEE Trans. on Neural Networks, vol. 21, no. 1, pp. 158-162, Jan. 2010.

[22] N. Liu and H. Wang, "Ensemble based extreme learning machine," IEEE Signal Processing Letters, vol. 17, no. 8, pp. 754-757, Aug. 2010.

[23] N. Liang, G. Huang, P. Saratchandran, and N. Sundararajan, "A fast and accurate online sequential learning algorithm for feedforward networks," IEEE Trans. on Neural Networks, vol. 17, no. 6, pp. 1411-1423, Nov. 2006.

[24] W. Guo, T. Xu, K. Tang, J. Yu, and S. Chen, "Online sequential extreme learning machine with generalized regularization and adaptive forgetting factor for time-varying system prediction," Mathematical Problems in Engineering, vol. 2018, Article ID: 6195387, 31 May 2018.

[25] J. Xie, et al., "GSPSO-LRF-ELM: grid search and particle swarm optimization-based local receptive field-enabled extreme learning machine for surface defects detection and classification on the magnetic tiles," Discrete Dynamics in Nature and Society, vol. 2020, Article ID: 4565769, 15 May 2020.

[26] Y. Lan, Y. C. Soh, and G. B. Huang, "Ensemble of online sequential extreme learning machine," Neurocomputing, vol. 72, no. 13-15, pp. 3391-3395, Aug. 2009.

[27] S. Xu and J. Wang, "Dynamic extreme learning machine for data stream classification," Neurocomputing, vol. 238, pp. 433-449, May 2017.

[28] O. Aydogdu and M. Ekinci, "A new approach for data stream classification: unsupervised feature representational online sequential extreme learning machine," Multimedia Tools and Applications, vol. 79, no. 37, pp. 27205-27227, Oct. 2020.

[29] W. Li-Wen, G. Wei, and Y. Yi-Cheng, "An online weighted sequential extreme learning machine for class imbalanced data streams," J. of Physics: Conf. Series, vol. 1994, no. 1, Article ID: 012008, 10 pp., Chongqing, China, 9-11 Jul. 2021.

[30] W. Guo, "Robust adaptive online sequential extreme learning machine for predicting nonstationary data streams with outliers," J. of Algorithms & Computational Technology, vol. 13, Article ID: 1748302619895421, 18 Dec. 2019.

[31] Y. Zhang, W. Liu, X. Ren, and Y. Ren, "Dual weighted extreme learning machine for imbalanced data stream classification," J. of Intelligent & Fuzzy Systems, vol. 33, no. 2, pp. 1143-1154, 2017.

[32] B. Mirza, S. Kok, and F. Dong, "Multi-layer Online Sequential Extreme Learning Machine for Image Classification," pp. 39-49, 2016.

[33] S. Ding, L. Guo, and Y. Hou, "Extreme learning machine with kernel model based on deep learning," Neural Computing and Applications, vol. 28, no. 8, pp. 1975-1984, Aug. 2017.

[34] B. Krawczyk, L. Minku, J. Gama, J. Stefanowski, and M. Wozniak, "Ensemble learning for data stream analysis: a survey," Information Fusion, vol. 37, pp. 132-156, Sept. 2017.

[35] UC Irvine Machine Learning Repository, https://archive.ics.uci.edu/ml/index.php (Accessed 03/13, 2020).

جواد حمیدزاده تحصيلات خود را در مقاطع كارشناسي و كارشناسي ارشد مهندسی کامپیوتر بهترتيب در سالهاي 1374 و 1376 از دانشگاه صنعتی شریف و در مقطع دكتري مهندسی كامپيوتر در سال‌ 1391 از دانشگاه فردوسی مشهد به پايان رسانده است و هماكنون دانشیار دانشكده مهندسي كامپيوتر و فناوری اطلاعات دانشگاه سجاد مي‎باشد. زمينه‎هاي تحقيقاتي مورد علاقه ايشان عبارتند از: یادگیری ماشین، شناسایی الگو، محاسبات نرم و كاربردهاي آن، شبكه‌هاي كامپيوتري.

منا مرادي تحصيلات خود را در مقاطع كارشناسي و كارشناسي ارشد مهندسی کامپیوتر بهترتيب در سالهاي 1387 و 1392 از دانشگاه آزاد اسلامی مشهد و دانشگاه آزاد اسلامی فردوس به پايان رسانده است و هم اكنون دانشجوی دکتری دانشكده مهندسي برق و كامپيوتر دانشگاه سمنان مي‎باشد. زمينه‎هاي تحقيقاتي مورد علاقه ايشان عبارتند از: یادگیری ماشین، شناسایی الگو، محاسبات نرم و یادگیری انتقالی.

[1] . Deep Extreme Learning Machine

[2] . Principal Component Analysis

[3] . Sensitivity

[4] . Specificity

[5] . Matthews Correlation Coefficient

Automatic Change Detection by Intelligent Backgrounding Method
Print Date : 2003-03-21
Speed Estimation and Sensorless Torque Optimization of Single Phase Induction Motor
Print Date : 2003-06-21
Optimal Design of Three-Phase Squirrel-Cage Induction Motor for Electric Vehicle
Print Date : 2003-06-21
A New Method in Design and Implementation of Electronic Synchronizer Based on Phase Locked Loop for Fast Paralleling of Diesel–Generators
Print Date : 2003-06-21
A New Circuit for Protecting of Series Connected Power Thyristors
Print Date : 2003-06-21
Cooperation in Multi-Agent Systems Using Learning Automata
Print Date : 2003-06-21

Share To

Article Url

Deep Extreme Learning Machine: A Combined Incremental Learning Approach for Data Stream Classification