مرکز منطقه ای اطلاع رسانی علوم و فناوری فصلنامه مهندسی برق و مهندسی کامپيوتر ايران 16823745 23 3 2026 3 26 Home Energy Management System Based on Multi-Agent Reinforcement Learning Considering Simultaneous Participation in Energy and Flexibility Markets مدیریت انرژی خانه‌های هوشمند مبتنی بر یادگیری تقویتی چندعامله با لحاظ مشارکت همزمان در بازارهای انرژی و انعطاف‌پذیری 175 186 fa پیمان مادح خاکسار دانشگاه تربیت مدرس سید حامد دلخوش دانشگاه تربیت مدرس 2025 9 2 <p style="text-align: left;">Moving toward renewable generation and utilizing the potential of demand response in downstream power networks are considered the key solutions to address the challenges of future power systems. Also, the decentralization and digitalization gigatrends have highlighted the importance of optimal energy management for smart homes, including generation, consumption, and storage devices, based on modern approaches. This paper proposes a home energy management system (HEMS) for a building consisting of different appliances (three types of fixed power, time-shiftable, and power-shiftable) and a renewable distributed generation (solar panel). This HEMS receives the solar generation power and energy market price from a neural network-based forecasting tool to obtain the optimal daily schedule of the smart home using multi-agent reinforcement learning based on the Q-learning solution method. The main innovative aspect of the proposed model is the possibility of simultaneous participation in energy and flexibility markets, which can be aligned or opposite in terms of economic profit. Complicating factors of user satisfaction (comfort concerns) and upstream obligations (required generation curtailment) are also considered in the model. The effectiveness of the proposed method is demonstrated through the simulation for various scenarios and sensitivity analysis to key parameters.</p> <p>توسعه تولیدات تجدید&zwnj;پذیر و بکارگیری مدیریت تقاضا در شبکه&zwnj;های پایین&zwnj;دست برق، به&zwnj;عنوان راه&zwnj;حل&zwnj;هایی کلیدی جهت رفع معضلات پیش&zwnj;روی شبکه&zwnj;های قدرت آینده مورد توجه است. همچنین گسترش روندهای تمرکززدایی و دیجیتالی&zwnj;شدن، جایگاه مدیریت انرژی بهینه مبتنی بر رویکردهای نوین محاسباتی را در خانه&zwnj;های هوشمند (متشکل از تجهیزات تولید، مصرف و ذخیره&zwnj;سازی) برجسته نموده است. این مقاله، یک سیستم مدیریت انرژی برای خانه هوشمندی متشکل از وسایل (سه نوع توان ثابت، با قابلیت جابجایی زمانی و توان متغیر) و تولید پراکنده تجدیدپذیر (پنل خورشیدی) پیشنهاد داده است. این سیستم، تولید و قیمت بازار را از ابزار پیش&zwnj;بینی&zwnj; مبتنی بر شبکه عصبی دریافت کرده و برنامه بهینه روزانه را با استفاده از یادگیری تقویتی چندعامله (روش حل یادگیری Q) به دست می&zwnj;آورد. مهم&zwnj;ترین وجه نوآورانه مدل ارائه&zwnj;شده امکان مشارکت همزمان خانه در بازارهای انرژی و انعطاف&zwnj;پذیری است که از منظر کسب سود می&zwnj;توانند همسو یا خلاف سو باشند. در این مدل، عوامل پیچیده&zwnj;کننده رضایت کاربر (آسایش در بهره&zwnj;مندی از وسایل) و الزامات محدودکننده بالادستی (قطع تولید موردنیاز بهره&zwnj;بردار) نیز لحاظ شده است. صحت و اثربخشی روش پیشنهادی، از طریق پیاده&zwnj;سازی در نرم&zwnj;افزار پایتون، شبیه&zwnj;سازی سناریوهای متنوع&nbsp; و تحلیل حساسیت نسبت به پارامترهای کلیدی نشان داده شده است.</p> http://ijece.org/ar/Article/Download/51333