مرکز تحقیقات راه، مسکن و شهرسازی جاده 1735-062X مقالات آماده انتشار 2025 04 23 Evaluation of the Performance of an Intelligent Traffic Flow Management Model Based on Reinforcement Learning in Reducing Pollutant Emissions ارزیابی عملکرد مدل هوشمند مدیریت جریان ترافیک مبتنی بر یادگیری تقویتی در کاهش انتشار آلاینده‌ها 219548 10.22034/road.2025.513315.2379 FA شهریار افندیزاده دانشکده مهندسی عمران-دانشگاه علم و صنعت ایران محمد علی حسن زاده دانشکده مهندسی عمران، دانشگاه علم و صنعت ایران Journal Article 2025 03 20 In today’s world, environmental concerns and the adverse impacts of air pollution on public health have made reducing traffic-related pollutant emissions a fundamental priority in major cities. In Tehran, the pollution levels generated by key traffic-related pollutants, such as hydrocarbons, carbon monoxide, carbon dioxide, nitrogen oxides, and particulate matter, frequently exceed permissible standards, thereby posing serious health risks to residents. This study presents an intelligent approach to pollutant emission management by introducing a reinforcement learning-based model employing Proximal Policy Optimization. By dynamically adjusting permissible speed limits and the ramp metering signals, the model aims to reduce key pollutant emissions and fuel consumption without negatively affecting traffic flow indices. The use of detailed traffic simulation via SUMO software and model training under various traffic volumes has led to robust performance across different network conditions. In implementation, the model is executed over a one-hour simulation, during which control parameters related to speed limits and ramp metering signals are continuously updated through parallel environment training. The agent, upon receiving the traffic state of the network—which includes density and average speed across different road segments—selects the appropriate control actions to minimize pollutant emissions. The resulting outputs, comprising indicators of pollutant emissions and traffic flow performance, demonstrate that the model is capable of achieving a significant reduction in emissions without disrupting traffic flow. در دنیای امروز، نگرانی‌های زیست‌محیطی و اثرات منفی آلودگی هوا بر سلامت عمومی موجب شده است که کاهش انتشار آلاینده‌های ترافیکی به‌عنوان یکی از اولویت‌های اساسی در شهرهای بزرگ مطرح شود. در شهر تهران نیز، سطح آلودگی ناشی از آلاینده‌‌هایی مانند هیدروکربن‌ها، مونوکسید و دی‌اکسیدکربن، اکسید‌های نیتروژن و ذرات معلق که مهم‌ترین آلاینده‌های ناشی از جریان ترافیک‌اند اغلب از استانداردهای مجاز فراتر رفته و مشکلات جدی برای سلامت ساکنان ایجاد کرده است. این پژوهش باهدف ارائه رویکردی هوشمند در مدیریت انتشار آلاینده‌ها، مدلی مبتنی بر یادگیری تقویتی با عامل بهینه‌سازی سیاست هم‌جوار را معرفی می‌کند که از طریق تنظیم دینامیک سرعت مجاز و زمان‌بندی چراغ‌های رمپ، بدون تأثیر منفی به‌خصوص بر شاخص‌های جریان ترافیک، کاهش انتشار آلاینده‌های کلیدی و همچنین مصرف سوخت را به دنبال دارد. استفاده از شبیه‌سازی دقیق ترافیکی با نرم‌افزار سومو و آموزش مدل در احجام مختلف ترافیکی منجر به عملکرد پایدار آن در وضعیت‌های مختلف شبکه شده است. در پیاده‌سازی، مدل در یک شبیه‌سازی یک‌ساعته اجرا شده و با استفاده از آموزش در محیط‌های موازی، کنترل‌های مربوط به تغییرات سرعت مجاز و زمان چراغ‌های راهنمایی رمپ ورودی به طور پیوسته به‌روزرسانی می‌شوند. عامل با دریافت وضعیت ترافیکی شبکه شامل تراکم و سرعت متوسط در قطعات مختلف راه انتخاب می‌کند که چه کنترل‌هایی در شبکه پیاده کند که باعث کاهش انتشار آلاینده‌ها شود. خروجی‌های به‌دست‌آمده که شامل شاخص‌های مربوط به انتشار آلاینده‌ها و همچنین عملکرد جریان ترافیکی است نشان می‌دهد که مدل قادر به کاهش معنادار آلاینده‌ها بدون به‌هم‌ریختن جریان ترافیکی است.