ТРЁХФАЗОВОЕ ОБУЧЕНИЕ ИНТЕЛЛЕКТУАЛЬНОГО ЭНЕРГОМЕНЕДЖМЕНТА ГИБРИДНОЙ ЭНЕРГОСИСТЕМЫ С КЛИМАТО-ОСВЕДОМЛЁННЫМ ПРЕДСТАВЛЕНИЕМ СОСТОЯНИЯ

Аннотация

Предложена методика обучения интеллектуальной системы энергоменеджмента гибридной возобновляемой энергосистемы (ГВЭС) с накопителем, преодолевающая два основных препятствия прямого применения обучения с подкреплением (Reinforcement Learning, RL) на действующем оборудовании — выборочную неэффективность и недопустимость небезопасного исследования. В основу положен трёхфазовый цикл «офлайн – теневой режим – онлайн». На первой фазе обучение проводится исключительно на синтетической телеметрии цифрового двойника: функция вознаграждения восстанавливается методом инверсного обучения с подкреплением из экспертных траекторий стохастической прогнозирующей модели, после чего выполняются поведенческое клонирование и консервативное офлайн-обучение. Вторая фаза — теневой режим на действующей станции без подачи управляющих сигналов, с контролем расхождения и адаптацией двойника. Третья — осторожное онлайн-дообучение под внешним защитным слоем. Отличительным элементом представления состояния является включение характеристик неопределённости метеорологического прогноза наряду с его точечными значениями, что сообщает агенту чувствительность к риску. Задача формализована как ограниченный марковский процесс принятия решений с конусом условной стоимости под риском для хвостовых рисков небаланса. Объектом служит промышленная ГВЭС (250 кВт, 60 кВт, 100 кВт·ч). Приведены архитектура агента, псевдокод итерации управления и набор показателей оценки. Актуальность методики обусловлена потребностью в предэксплуатационном обучении интеллектуальных систем управления распределённой энергетики Казахстана при дефиците наземной метеорологической сети.