ОКРЕМІ ВИПАДКИ ЗАДАЧ ОПТИМАЛЬНОГО СТОХАСТИЧНОГО КЕРУВАННЯ
1.Зовнішній інтеграл
Функції  і  можуть бути довільними, а математичні сподівання можна обчислювати, якщо  як функція від  є вимірною.
Якщо ж оптимальна стратегія, отримана в результаті оптимізації, виявиться невимірною, то і функція  може виявитися невимірною. У цьому випадку математичне сподівання невизначено.
Для розв’язання цієї проблеми застосовують два підходи. Перший полягає в накладенні на функції і таких обмежень, які забезпечували б вимірність підінтегральної функції на кожному кроці оптимізації  : функції і ,  , повинні бути неперервними по своїх аргументах і повинна існувати щільність імовірності розподілу випадкової величини  , а множини  значень припустимих стратегій повинні бути компактними.
На жаль, на практиці ці вимоги не завжди виконуються. Тому другий підхід пов’язаний з використанням зовнішнього інтеграла.
Позначимо через  простір елементарних подій, що є довільною множиною, а  – деяка система підмножин множини .
Математичним сподіванням випадкової величини  , заданої на імовірнісному просторі  , називається число  , якщо інтеграл з правої частини існує.
Нехай  і  – борелівські простори,  , є  -алгеброю в . Функція  називається -вимірною, якщо  для будь-якої множини  . Тут  – борелівська -алгебра простору .
Для функції  , ( ) зовнішній інтеграл за мірою  визначається як нижня грань інтегралів від всіх вимірних функцій  ( ), що мажорують  , тобто
 ,  .
Тут  – функція розподілу випадкової величини , що відповідає ймовірнісній мірі .
Для довільної функції має місце співвідношення:
 ,
де  ,  , і вважають, що  .
Оскільки зовнішній інтеграл визначений для будь-якої функції, як для вимірної, так і для невимірної, то ніяких додаткових обмежень на функції  і накладати не треба.
Для вимірних функцій обидва види математичних сподівань співпадають. Отже, у постановках задач можна замінити звичайне математичне сподівання на зовнішнє, і навіть якщо знайдена при цьому функція виявиться вимірною, то отримана стратегія керування не перестане бути оптимальною.
Зовнішня міра множини  визначається співвідношенням  .
Для будь-якої множини
 ,
де  – це індикатор множини  , що визначається як 
а) якщо  , то  ;
б) якщо  і  , то  ;
в) якщо  або  , то  ;
г) якщо  задовольняє рівності  , то для будь-якої функції має місце рівність  ;
д) якщо  , то  для будь-якої функції ;
е) якщо  і  , то  . Якщо при цьому хоча б одна з функцій або  -вимірна, то останнє співвідношення вірно зі знаком рівності.
Позначимо через  дійсну пряму, а через  – розширену дійсну пряму і надалі у всіх висновках замість дійсної прямої використовуватимемо поняття розширеної дійсної прямої.
Вважатимемо, що для розширеної дійсної прямої мають місце всі співвідношення порядку додавання і множення, які було введено для , і припустимо, що і  .
Позначимо через  множину всіх дійсних у розширеному розумінні функцій  , де  – простір станів.
 – банахів простір всіх обмежених дійсних функцій з нормою, що визначається за формулою
 ,  .
Позначатимемо  , якщо  ,  ,  і  , якщо  ,  , .
Для будь-якої функції  і будь-якого числа позначимо через  функцію, що приймає значення  в кожній точці  , так, що
 , .
Припущення монотонності. Для будь-яких станів , керування  і функцій  мають місце нерівності
 якщо  і  ;
 , якщо і  ;
 , якщо ,  і  .
Для будь-якого стратегія  називається  -оптимальною при горизонті  , якщо
і -оптимальною, якщо
Багато задач послідовної оптимізації, що становлять практичний інтерес, можуть розглядатися як окремі випадки задач загального виду. Розглянемо деякі з них:
· задачі детермінованого оптимального керування;
· задачі стохастичного керування зі зліченним простором збурень;
· задачі стохастичного керування із зовнішнім інтегралом;
· задачі стохастичного керування з мультиплікативним функціоналом витрат;
· задачі мінімаксного стохастичного керування.
2. Детерміноване оптимальне керування
Розглянемо відображення , що задане формулою
 , ,  , (1)
за таких припущень:
функції і  відображають множину  відповідно в множини  і , тобто  ,  ; скаляр  додатний.
За цих умов відображення  задовольняє припущенню монотонності. Якщо функція  дорівнює нулю, тобто  , , то відповідна -крокова задача оптимізації (1) набуває вигляду:
 , (2)
 . (3)
Ця задача є задачею детермінованого оптимального керування зі скінченним горизонтом. Задача з нескінченним горизонтом має наступний вигляд:
 , (4)
 . (5)
Границя в (4) існує, якщо має місце хоча б одна з наступних умов:
·  , ,  ;
·  , , ;
·  ,  , , і деякого  .
У задачі (4) – (5) може бути уведене додаткове обмеження на стан системи  ,  . У такому разі, якщо  , позначатимемо  .
3. Оптимальне стохастичне керування: зліченний простір збурень
Розглянемо відображення , що задане формулою
 , (6)
за таких припущень:
параметр приймає значення зі зліченної множини  з заданим розподілом ймовірностей  , що залежать від  і  ; функції і відображають множину  відповідно в множини і , тобто  ,  ; скаляр додатний.
Якщо  ,  , – елементи множини ,  – довільний розподіл ймовірностей на , а  – деяка функція, то математичне сподівання визначається за формулою
 ,
де  ,
 ,
.
Оскільки  , то математичне сподівання  визначене для будь-якої функції і будь-якого розподілу ймовірностей  на множині .
Зокрема, якщо  ,  ,… – розподіл ймовірностей на множині  , то формулу (6) можна переписати так:
При використанні цього співвідношення треба пам’ятати, що для двох функцій  ,  рівність  має місце, якщо виконується хоча б одна з трьох умов:
 та  ;
 та  ;
та .
Відображення задовольняє припущенню монотонності. Якщо функція – тотожний нуль, тобто , , то за умови  ,  , функцію витрат за кроків можна подати у вигляді:
 (7)
де  ,  .
Ця умова означає, що математичне сподівання обчислюється послідовно по всіх випадкових величинах .
При цьому зміна порядку операцій додавання і узяття математичного сподівання припустима, тому що , , і для довільних простору з мірою , вимірної функції  і числа  має місце рівність  .
Якщо виконується одна з двох нерівностей
 або
 ,
то функцію витрат за кроків  можна записати у вигляді:
 ,
де математичне сподівання обчислюється на добутку мір на  , а стани  ,  , виражаються через  за допомогою рівняння  .
Якщо функція  допускає подання у такому вигляді для будь-якого початкового стану  та будь-якої стратегії  , то -крокова задача може бути сформульована так:
 , (8)
 . (9)
Відповідна задача з нескінченним горизонтом формулюється так:
 , (10)
 . (11)
Границя в (10) існує при виконанні будь-якої з трьох наступних умов:
·  , , ,  ;
·  , , , ;
· ,  , , , і деякого .
Математичне сподівання визначається і як звичайний інтеграл, і як зовнішній інтеграл з -алгеброю в множині , що складається із всіх підмножин , в залежності від вимірності або невимірності функцій.
Для багатьох практичних задач виконується припущення про зліченність множини .
Якщо ж множина незліченна, то справа ускладнюється необхідністю обчислення математичного сподівання
для будь-якої функції  . Подолання цих труднощів і пов’язане з використанням зовнішнього інтеграла.
|