Методи прогнозування управління в задачах пошуку сідлових точок

Анотація

У статті представлені нові методи пошуку стаціонарних точок функції багатьох змінних, в тому числі сідлових. Такі завдання зустрічаються в різних галузях теоретичної і практичної науки, наприклад, у побудові сідлових точок в дизайні лінз, машинному або глибокому навчанні завдань опуклою оптимізації та нелінійного програмування (необхідні і достатні умови вирішення формулюються за допомогою сідлових точок функції Лагранжа і доводяться в теоремі Куна-Таккера. При навчанні нейронних мереж доводиться повторювати процес навчання на великих кластерах і перевіряти здатність до навчання мережі при різних функціях втрати і різній глибині мережі, тобто проводити тисячі запусків нових обчислень, де кожен раз оптимізується функція втрати на великих обсягах даних, тому будь-яке прискорення процесу пошуку стаціонарних точок є найважливішою перевагою і економить обчислювальні ресурси. Багато сучасних методів пошуку сідлових точок засновані на обчисленні і матриці Гессе, зверненні цієї матриці, скалярного добутку вектора градієнта і поточного вектора, знаходженні повного лагранжіан і т.п. Однак всі ці операції є обчислювально «дорогими» і мало б сенс обходити такі складні розрахунки. Ідея модифікації звичайних градієнтних методів, використана в статті, полягає в застосуванні схем пошуку нерухомих точок нелінійних дискретних динамічних систем для задач градієнтного спуску. Передбачається, що цим нерухомим точкам відповідають нестійкі положення рівноваги, і серед мультиплікаторів кожного положення рівноваги є великі одиниці. Використовуються методи усередненого прогнозуючого контролю. Результати чисельного моделювання та візуалізації наведені у вигляді двох таблиць, де вказані басейни тяжіння кожної стаціонарної точки для кожної схеми, і статистичні дані по швидкостям збіжності.