Архівована нормалізація ваги повідомлення Проста репараметризація для прискорення навчання глибоких

Джее Дук Сео

9 лютого 2019 · 4 хв читання

Зверніть увагу, що ця публікація призначена для моїх власних навчальних цілей.

Зараз → ми нормалізуємо вагу мережі → пришвидшити конвергенцію → не залежить від розміру партії → може застосовуватися в RNN або GAN. (Простий, але потужний метод прискорення конвергенції). → застосовується також у RL.

NN → може тренуватися швидше, коли задіяний коефіцієнт нормалізації → методи оптимізації градієнта першого порядку → залежить від кривизни пейзажу втрат → проблема сідлових точок. (про патологічну кривизну → важкий прогрес у цих ландшафтах). → існує простіший спосіб оптимізації. (пошук хороших шляхів для оптимізації є ключовим напрямком дослідження).

Архітектура мережі відрізняється від завдання до завдання → Поліпшення властивості оптимізації - ще одна ключова область дослідження → вдосконалення методів оптимізації було б дуже корисним. (з використанням методів природного градієнта, можливо, в дорозі.). → стосується матриці Фішера та операції запису. Або змініть, щоб градієнт виглядав як природний градієнт → відбілювання градієнта → припустимо, декорреляція покращує оптимізацію. (нормалізація партії - інший метод). → зменшити зсув коваріації. (натхненний нормалізацією партії) →, але шуму для градієнта немає.

Стандартна NN → множення матриць та нелінійність → загальний підхід. (перепараметризуйте вагу за допомогою нормалізації → шляхом введення V і G.).

---