Глибоке навчання недостатньо, нам потрібне глибоке байєсівське навчання для безпечного ШІ - додому

Байєсівське глибоке навчання, бачення комп’ютера, невизначеність

Алекс Кендалл

Дослідник комп’ютерного бачення та робототехніки

Розуміння того, чого не знає модель, є важливою частиною багатьох систем машинного навчання. На жаль, сьогоднішні алгоритми глибокого навчання, як правило, не в змозі зрозуміти свою невизначеність. Ці моделі часто приймають наосліп і вважають їх точними, що не завжди має місце. Наприклад, у двох останніх ситуаціях це мало катастрофічні наслідки.

У травні 2016 року ми трагічно пережили смертельний випадок із системи керування автомобілем. Згідно з блогом виробника, "Ні автопілот, ні водій не помітили білу сторону причепа трактора на тлі яскраво освітленого неба, тому гальмо не було застосовано".

У липні 2015 року система класифікації зображень помилково визначила двох афроамериканських людей як горил, викликаючи занепокоєння щодо расової дискримінації. Дивіться новинний звіт тут.

І я впевнений, що є ще багато цікавих справ! Якщо обидва ці алгоритми змогли призначити високий рівень невизначеності своїм помилковим прогнозам, то кожна система могла б приймати кращі рішення і, ймовірно, уникати катастрофи.

Мені зрозуміло, що розуміння невизначеності є важливим. То чому не всі це роблять? Основна проблема полягає в тому, що традиційні підходи до машинного навчання для розуміння невизначеності, такі як Гауссові процеси, не масштабуються до великих розмірів, таких як зображення та відео. Для ефективного розуміння цих даних нам потрібно глибоке навчання. Але глибоке навчання намагається моделювати невизначеність.

У цій публікації я збираюся представити нове поле, відоме як глибоке навчання Байєса (BDL), яке забезпечує основу глибокого навчання, яка також може моделювати невизначеність. BDL може досягти найсучасніших результатів, одночасно розуміючи невизначеність. Я збираюся пояснити різні типи невизначеності та показати, як їх моделювати. Нарешті, я обговорю нещодавній результат, який показує, як використовувати невизначеність для зниження ваги для багатозадачного глибокого навчання. Матеріал для цього повідомлення в блозі взятий здебільшого з моїх двох останніх статей:

Які невизначеності нам потрібні при глибокому навчанні Баєса для комп’ютерного зору? Алекс Кендалл та Ярін Гал, 2017. (.pdf)

Багатозадачне навчання з використанням невизначеності для зважування втрат для сценової геометрії та семантики. Алекс Кендалл, Ярін Гал та Роберто Циполла, 2017. (.pdf)

І, як завжди, там можна знайти більше технічних деталей!

Приклад того, чому дійсно важливо розуміти невизначеність для оцінки глибини. Перше зображення є прикладом введення в нейромережу Байєса, яка оцінює глибину, як показано на другому зображенні. Третє зображення показує передбачувану невизначеність. Ви бачите, що модель передбачає неправильну глибину на складних поверхнях, таких як світловідбиваючі та прозорі вікна червоного автомобіля. На щастя, Баєсова модель глибокого навчання також усвідомлює свою помилковість і виявляє підвищену невизначеність.

Перше запитання, на яке я хотів би звернутися, це те, що таке невизначеність? Насправді існують різні типи невизначеності, і нам потрібно зрозуміти, які типи потрібні для різних застосувань. Я збираюся обговорити два найважливіші типи - епістемічну та алеаторну невизначеність.

Епістемічна невизначеність

Епістемічна невизначеність фіксує наше незнання щодо того, яка модель генерувала наші зібрані дані. Цю невизначеність можна пояснити, маючи достатньо даних, і її часто називають модельною невизначеністю. Епістемічна невизначеність дійсно важлива для моделювання для:

Критично важливі програми, оскільки епістемічна невизначеність потрібна для розуміння прикладів, які відрізняються від навчальних даних,
Невеликі набори даних, де дані навчання недостатні.

Алеаторна невизначеність

Алеаторична невизначеність фіксує нашу невизначеність щодо інформації, яку наші дані не можуть пояснити. Наприклад, алеаторичну невизначеність зображень можна віднести до оклюзій (оскільки камери не можуть бачити крізь предмети) або відсутності візуальних особливостей або надмірно експонованих областей зображення тощо. Це можна пояснити можливістю спостерігати за всіма пояснювальними змінні зі збільшенням точності. Алеаторна невизначеність дуже важлива для моделювання для:

Ситуації з великими даними, коли епістемічна невизначеність здебільшого пояснюється,
Додатки в режимі реального часу, оскільки ми можемо сформувати алеаторичні моделі як детерміновану функцію вхідних даних без дорогої вибірки Монте-Карло.

Ми можемо поділити алеаторику на дві наступні підкатегорії:

Залежна від даних або гетероскедастична невизначеність - це алеаторична невизначеність, яка залежить від вхідних даних і прогнозується як вихідний результат моделі.
Залежність завдання або гомосцедастична невизначеність - це алеаторична невизначеність, яка не залежить від вхідних даних. Це не вихідний результат моделі, швидше це величина, яка залишається незмінною для всіх вхідних даних і варіюється залежно від різних завдань. Тому її можна охарактеризувати як залежність від завдання невизначеності. Далі в дописі я покажу, як це насправді корисно для багатозадачного навчання.