Як використовувати криві навчання для діагностики ефективності моделі машинного навчання

Останнє оновлення 6 серпня 2019 року

Крива навчання - це графік модельної ефективності навчання протягом досвіду чи часу.

Криві навчання - це широко використовуваний діагностичний інструмент у машинному навчанні для алгоритмів, які поступово навчаються на основі навчального набору даних. Модель може бути оцінена на наборі даних тренувань та на базі даних перевірки, що триває, після кожного оновлення під час навчання, а графіки вимірюваних результатів можуть бути створені для відображення кривих навчання.

Перегляд кривих навчання моделей під час навчання може бути використаний для діагностики проблем із навчанням, таких як модель недостатньої чи надмірної підготовки, а також чи є набори даних про навчання та перевірку належними.

У цій публікації ви дізнаєтеся про криві навчання та про те, як їх можна використовувати для діагностики поведінки на навчання та узагальнення моделей машинного навчання, на прикладах графіків, що показують загальні проблеми навчання.

Прочитавши цю публікацію, ви дізнаєтесь:

Криві навчання - це графіки, які показують зміни у навчальних показниках з часом з точки зору досвіду.
Криві вивчення характеристик моделі на поїзді та валідаційні набори даних можуть бути використані для діагностики недооформленої, перенапруженої чи добре підібраної моделі.
Криві навчання продуктивності моделі можуть бути використані для діагностики, чи не є набори даних про поїзд чи перевірку відносно репрезентативними для проблеми.

Почніть свій проект з моєю новою книгою «Краще глибоке навчання», включаючи покрокові підручники та файли вихідного коду Python для всіх прикладів.

Давайте розпочнемо.

Ніжний вступ до кривих навчання для діагностики продуктивності моделі глибокого навчання
Фото Майка Сазерленда, деякі права захищено.

Огляд

Цей підручник розділений на три частини; вони є:

Криві навчання
Діагностування поведінки моделі
Діагностика нерепрезентативних наборів даних

Криві навчання в машинному навчанні

Як правило, крива навчання - це графік, який показує час або досвід на осі x та навчання або вдосконалення на осі y.

Криві навчання (LC) вважаються ефективними інструментами для моніторингу результатів праці робітників, які піддаються новим завданням. LC забезпечують математичне відображення процесу навчання, який відбувається при повторенні завдань.

Наприклад, якщо ви вивчали музичний інструмент, ваші навички роботи з інструментом могли б оцінюватись і призначати числову оцінку щотижня протягом одного року. Графік балів за 52 тижні - це крива навчання, яка показує, як ваше вивчення інструменту змінювалось з часом.

Крива навчання: Лінійний графік навчання (вісь y) над досвідом (вісь x).

Криві навчання широко використовуються в машинному навчанні для алгоритмів, які навчаються (оптимізують свої внутрішні параметри) з часом поступово, наприклад, для глибокого навчання нейронних мереж.

Показник, що використовується для оцінки навчання, може бути максимізуючим, тобто кращі оцінки (більші цифри) вказують на більше навчання. Прикладом може бути точність класифікації.

Більш поширеним є використання оцінки, яка зводить до мінімуму, наприклад, втрата або помилка, завдяки чому кращі оцінки (менші цифри) вказують на більший рівень навчання, а значення 0,0 означає, що навчальний набір даних вивчений досконало і помилок не було.

Під час навчання моделі машинного навчання можна оцінити поточний стан моделі на кожному кроці навчального алгоритму. Це можна оцінити на наборі даних тренінгу, щоб дати уявлення про те, наскільки добре модель "навчається". Його також можна оцінити на наборі даних перевірки, що не є частиною навчального набору даних. Оцінка набору даних перевірки дає уявлення про те, наскільки модель "узагальнює".

Тренуй крива навчання: Крива навчання, розрахована на основі навчального набору даних, що дає уявлення про те, наскільки добре навчається модель.
Крива підтвердження навчання: Крива навчання, розрахована на основі набору даних перевірки, який дає змогу зрозуміти, наскільки модель узагальнює.

Загальноприйнятим є створення кривих подвійного навчання для моделі машинного навчання під час навчання як на базах даних навчання, так і на основі перевірки.

У деяких випадках також загальноприйнятим є створення кривих навчання для кількох метрик, наприклад, у випадку задач класифікаційного прогнозуючого моделювання, де модель може бути оптимізована відповідно до перехресних ентропійних втрат, а ефективність моделі оцінюється за допомогою точності класифікації. У цьому випадку створюються дві графіки, одна для кривих навчання кожної метрики, і кожна ділянка може показувати дві криві навчання, по одній для кожного набору даних про поїзд та перевірку.

Криві оптимізації навчання: Криві навчання, розраховані на метриці, за допомогою якої оптимізуються параметри моделі, наприклад втрата.
Криві навчання ефективності: Криві навчання, розраховані на метриці, за якою буде оцінено та обрано модель, наприклад точність.

Тепер, коли ми знайомі з використанням кривих навчання в машинному навчанні, давайте розглянемо деякі загальні форми, що спостерігаються на графіках кривих навчання.

Хочете отримати кращих результатів із глибоким навчанням?

Пройдіть мій безкоштовний 7-денний курс збою електронної пошти зараз (із зразком коду).

Клацніть, щоб зареєструватися, а також отримати безкоштовну версію курсу у форматі PDF для електронних книг.

Діагностування поведінки моделі

Форму та динаміку кривої навчання можна використовувати для діагностики поведінки моделі машинного навчання і, в свою чергу, можливо, запропонувати тип змін конфігурації, які можуть бути зроблені для поліпшення навчання та/або продуктивності.