Змішаний метод глибокого навчання та обробки природної мови для розпізнавання зображень із підробленою їжею та
Саймон Мезгец
1 Міжнародна аспірантура Йожефа Стефана, Любляна, Словенія,
2 Відділ комп’ютерних систем, Інститут Йожефа Стефана, Ямова дорога 39, Любляна 1000, Словенія,
Томе Єфтімов
1 Міжнародна аспірантура Йожефа Стефана, Любляна, Словенія,
2 Відділ комп’ютерних систем, Інститут Йожефа Стефана, Ямова дорога 39, Любляна 1000, Словенія,
Тамара Бухер
3 Інститут харчування, харчування та здоров'я (IFNH), ETH Цюрих, Цюрих, Швейцарія,
4 Школа наук про здоров'я, факультет охорони здоров'я та медицини, Пріоритетний дослідницький центр з фізичної активності та харчування, Університет Ньюкасла, Каллаган, Австралія,
Барбара Корушич Селяк
2 Відділ комп’ютерних систем, Інститут Йожефа Стефана, Ямова дорога 39, Любляна 1000, Словенія,
Анотація
Об’єктивна
У цьому дослідженні перевірено поєднання усталеного та затвердженого методу дослідження вибору їжі („фальшивий шведський стіл з їжею“) та нової технології відповідності їжі для автоматизації збору та аналізу даних.
Дизайн
Методологія поєднує розпізнавання зображень фальшивої їжі з використанням глибокого навчання та відповідності їжі та стандартизації на основі обробки природних мов. Перший є специфічним, оскільки використовує єдину мережу глибокого навчання, щоб виконувати як сегментацію, так і класифікацію на рівні пікселів зображення. Для оцінки його ефективності застосовувались заходи, засновані на стандартній точності пікселів та перетині над об'єднанням. Харчова відповідність спочатку описує кожен із розпізнаних харчових продуктів на зображенні, а потім узгоджує харчові продукти зі своїми композиційними даними, враховуючи як їх назви продуктів, так і їх дескриптори.
Результати
Остаточна точність моделі глибокого навчання, підготовленої на зображеннях фальшивої їжі, отриманих 124 учасниками дослідження та забезпечуючих п'ятдесят п’ять класів їжі, становила 92,18%, тоді як підбір їжі проводився з точністю класифікації 93%.
Висновки
Ці результати є кроком до автоматизації оцінки дієти та досліджень вибору їжі. Методологія перевершує інші підходи в точності пікселів, і оскільки це перше автоматичне рішення для розпізнавання зображень фальшивих продуктів, результати можуть бути використані як базовий для можливих майбутніх досліджень. Оскільки підхід дозволяє напівавтоматичний опис визнаних харчових продуктів (наприклад, щодо FoodEx2), вони можуть бути пов’язані з будь-якою базою даних про склад харчових продуктів, яка застосовує ту саму систему класифікації та опису.
Вимірювання дієтичної поведінки за допомогою традиційних, неавтоматизованих технологій самозвітування пов’язане із значними витратами, а це означає, що дослідники особливо зацікавлені у розробці нових, автоматизованих підходів. Існує очевидна потреба в оцінці дієти та системах охорони здоров’я у простих у використанні пристроях та програмних рішеннях, які можуть ідентифікувати продукти харчування, кількісно оцінити споживання, реєструвати поведінку та дотримання норм здоров’я та вимірювати контекст харчування. Метою цього дослідження було перевірити поєднання усталеного та затвердженого методу дослідження вибору їжі, «підробленого шведського столу» (FFB), та нової технології відповідності харчових продуктів для автоматизації збору та аналізу даних.
FFB був розроблений як експериментальний метод дослідження складного вибору їжі, складу їжі та вибору розміру порції в контрольованих лабораторних умовах. FFB - це вибір дуже автентичних реплік харчових продуктів, серед яких споживачам пропонується вибрати. Метод FFB був підтверджений порівнянням страв, поданих із справжньої та фальшивої їжі (1). Порції їжі, подані з фальшивої їжі, тісно корелювали з порціями, поданими з справжньої їжі (1). Крім того, у ряді досліджень було виявлено значну кореляцію між енергетичними потребами учасників та кількістю поданих страв (1 - 4). Також було показано, що люди, які відбирали продукти харчування протягом цілого дня з FFB, змогли точно відповідати своїм дієтичним вимогам (5) .
У типовому дослідженні FFB експериментатори вибирають фальшиву їжу та влаштовують фуршет. Учасники отримують інструкції, які можуть містити експериментальне втручання, а потім їм пропонується вибрати продукти, вибрати порції продуктів для складання їжі (2, 3) або навіть встановити дієту на день (5). Потім експериментатор аналізує вибір. Подібні протоколи та однакові фальшиві продукти використовувались для експериментів у різних країнах (тобто Німеччині, Швейцарії, Великобританії та Австралії). В даний час процедура дослідження FFB все ще має кілька «аналогічних» компонентів. Після того, як учасники підбирають їжу, робиться фотографія, продукти розділяються вручну, кожна їжа зважується, і дослідник обчислює харчові цінності для вибраних фальшивих продуктів. Цей процес отримав би користь від автоматизації. Усі потреби споживачів реєструються, а для цілей дослідження доступні додаткові зображення фальшивої їжі.
Першим кроком процесу автоматизації є розпізнавання фальшивих продуктів та фальшивих напоїв, присутніх на цих зображеннях. Через природу не тільки фальшивої їжі та фальшивих напоїв, а й продуктів харчування та напоїв загалом, це є особливо складною проблемою комп’ютерного зору. Розмежування між різними продуктами харчування та напоями (відтепер «продукти харчування») може бути складною навіть для людського ока. Проблема полягає в тому, що різні продукти харчування можуть здаватися дуже схожими, і один і той же продукт харчування може суттєво відрізнятися на різних зображеннях через різноманітні фактори, такі як якість зображення, освітленість, кількість шуму на зображенні, спосіб приготування та подачі продукту харчування тощо.
Наступним кроком є узгодження фальшивих продуктів харчування, розпізнаних на зображенні, з даними про склад харчових продуктів, що представляють собою детальний набір інформації про харчові компоненти, що містять харчові продукти, забезпечуючи значення енергії та поживних речовин, включаючи білок, вуглеводи, жир, вітаміни і мінеральних речовин, а також щодо інших важливих харчових компонентів, таких як клітковина тощо. Дані представлені в базах даних про склад харчових продуктів (FCDB). Процес напівавтоматичного підбору їжі є найважливішою частиною автоматизованої дієтичної оцінки.
У поточній роботі ми представляємо результати дослідження, проведеного з метою розробки автоматизованої дієтичної оцінки, яка складається з двох основних видів діяльності: (i) автоматичне розпізнавання фальшивих продуктів харчування та фальшивих напоїв за фотографіями; та (ii) автоматичне присвоєння (зіставлення) розпізнаних елементів їх композиційним даним. Використовуючи такий підхід, оцінка дієти може бути проведена набагато швидше і, у багатьох випадках, також точніше, ніж якщо проводитись вручну.
Робота продовжується наступним чином. У наступному розділі ми представляємо відповідні роботи з FFB, розпізнавання зображень продуктів харчування та відповідності продуктів харчування. Далі ми вводимо методологію, яка застосовується у цьому дослідженні, для автоматизованої дієтичної оцінки. Далі ми показуємо, як цю методологію застосовували до фальшивих продуктів, і представляємо результати оцінки. Нарешті, ми обговорюємо результати та представляємо кілька ідей для подальшої роботи.