Штучний інтелект пропонує рецепти, засновані на фотографіях продуктів харчування. Інститут Массачусетського університету

Прес-контакт:

рецепти

Попереднє зображення Наступне зображення

Користувачі соціальних мереж мало чого люблять більше, ніж заливати свої канали фотографіями їжі. Проте ми рідко використовуємо ці зображення набагато більше, ніж швидке прокручування на наших мобільних телефонах.

Дослідники з Лабораторії комп'ютерних наук та штучного інтелекту MIT (CSAIL) вважають, що аналіз таких фотографій може допомогти нам вивчити рецепти та краще зрозуміти харчові звички людей. У новій роботі з Катарським науково-дослідним інститутом обчислювальної техніки (QCRI) команда навчила систему штучного інтелекту під назвою Pic2Recipe, щоб переглядати фото їжі та мати можливість прогнозувати інгредієнти та пропонувати подібні рецепти.

"У комп'ютерному зорі їжею здебільшого нехтують, оскільки ми не маємо масштабних наборів даних, необхідних для прогнозування", - говорить Юсуф Айтар, докторант з Массачусетського технологічного інституту, який разом із професором МІТ Антоніо Торральбою написав статтю про систему. "Але, здавалося б, марні фотографії в соціальних мережах насправді можуть дати цінну інформацію про звички здоров'я та дієтичні уподобання".

Стаття буде представлена ​​пізніше цього місяця на конференції Computer Vision and Pattern Recognition в Гонолулу. Аспірант CSAIL Нік Хайнс був провідним автором разом із Амайєю Сальвадор з Політехнічного університету Каталонії в Іспанії. Співавторами є доктор CSAIL Хав'єр Марін, а також учений Ферда Офлі та керівник досліджень Інгмар Вебер з QCRI.

Як це працює

Мережа спричинила значний ріст досліджень у галузі класифікації даних про харчові продукти, але більшість із них використовували значно менші масиви даних, що часто призводить до значних прогалин у маркуванні продуктів.

У 2014 році швейцарські дослідники створили набір даних “Food-101” та використали його для розробки алгоритму, який міг розпізнавати зображення їжі з 50-відсотковою точністю. Майбутні ітерації лише підвищили точність приблизно до 80 відсотків, що припускає, що розмір набору даних може бути обмежуючим фактором.

Навіть більші набори даних часто були дещо обмеженими в тому, наскільки добре вони узагальнюються для різних груп населення. База даних Міського університету в Гонконзі налічує понад 110 000 зображень та 65 000 рецептів, кожен зі списками інгредієнтів та інструкціями, але містить лише китайську кухню.