Довгі мережі короткочасної пам’яті в мемристорних поперечних масивах Nature Machine Intelligence

Предмети

Анотація

Нещодавні прориви в періодичних глибоких нейронних мережах з довгостроковою короткочасною пам’яттю (LSTM) призвели до значного прогресу в галузі штучного інтелекту. Однак ультрасучасні моделі LSTM зі значно підвищеною складністю та великою кількістю параметрів мають вузьке місце в обчислювальній потужності, що обумовлено як обмеженою ємністю пам'яті, так і обмеженою пропускною здатністю передачі даних. Тут ми експериментально демонструємо, що синаптичні ваги, спільно використовувані на різних етапах часу в LSTM, можуть бути реалізовані за допомогою мемристорного поперечного масиву, який має невеликий розмір контуру, може зберігати велику кількість параметрів і пропонує обчислювальні можливості в пам'яті, що сприяє обходу «вузьке місце фон Неймана». Ми ілюструємо здатність нашої поперечної системи як основного компонента у вирішенні реальних проблем регресії та класифікації, що показує, що мемрістор LSTM - це перспективна апаратна платформа з низьким енергоспоживанням та низькою затримкою для виведення краю.

Параметри доступу

Підпишіться на журнал

Отримайте повний доступ до журналу протягом 1 року

всього 7,71 € за випуск

Усі ціни вказані у нетто-цінах.
ПДВ буде додано пізніше під час оплати.

Оренда або купівля статті

Отримайте обмежений за часом або повний доступ до статей на ReadCube.

Усі ціни вказані у нетто-цінах.

короткочасної

Наявність даних

Дані, що підтверджують сюжети в цій роботі, та інші висновки цього дослідження доступні у відповідного автора за обґрунтованим запитом. Код, який підтримує сюжети в цій статті та інші результати цього дослідження, доступний за адресою http://github.com/lican81/memNN. Код, що підтримує зв'язок між спеціально створеною системою вимірювань та інтегрованою мікросхемою, можна отримати у відповідного автора за розумним запитом.

Список літератури

LeCun, Y., Bengio, Y. & Hinton, G. Глибоке навчання. Природа 521, 436–444 (2015).

Hochreiter, S. & Schmidhuber, J. Довга короткочасна пам'ять. Нейронні обчислення. 9, 1735–1780 (1997).

Герс, Ф. А., Шмідхубер, Дж. І Каммінс, Ф. Вчимося забувати: постійне передбачення за допомогою LSTM. Нейронні обчислення. 12, 2451–2471 (2000).

Schmidhuber, J., Wierstra, D. & Gomez, F. Evolino: гібридна нейроеволюція/оптимальна лінійна. В Proc 19-а міжнародна спільна конференція зі штучного інтелекту 853–858 (Морган Кауфманн, Сан-Франциско, 2005).

Бао, В., Юе, Дж. & Рао, Ю. Поглиблене навчання для фінансових часових рядів із використанням накопичених автокодерів та довгострокової пам'яті. PLOS ONE 12, e0180944 (2017).

Jia, R. & Liang, P. Рекомбінація даних для нейронного семантичного синтаксичного аналізу. В Proc. 54-та щорічна зустріч Асоціації обчислювальної лінгвістики (ред. Ерк, К. та Сміт, Н. А.) 12–22 (Асоціація обчислювальної лінгвістики, 2016).

Карпаті, А. Нерозумна ефективність періодичних нейронних мереж. Блог Андрія Карпаті http://karpathy.github.io/2015/05/21/rnn-effectiveness/ (2015).

Ву, Ю. та ін. Система нейронного машинного перекладу Google: подолання розриву між людським та машинним перекладом. Препринт на https://arxiv.org/abs/1609.08144 (2016).

Xiong, W. та співавт. Система розпізнавання розмовного мовлення Microsoft 2017. В 2018 Міжнародна конференція IEEE з акустики, обробки мови та обробки сигналів (ICASSP) 5934–5938 (IEEE, 2018).

Судхакаран, С. та Ланц, О. Навчання виявляти насильницькі відео за допомогою звивистої довгої короткочасної пам'яті. В Proc. 14-а Міжнародна конференція IEEE з удосконаленого відеоспостереження та спостереження на основі сигналів (AVSS) 1–6 (IEEE, 2017).

Чанг, А. X. М. & Culurciello, E. Апаратні прискорювачі для періодичних нейронних мереж на ПЛІС. В Proc 2017 IEEE Міжнародний симпозіум про схеми та системи 1–4 (IEEE, 2017).

Гуан, Ю., Юань, З., Сонце, Г. і Конг, Дж. Прискорювач на основі FPGA для тривалої короткострокової пам'яті, що оновлює нейронні мережі. В Proc. 2017 22-а конференція з автоматизації дизайну в Азії та Південному Тихому океані 629–634 (IEEE, 2017).

Чжан Ю. та ін. Енергоефективний прискорювач на основі FPGA для мережі LSTM. В Proc. 2017 Міжнародна конференція IEEE з кластерних обчислень 629–630 (IEEE, 2017).

Конті, Ф., Кавігеллі, Л., Паулін, Г., Сусмель, І. та Беніні, Л. Бурундук: систолічно масштабований 0,9 мм 2, 3,08 гоп/с/мВт при 1,2 мВт прискорювача нейронної мережі біля сенсора умовивід. В 2018 Конференція IEEE щодо інтегрованих мікросхем (CICC) 1–4 (IEEE, 2018).

Різакіс, М., Веньєріс, С. І., Куріс, А. і Буганіс, К.-С. Орієнтовні LSTM на основі FPGA при обмеженнях часу обчислення. В 14-й Міжнародний симпозіум з прикладних реконфігурованих обчислень (ARC) (під ред. Вороса, Н. та ін.) 3–15 (Springer, Cham, 2018).

Чуа, Л. Мемрістор - відсутній елемент ланцюга. IEEE Trans. Теорія ланцюгів 18, 507–519 (1971).

Струков, Д. Б., Снайдер, Г. С., Стюарт, Д. Р. і Вільямс, Р. С. Зниклий мемристор знайдений. Природа 453, 80–83 (2008).

Ян, Дж. Дж., Струков, Д. Б. і Стюарт, Д. Р. Мемрістивні пристрої для обчислень. Нат. Нанотех. 8, 13–24 (2013).

Li, C. та співавт. Обробка аналогового сигналу та зображення за допомогою великих мемристорних ригелів. Нат. Електрон. 1, 52–59 (2018).

Ле Галло, М. та ін. Змішані точні обчислення в пам’яті. Нат. Електрон. 1, 246–253 (2018).

Преціозо, М. та співавт. Навчання та функціонування інтегрованої нейроморфної мережі на основі металоксидних мемристорів. Природа 521, 61–64 (2015).

Берр, Г. В. та ін. Експериментальна демонстрація та толерантність широкомасштабної нейронної мережі (165 000 синапсів) з використанням пам'яті фазового зміни як синаптичного вагового елемента. IEEE Trans. Електрон. Пристрої 62, 3498–3507 (2015).

Ю, С. та ін. Двійкова нейронна мережа з макрочипом rram 16 мб для класифікації та онлайн-тренінгу. В 2016 Міжнародна зустріч електронних пристроїв IEEE (IEDM) 16.2.1–16.2.4 (IEEE, 2016).