Задержки необходимы мозгу для оптимизации вычислений
Ученые из Университета Бар-Илана предложили новую архитектуру искусственных нейросетей, которая воспроизводит задержки нейросетей мозга. В этой модели время используется как дополнительное измерение.
Биологические элементы менее надежны, чем электрические. Вместо того, чтобы мгновенно принимать и передавать сигналы, мозг обрабатывает сигналы с большими задержками. Причем не все нейроны срабатывают, и передачу необходимо дублировать.
Но значит ли это, что неизбежные задержки – это неустранимый недостаток биологической системы, замедляющий работу мозга и снижающий ее эффективность?
В новом исследовании ученые из Университета Бар-Илана построили модель с задержками, которая показала, что эти неизбежные задержки – не "баг", а "фича".
Исследовании опубликовано в журнале Physica A: Statistical Mechanics and its Applications.
Профессор Идо Кантер так описывает различия искусственных и естественных нейросетей: в искусственных нейросетях для распознавания каждого объекта требуется отдельный выходной блок, в то время как мозг может использовать один выход сразу для многих объектов, но мозг выдает разные результаты в разное время. "Можно сказать, что мозг использует для обучения время, а компьютер – пространство", – говорит Кантер.
Соавтор работы Ярден Цах поясняет преимущество системы с задержками: "Для распознавания новых объектов не требуется менять архитектуру. Скажем, изображение лошади может быть распознано в на первой секунде, а изображение человека – на второй, а человек на лошади может быть распознан через полторы секунды".
Преимущество системы с задержками в том, что она распознает новые объекты обучаясь работать с новыми временными последовательностями активации нейронов, при этом добавлять новые слои нейросети или менять число нейронов не нужно. В такой системе время работает, как дополнительное измерение.
Исследование помогает понять, как биологический механизм, который считался препятствием, на самом деле улучшает динамику обучения мозга. Ученые считают, что такой подход к разработке искусственных нейросетей приведет к созданию более совершенных, быстрых и менее энергоемких систем обучения.
