Искусственный интеллект для вашей видеокамеры: создан гибрид оптической и электронной нейронной сети

В будущем подобные системы, вероятно, позволят оснастить искусственным интеллектом каждую камеру. Пока даже трудно представить, какие при этом откроются возможности.

В будущем подобные системы, вероятно, позволят оснастить искусственным интеллектом каждую камеру. Пока даже трудно представить, какие при этом откроются возможности.
GLP

Современная техника не позволяет оснастить обычный фотоаппарат нейронной сетью. Но, возможно, эта ситуация скоро изменится.

Современная техника не позволяет оснастить обычный фотоаппарат нейронной сетью. Но, возможно, эта ситуация скоро изменится.
GLP

В будущем подобные системы, вероятно, позволят оснастить искусственным интеллектом каждую камеру. Пока даже трудно представить, какие при этом откроются возможности.
Современная техника не позволяет оснастить обычный фотоаппарат нейронной сетью. Но, возможно, эта ситуация скоро изменится.
Ожидается, что в перспективе новая технология позволит встраивать системы искусственного интеллекта прямо в фото- и видеокамеры.

Инженеры создали нейронную сеть для распознавания образов, часть вычислений в которой производят… лучи света. Она сочетает быстродействие и экономичность оптических систем с гибкостью классического цифрового компьютера. Достижение описано в научной статье, опубликованной в журнале Scientific Reports группой во главе с Гордоном Вецштайном (Gordon Wetzstein) из Стэнфордского университета.

Общепризнанно, что одним из наиболее эффективных инструментов распознавания образов являются свёрточные нейронные сети. Однако у этого решения есть один существенный недостаток: оно требует солидной вычислительной мощности. Несмотря на все успехи в миниатюризации вычислительной техники, пока такое приложение не запустишь на карманном устройстве.

Есть экспериментальные модели, которые обходятся вообще без вычислений в привычном понимании этого слова. В них распознавание образа происходит за счёт физического воздействия на свет, отражённый от предмета. Но и у этой схемы есть свои недостатки. Воплотить алгоритм "в железе" гораздо труднее, чем написать нужную программу. Поэтому устройства получаются сложными и негибкими.

Современная техника не позволяет оснастить обычный фотоаппарат нейронной сетью. Но, возможно, эта ситуация скоро изменится.

Команда Вецштайна совместила плюсы обоих подходов, создав гибридную нейронную сеть. Её первый слой –оптический. Здесь происходит предварительная обработка сигнала за счёт дифракции световых волн. На это не тратится электроэнергия, память и время процессора. К тому же процесс идёт буквально со скоростью света.

Далее сигнал поступает в традиционную электронную нейронную сеть. Здесь и завершается распознавание образа. Использованная авторами схема позволяет реализовать в быстродействующей и не потребляющей энергии оптике первоначальную грубую обработку изображения, а более тонкие задачи оставить гибкой электронной системе.

Как сообщается в пресс-релизе, детище авторов уже распознаёт изображения автомобилей, самолётов, кошек, собак и других объектов. По скорости и точности работы система не уступает своим чисто электронным аналогам, но требует существенно меньшей вычислительной мощности.

В перспективе эта технология может использоваться в камерах безопасности, носимых медицинских устройствах и беспилотных автомобилях. Правда, на сегодняшний день устройство помещается только на лабораторном столе, а отнюдь не в кармане. Но исследователи работают над тем, чтобы передать оптической составляющей ещё больше функций и благодаря этому дополнительно уменьшить размеры прибора.

Напомним, что ранее "Вести.Наука" (nauka.vesti.ru) писали об искусственном интеллекте, способном создавать выразительные лица для рекламных материалов, работающем как идентификатор личности и отличающем мужчин от женщин по улыбке. Не обошли мы стороной и необычные оптические устройства, рассказав о камере, способной заглядывать за угол.