Компания Sony начала выпуск светочувствительных датчиков для камер, оснащенных системой искусственного интеллекта

Компания Sony начала выпуск светочувствительных датчиков для камер, оснащенных системой искусственного интеллекта

Не так давно представители компании Sony продемонстрировали всему миру то, что можно охарактеризовать, как «первые в мире светочувствительные матрицы для камер, оснащенные функциями обработки данных на основе технологий искусственного интеллекта». Такое совмещение двух технологий позволит проводить предварительную обработку поступающего потока видеоинформации в режиме реального времени и передавать только необходимые данные в облачный сервис для их последующей и более глубокой обработки.

Искусственный интеллект уже давно является отличной «парой» для технологий цифровой фото- и видеосъемки. Нейронные сети «шутя» справляются с обработкой огромных потоков информации, к примеру, информации с сети камер видеонаблюдения, и выделяют из этой информации лишь то, что может заинтересовать наблюдателей.

К примеру, в последнее время в мире начали получать распространение магазины, в которых нет, или сведено к минимуму количество продавцов, кассиров и прочего обслуживающего персонала. В этом случае используется сеть из сотен высококачественных камер наблюдения, которые следят за тем, какие товары берут покупатели и что они делают с ними дальше. В настоящее время видеоданные с сети камер наблюдения поступают на компьютер, на котором развернута система искусственного интеллекта. Этот компьютер может находиться физически в этом же здании, а может и находиться в одном из многочисленных облачных сервисов.

Но компания Sony решила сделать своего рода «распределенный компьютер» оснастив вычислительной мощностью сам датчик камеры. Эти новые датчики, IMX500 и IMX501, имеют разрешающую способность в 12.3 мегапикселя и обеспечивают скорость съемки в 60 кадров в секунду при разрешении 4К. Но самым главным является то, что прямо на обратной стороне кристалла светочувствительной матрицы и на дополнительном кристалле располагается массив памяти достаточного объема и логическая интегральная схема, в которую заложены алгоритмы и принципы работы искусственного интеллекта. При этом, во встроенную память можно загрузить любую из стандартных моделей ИИ-обработки, выполняющих одну или несколько специализированных функций.

Встроенный в матрицу ИИ-процессор способен провести анализ видеоинформации за 3.1 миллисекунду времени, меньше, чем продолжительность одного видеокадра. В результате анализа из общего потока выделяются только важные элементы, которые передаются наружу для дальнейшей обработки. Если в упомянутом выше «магазине без персонала», к примеру, клиент «Х» взял товар «Y» и положил его в корзину, то на верхний уровень будет передана обрезанная картинка корзины с лежащим в ней товаром.

Помимо такой «обрезки», позволяющей существенно сократить объем передаваемой информации, пакеты данных могут сопровождаться дополнительной информацией, упрощающей их дальнейшую обработку. И в результате всего этого, при условии использования специального программного обеспечения на верхнем уровне, всегда на выходе получается полноценный 4K/60-fps видеопоток.

Таким образом, системы слежения и обеспечения безопасности смогут получать необходимую им информацию гораздо быстрее, а для ее обработки потребуются меньшие вычислительные мощности и меньшее количество энергии, ведь она, эта информация, уже прошла предварительную обработку в камере непосредственно.

И в заключение следует отметить, что интеллектуальные датчики компании Sony и другие подобные, которые непременно появятся в ближайшем будущем, вряд ли будут использоваться в камерах мобильных телефонов, бытовых цифровых фото- и видеокамер. Эти датчики ориентированы на несколько иную область применения — там, где, к примеру, необходимо подсчитывать человеко-часы, определяя присутствие или отсутствие определенных людей на рабочем месте, следить за действиями покупателей, контролировать ношение защитных масок в условиях пандемии и многое, многое другое.

Источник

Добавить комментарий