Одна из больших проблем компьютерного зрения — реакция на смену освещенности. Резкая вспышка света или, наоборот, резкое затемнение в одинаковой степени “ослепляют” модель на какое-то время. Стандартная регулировка экспозиции реагирует на освещенность медленно. Появился пересвеченный кадр — система уменьшит экспозицию. Так засвет будет постепенно уменьшаться, пока не подберется подходящая экспозиция, на это уходит ощутимое количество времени.
Вот что придумали в Гонконгском университете для решения этой проблемы. Использовать не только сами изображения, но и данные событийных камер (event camera, их же иногда называют нейроморфными). Их изначальное назначение — детектировать движение, но внутренний принцип всё равно устроен на детектировании изменения освещенности каждого пикселя. Эти событийные камеры получают данные с очень большой частотой, гораздо больше обычных камер. Новая система (NEC, neuromorphic exposure control) как бы работает на опережение, изображения еще нет, но уже есть информация о том, что освещенность изменилась. Важная часть этого подхода заключается еще и в том, как быстро обрабатывать этот гигантский поток информации. Тут авторы вдохновлялись человеческим глазом, а точнее — периферийным зрением, которое дает информацию худшего “разрешения”, зато значительно расширяет угол зрения. Так вот NEC обрабатывает данные в “периферийном” пространстве — разрешение меньше, но этого достаточно, чтобы принять решение об изменении экспозиции. Реакция на изменение освещенности у систем NEC стала в 600 раз быстрее, чем у классических.