AirPods с камерами смогут распознавать людей и анализировать окружение

Информацию нашли во фреймворке AccessorySensorManager, который управляет сенсорными данными AirPods при подключении к Mac. Согласно коду, у левого и правого наушников будут отдельные камеры, способные получать синхронизированные цветные RGB-изображения разрешением до 1 МП с одинаковыми идентификаторами кадров. Благодаря этому на Visual Intelligence выводится одна и та же сцена сразу с двух ракурсов.

При этом код не исключает наличие других датчиков, например инфракрасных, но напрямую их не упоминает.

Также отмечается, что наушники AirPods будут поддерживать периодическую съемку изображений, но не видео: камеры будут делать внутренние снимки для обработки Visual Intelligence, вместо того чтобы просто делать фотографии или записывать видео.

Разрешение зависит от режима. В активном, который потенциально может запускаться пользователем через Siri, камера захватывает изображение 640×640 пикселей, после чего возвращает обработанный кадр 1024×1024. Это примерно 0,4 МП исходных данных и чуть больше 1 МП итогового изображения.

В пассивном режиме используются кадры 320×320, которые могут возвращаться в разрешении 320×320 или 512×512. При этом речь идет именно о разрешениях захвата: физическое разрешение самого сенсора может быть выше.

Пассивный режим, судя по коду, нужен для фонового анализа окружения. Система учитывает такие условия, как речь поблизости, изменения окружающего звука, изменение позы, поворот головы и перемещение за пределы заданной области. При этом из кода непонятно, приводит ли каждое такое событие к срабатыванию камеры или нет.

AirPods также учитывают постоянное движение головы владельца. В системе предусмотрены коррекция искажений объектива, калибровка двух камер и калибровка камер относительно датчиков движения.

Часть обработки выполняется непосредственно на самих AirPods. В коде упоминается peripheral inference — локальное определение того, находится ли человек в поле зрения камеры.

Наконец, у каждого наушника, вероятно, будет аппаратный индикатор захвата изображения. Код позволяет удаленно управлять индикатором и его яркостью, что может использоваться для предупреждения окружающих о работе камер.

Правда, есть нюанс: обнаруженный код, вероятно, связан с прототипом AirPods Pro 3 с камерами под кодовым обозначением B790. По данным Марка Гурмана, Apple отказалась от выпуска этой версии и теперь разрабатывает новое поколение AirPods с камерами под номером B798. Поэтому есть вероятность, что все, о чем я вам только что рассказала, не сбудется. Хотя, может, эти функции будут использованы и в новой разработке. Время покажет.

Гурман пророчил выход AirPods с камерами в 2027 году. К тому времени еще многое может измениться. Буду продолжать следить за новостями.

Источник фото: MacRumors