Ранее мы сообщали о том, что видит автопилот Tesla с помощью набора из 8 камер, расположенных вокруг автомобиля, но мы редко вдаваясь в то, как автопилот понимает и интерпретирует то, что видит, через свою систему компьютерного зрения.
Сегодня ситуация меняется, поскольку несколько хакеров смогли наложить данные автопилота поверх снимков того, что видит система.
Как и в предыдущих наших обзорах того, что видит автопилот, это заслуга нашего любимого хакера Tesla «verygreen», который смог перехватить данные, собираемые Tesla с его собственного автомобиля.
С помощью нескольких других хакеров Tesla им удалось наложить данные на снимки того, что видит автомобиль, что привело к интересной визуализации того, что автопилот понимает, глядя через свои датчики.
Это не полный обзор того, что видит автопилот. Например, он не включает отслеживание полос движения.
Но он показывает, как система отслеживает объекты в поле зрения, причем способом, который мы никогда раньше не видели.
verygreen прислал нам несколько фотографий и видео вместе с интересным объяснением того, что им удалось сделать.
Вот что он сам говорит:
Не было бы здорово, если бы Tesla публиковала видео о том, как их автомобили видят вещи, подобно тому, как это делает Google? Ну, они этого не делают, поэтому задача остается за хакерами, которые пытаются разобраться.
Несмотря на то, что мой «единорог» с взломанной платой автопилота давно утерян, у меня осталось много снимков тех дней. Уверен, вы видели эти фотографии. Но мало кто знает, что вместе с этими снимками были включены и радарные данные. Теперь пользователь TMC DamianXVI (тот же парень, который написал интерполятор цветов для изначально черно-белых изображений) придумал способ наложения радарных данных на снимки.
Выглядит это так:
Теперь немного о значении кругов: цвет круга обозначает тип объекта:
- зеленый – движущийся
- желтый – остановленный
- оранжевый – неподвижный
- красный – неизвестно.
Размер круга обозначает расстояние до объекта; чем больше круг, тем ближе объект (так что мы не пытаемся очертить объект или приблизительно определить его размер – радар не может этого знать).
Толстый круг означает, что у объекта есть метка, и поэтому он, вероятно, отслеживается автопилотом. Появление и исчезновение связано с изменением вероятности существования.
Иногда круг находится в пустом пространстве – это, вероятно, связано с тем, что радар испытывает трудности с определением высоты объекта; попробуйте посмотреть выше или ниже, чтобы найти соответствующий объект. Также иногда радар вообще не может определить высоту (в этом случае используется значение -5). В этом случае круг рисуется на высоте 0.
Имейте в виду, что радар сообщает координаты в 3D, и нам нужно спроецировать их на 2D-изображение. Как и следовало ожидать, иногда при таких преобразованиях возникают ошибки.
Вот видео с наложенными радарными данными:
А теперь о новых захватывающих разработках. Хотя «единорога» больше нет, я наткнулся на запас видео- и фотоснимков, которые вы раньше не видели.
Вот видео, снятое где-то в октябре 2017 года, с наложенными радарными данными из этого запаса:
Но это еще не все, этот запас также включает довольно недавние снимки из марта 2018 года, когда Tesla, по-видимому, отлаживала реализацию слияния радара и видео для восприятия глубины.
Каждая из этих фотографий (сделанных прошивкой 2018.10.4) сопровождалась подробным списком объектов, которые видит и отслеживает автопилот. Он сообщает такие вещи, как размеры, относительную скорость, уверенность в существовании объекта, вероятность того, что объект будет препятствием, и так далее.
Последний снимок интересен тем, что автопилот явно распознает и отслеживает стоящий грузовик, даже присвоив ему 25% рейтинг препятствия (хотя работнику, к сожалению, нет). Это должно положить конец теории о том, что остановленные транспортные средства не видны (теперь автопилот может их видеть и игнорировать – но это совсем другая тема).
Еще одно интересное наблюдение, которое можно заметить на второй и третьей фотографиях – они отображают одну и ту же сцену, снятую с помощью узкоугольной и основной камер. Интересно то, что, по-видимому, только основная (более широкоугольная) камера используется для обнаружения встречного движения.
Эти ограничивающие рамки также подтверждают многие теории о выходных данных нейронных сетей зрения, которые пользователь TMC jimmy_d представил в сообщении на форуме здесь.
Конечно, это не отражает полное внутреннее состояние автопилота, мы не видим обнаруженные/отслеживаемые полосы движения или информацию, полученную из карт, но это дает нам еще один взгляд за кулисы.