Вчера мы сообщили о том, как владелец Tesla взломал режим отладки Autopilot, получив представление о внутренней работе полуавтономной системы Tesla.
Теперь другой владелец Tesla, используя данные, полученные в результате взлома, смог получить хорошее представление о том, что видит Autopilot второго поколения от Tesla.
С Autopilot второго поколения Tesla делает ставку на компьютерное зрение и основу системы составляют камеры.
Во всех Model S и Model X установлено 8 камер. 3 из них направлены вперед: одна узкоугольная с дальностью действия 250 м, другая среднеугольная с дальностью 150 м, которая выступает в качестве основной камеры, и одна широкоугольная с меньшей дальностью 60 м.
Также имеются камеры на каждом переднем крыле и стойках B, а также одна камера, направленная назад.
Tesla также использует данные радара и GPS, но камеры становятся все более важными, поскольку Tesla использует их больше с каждым обновлением программного обеспечения.
Используя данные, полученные от участника TMC под ником ‘verygreen’, как сообщалось вчера, другой участник TMC, Bjornb, совместил изображения, собранные камерами, чтобы дать нам отличное представление о том, что видит Autopilot:
Как видно, камеры передают черно-белые изображения. Сами камеры могут записывать в цвете и высоком разрешении, но черно-белые изображения обрабатываются быстрее.
Tesla использует бортовой компьютер NVIDIA Drive PX 2 для обработки изображений, и в конечном итоге, вероятно, сможет использовать больше его мощности для своей нейронной сети и обработки цветных изображений — особенно для различных типов светофоров (хотя цвета не являются единственным отличительным признаком) и тому подобного. Но генеральный директор Tesla Илон Маск также заявил, что им, возможно, придется модернизировать бортовой компьютер для поддержки автономного вождения уровня 4 или 5, что потребует распознавания светофоров.
Они сделали компьютер легко заменяемым, особенно по этой причине.
То, как Bjornb расположил видеоматериалы, дает нам хорошее представление о том, как работают поля обзора фронтальных камер:
Те, что в нижних углах, — от камер в стойках B. Отсутствуют только камеры с передних крыльев.
В демонстрации своего программного обеспечения для самостоятельного вождения, построенного на аппаратной платформе Autopilot 2.0, Tesla также показала углы обзора этих камер:
Это визуальная часть информации, которую Autopilot Tesla использует для принятия решений во время движения. Он также использует данные радара для создания облачных карт окружающих объектов.
В настоящее время система ограничена удержанием автомобиля в полосе движения и контролем передних и боковых столкновений, но несложно представить, как хорошая система компьютерного зрения сможет делать больше с этой визуальной информацией.
Нужно помнить, что она должна превосходить человеческие глаза.