Приобретение стартапа DeepScale, специализирующегося на машинном обучении, компанией Tesla начинает приносить плоды: команда, привлеченная в рамках этой сделки, начала поставлять новые интеллектуальные разработки для автопроизводителя.
В конце прошлого года стало известно, что Tesla приобрела DeepScale — базирующийся в районе залива стартап, специализирующийся на «глубоких нейронных сетях (DNN)» для самоуправляемых автомобилей, на нераскрытых условиях.
Они специализировались на вычислительно эффективных системах глубокого обучения, что также является одним из направлений работы Tesla, решившей разработать собственный компьютерный чип для программного обеспечения автопилота.
Существовали предположения, что Tesla приобрела небольшую команду стартапа, чтобы ускорить свое развитие в области машинного обучения.
Теперь мы видим результаты работы части этой команды благодаря новой заявке на патент.
Всего через несколько дней после приобретения стартапа в октябре 2019 года, автопроизводитель подал заявку на новый патент, в котором в качестве изобретателей указаны три члена команды DeepScale: Мэттью Купер, Парас Джейн и Харсимиран Сингх Сидху.
Заявка на патент под названием «Системы и методы обучения моделей машинного обучения с использованием дополненных данных» была опубликована вчера.
Tesla описывает это в своей заявке:
Системы и методы обучения моделей машинного обучения с использованием дополненных данных. Пример метода включает идентификацию набора изображений, снятых набором камер, установленных на одной или нескольких системах сбора изображений. Для каждого изображения в наборе изображений определяется выходное значение для обучения. Для одного или нескольких изображений в наборе изображений генерируется дополненное изображение для набора дополненных изображений. Генерация дополненного изображения включает модификацию изображения с помощью функции манипулирования изображениями, которая сохраняет свойства камеры изображения. Дополненное обучающее изображение ассоциируется с выходным значением для обучения изображения. Набор параметров предиктивной компьютерной модели обучается для предсказания выходного значения на основе набора данных для обучения, включающего изображения и набор дополненных изображений.
Система, на которую команда DeepScale, теперь работающая под началом Tesla, пытается получить патент, связана с обучением нейронной сети с использованием данных от нескольких различных датчиков, наблюдающих сцены, таких как восемь камер в массиве датчиков Autopilot от Tesla.
Они описывают сложности такой ситуации в заявке на патент:
В типичных приложениях машинного обучения данные могут быть дополнены различными способами, чтобы избежать переобучения модели на характеристиках оборудования захвата, используемого для получения обучающих данных. Например, в типичных наборах изображений, используемых для обучения компьютерных моделей, изображения могут представлять объекты, снятые в различных средах захвата, имеющих различные характеристики датчиков по отношению к захватываемым объектам. Например, такие изображения могут быть сняты с различными характеристиками датчиков, такими как различные масштабы (например, значительно отличающиеся расстояния в пределах изображения), с различными фокусными расстояниями, различными типами объективов, с различной предварительной или последующей обработкой, различными программными средами, аппаратным обеспечением массива датчиков и так далее. Эти датчики также могут различаться по отношению к различным внешним параметрам, таким как положение и ориентация датчиков визуализации по отношению к окружающей среде во время захвата изображения. Все эти различные типы характеристик датчиков могут привести к тому, что захваченные изображения будут выглядеть по-разному и разнообразно на разных изображениях в наборе изображений, что затруднит надлежащее обучение компьютерной модели.
Здесь они обобщают свое решение проблемы:
Одно из воплощений представляет собой метод обучения набора параметров предиктивной компьютерной модели. Это воплощение может включать: идентификацию набора изображений, снятых набором камер, установленных на одной или нескольких системах сбора изображений; для каждого изображения в наборе изображений, определение выходного значения для обучения; для одного или нескольких изображений в наборе изображений, генерацию дополненного изображения для набора дополненных изображений путем: генерации дополненного изображения для набора дополненных изображений путем модификации изображения с помощью функции манипулирования изображениями, которая сохраняет свойства камеры изображения, и ассоциирования дополненного обучающего изображения с выходным значением для обучения изображения; обучение набора параметров предиктивной компьютерной модели для предсказания выходного значения на основе набора данных для обучения, включающего изображения и набор дополненных изображений.
Дополнительное воплощение может включать систему, имеющую один или несколько процессоров и неконечные компьютерные носители, хранящие инструкции, которые при выполнении процессорами вызывают выполнение процессорами операций, включающих: идентификацию набора изображений, снятых набором камер, установленных на одной или нескольких системах сбора изображений; для каждого изображения в наборе изображений, определение выходного значения для обучения; для одного или нескольких изображений в наборе изображений, генерацию дополненного изображения для набора дополненных изображений путем: генерации дополненного изображения для набора дополненных изображений путем модификации изображения с помощью функции манипулирования изображениями, которая сохраняет свойства камеры изображения, и ассоциирования дополненного обучающего изображения с выходным значением для обучения изображения; обучение набора параметров предиктивной компьютерной модели для предсказания выходного значения на основе набора данных для обучения, включающего изображения и набор дополненных изображений.
Другое воплощение может включать неконечный компьютерно-читаемый носитель, содержащий инструкции для выполнения процессором, которые при выполнении процессором вызывают выполнение процессором следующих действий: идентификация набора изображений, снятых набором камер, установленных на одной или нескольких системах сбора изображений; для каждого изображения в наборе изображений, определение выходного значения для обучения; для одного или нескольких изображений в наборе изображений, генерация дополненного изображения для набора дополненных изображений путем: генерации дополненного изображения для набора дополненных изображений путем модификации изображения с помощью функции манипулирования изображениями, которая сохраняет свойства камеры изображения, и ассоциирования дополненного обучающего изображения с выходным значением для обучения изображения; обучение компьютерной модели для предсказания выходного значения на основе набора данных для обучения, включающего изображения и набор дополненных изображений.
Как мы сообщали ранее, Tesla проходит через «значительную фундаментальную переработку Tesla Autopilot». В рамках переработки генеральный директор Илон Маск заявил, что «нейронная сеть поглощает все большую часть проблемы».
Это также будет включать более глубокую систему маркировки.
Маск назвал 3D-маркировку «переломным моментом»:
Это когда автомобиль заезжает в сцену с восемью камерами и как бы рисует путь, а затем вы можете маркировать этот путь в 3D.
Этот новый способ обучения систем машинного обучения с использованием нескольких камер, таких как Autopilot Tesla, с дополненными данными может стать частью этого нового обновления Autopilot.
Вот некоторые рисунки из заявки на патент:
Вот полная заявка Tesla на патент:
[scribd id=456851902 key=key-LbFeHrLyOalfyYA4rDfo mode=scroll]