Tesla представила свой новый суперкомпьютер, который уже является пятым по мощности в мире и станет предшественником нового суперкомпьютера Tesla под названием Dojo.
Он используется для обучения нейронных сетей, которые обеспечивают работу Autopilot Tesla и будущих систем ИИ для беспилотного вождения.
В последние несколько лет Tesla уделяла особое внимание вычислительной мощности как внутри, так и вне своих автомобилей.
Внутри автомобилей ей требуются компьютеры, достаточно мощные для работы программного обеспечения для беспилотного вождения, а вне их — суперкомпьютеры для обучения этого программного обеспечения, основанного на нейронных сетях, которые получают огромное количество данных от автопарка.
Генеральный директор Илон Маск намекал на проект Tesla Dojo, который, по-видимому, состоит из суперкомпьютера, способного выполнять эксафлопсные вычисления, — один квинтиллион (1018) операций с плавающей запятой в секунду, или 1000 петафлопс, что делает его одним из самых мощных компьютеров в мире.
Tesla работала над Dojo в течение последних нескольких лет, и Маск намекал, что он должен быть готов к концу этого года.
Но компания разработала и другие суперкомпьютеры на пути к Dojo, и теперь Анджей Карпатый, руководитель отдела ИИ в Tesla, представил последний из них во время презентации на конференции 2021 года по компьютерному зрению и распознаванию образов.
Во время презентации Карпатый выразил благодарность команде суперкомпьютеров Tesla и продемонстрировал их последнюю разработку — третий суперкомпьютерный кластер Tesla:
Tesla заявляет о довольно впечатляющих характеристиках этого нового кластера, который должен сделать его примерно пятым по мощности компьютером в мире:
- 720 узлов с 8x A100 80GB. (Всего 5760 GPU)
- 1,8 эксафлопс (720 узлов * 312 TFLOPS-FP16-A100 * 8 GPU/узлы)
- 10 ПБ хранилища «горячего уровня» NVME со скоростью 1,6 ТБ/с
- Общая пропускная способность коммутации 640 Тбит/с
Карпатый прокомментировал это:
«У нас есть архитектура нейронных сетей и набор данных, 1,5 петабайтный набор данных, который требует огромных вычислительных ресурсов. Поэтому я хотел бы отметить этот невероятный суперкомпьютер, который мы строим и используем сейчас. Для нас компьютерное зрение — это основа того, что мы делаем, и то, что обеспечивает работу Autopilot. И чтобы это работало действительно хорошо, мы должны освоить данные от автопарка, обучить массивные нейронные сети и много экспериментировать. Поэтому мы много вложили в вычислительные мощности. В данном случае у нас есть кластер, который мы построили из 720 узлов с 8x A100 версии 80GB. Так что это огромный суперкомпьютер. Я на самом деле думаю, что по количеству флопсов это примерно 5-й суперкомпьютер в мире.»
Инженер Tesla не захотел вдаваться в подробности о проекте Dojo, но сказал, что это будет еще лучший суперкомпьютер, оптимизированный для обучения нейронных сетей, чем текущий кластер Tesla.
Ранее Маск также заявлял, что Tesla планирует в конечном итоге предоставлять свои суперкомпьютеры другим компаниям для обучения их нейронных сетей.
Вот презентация Карпатого на CCVPR 2021: