Tesla выпустила новую техническую документацию, описывающую новый стандарт для своей суперкомпьютерной платформы Dojo.
Генеральный директор Илон Маск назвал документ «более важным, чем кажется».
В течение нескольких лет Tesla анонсировала разработку нового собственного суперкомпьютера, оптимизированного для обучения нейронных сетей на основе видеоданных.
Tesla обрабатывает огромное количество видеоданных от своего парка, насчитывающего более 1 миллиона автомобилей. Эти видеоданные используются для обучения ее нейронных сетей.
Автопроизводитель остался недоволен существующими аппаратными решениями для обучения своих нейронных сетей компьютерного зрения и решил, что может справиться с этим лучше самостоятельно.
В течение последних двух лет генеральный директор Илон Маск намекал на разработку собственного суперкомпьютера Tesla под названием «Dojo». В прошлом году он даже сообщал, что Dojo от Tesla будет иметь мощность более одного эксафлопса, что составляет один квинтиллион (1018) операций с плавающей запятой в секунду, или 1 000 петафлопс.
Это потенциально может сделать Dojo самым мощным суперкомпьютером в мире. На AI Day от Tesla в августе Tesla представила Dojo.
У автопроизводителя уже есть чип и тайлы Dojo, но компания все еще работает над сборкой полной стойки для создания суперкомпьютера.
Теперь Tesla выпустила техническую документацию по своей технологии Dojo.
В аннотации автопроизводитель описывает новый стандарт для работы со своей вычислительной платформой:
«Этот стандарт определяет арифметические форматы и методы Tesla для новой 8-битной и 16-битной арифметики с плавающей запятой в средах программирования для обучения нейронных сетей глубокого обучения. Этот стандарт также определяет условия исключений и соответствующие им флаги состояния. Реализация системы с плавающей запятой, соответствующей этому стандарту, может быть выполнена полностью программно, полностью аппаратно или в любой комбинации программного и аппаратного обеспечения».
Вот полная техническая документация:
[scribd id=535276674 key=key-SgJIEqzMQgbMkmcw1pcO mode=scroll]
Мнение Electrek
Признаюсь, многое из этого выходит за рамки моего понимания, и это, безусловно, более понятно для людей, знакомых с программированием для глубокого обучения.
Но похоже, что Tesla разработала новый формат под названием CFloat8, оптимизированный для работы на их суперкомпьютерной платформе Dojo.
Похоже, компания надеется, что этот стандарт будут использовать и другие. Однако, похоже, что Dojo не будет доступен для использования за пределами Tesla в ближайшее время.
На прошлой неделе во время квартального отчета Tesla заявила, что в настоящее время мощность Dojo полностью используется внутри компании.