テスラのHW5 (AI5) チップでイメージシグナルプロセッサ(ISP)を削除

[ダテクス]

TeslaのHW5 (AI5) チップでImage Signal Processor (ISP)を削除したというのは、かなり大胆な設計選択です。

イーロン
「TSMCとSamsungをAI5に集中させる。チップ設計は素晴らしい。過去数ヶ月、週末のほとんどをAI5の設計に費やした。いくつかの指標ではAI4の40倍優れている。システム全体を深く理解している。AI5ではlegacy GPUを削除した。それは本質的にGPUだからだ。Image Signal Processorも削除した。これは美しいチップだ。個人的に多くのエネルギーを注いだ。本当に勝者になるだろう。」

簡単に説明すると、ISPはカメラから入ってくる生の画像データを処理して、ノイズ除去や色補正、露出調整などを行う専用のハードウェアで、自動車のカメラシステムでは標準的に使われています。これを削除するということは、従来のハードウェア依存を捨てて、AIチップ自体でソフトウェア的に画像処理を担うようにシフトしたわけです。

なぜ大胆かと言うと:
-業界の常識を覆す: 多くのSoC (System on Chip) デザイナーから見ると、ISPはカメラの「脳」のような必須パーツで、これを削除するのはリスクが高く、驚きの声が上がるレベルです。Teslaのエンジニアも「baller move (大胆な一手)」と表現していて、顎が外れるような選択だと指摘しています。伝統的な自動車メーカーやカメラシステムでは、ISPなしで安定した画像処理を実現するのは難しく、失敗すれば安全性に直結します。

Teslaのビジョン重視の戦略: TeslaのFSD (Full Self-Driving) は「Photon-to-Control」アプローチを取っていて、カメラの生のフォトンカウント (光子カウント) を直接AIで処理する純粋ビジョン路線です。ISPを削除することで、チップの無駄な領域を減らし、効率を上げ、コストを抑えられるメリットがありますが、これはElon Muskが言うように「entire stack」の深い理解がないとできない賭けです。HW4から40倍の性能向上を目指す中で、legacy GPUも削除した点と合わせて、根本から再設計した革新的なアプローチと言えます。

TeslaのAI中心の哲学を体現した動きで、成功すれば競合他社を大きく引き離せますが、失敗の可能性を考えると相当の自信がないと踏み切れないレベルの大胆さですね。

[moti]

学習データのために収集してる画像ってISPを介してないんですかね？
でないとHW5のときに学習データ集め直しになる気が…流石に考えられていると思いますが。

カメラの生データを使うのは良いんですが標準化をどうするつもりなのかは興味ありますね。
同じような光学特性になるように発注し続けるんでしょうか？

[kokik]

視覚情報を直接脳に入れる、より人間に近いアプローチになるわけですね。じゅうぶんな処理速度があれば、光子の処理の部分もプログラマブルにできると。AIによるスーパー視覚ができそうですね。夢が拡がります。

[IboughtELON]

大胆な決断だと思いますが、HW5のローンチにはだいぶリスクがありそうですね。

HW4(HW3)でまだFSD頑張れるという判断もあるのなら個人的には大歓迎です。よ

[KOOL]

カメラで言うRAW現像を専用ハードでやってたのをメインCPUでやるだけの話だと思うので
どちらも結局はソフトウェアが処理するのでメインCPUが十分なスペックであれば問題は無いでしょう
一からソフトウェアを作るので最初は酷いかもしれませんが。

レーダー外してソナー外してどんどん退化していきますな…

[kokik]

#95123

PCの漢字表示用ROM
68KMACのメディア処理用DSP
ハードディスク、プリンタ用パラレルインターフェース
携帯電話の物理ボタン

どれも、かつてはソフトウェアで解決できず、CPUの高速化で削除が可能になってきた部品たちです。スマホのISPはSoCに組み込まれた形でまだ使われていますが、チップの進化でCPU,GPU,ISPの境界がボケてきているんだと思います。
まさにベストパーツイズノーパーツです。

[gou]

オーディオ系もそうですね、以前は専用ボードが必要でしたがいつのまにか不要になりましたし。
普通にCPUが生データ処理するようになりました。

[投稿者]

投稿