DeepSeek的負擔能力是一個神話：革命性的AI實際上花費了16億美元

DeepSeek的新聊天機器人擁有令人印象深刻的介紹：“嗨，我被創建了，您可以問任何東西，並得到一個甚至可能讓您感到驚訝的答案。”這種AI是中國初創公司DeepSeek的產物，已迅速成為主要市場參與者，甚至導致NVIDIA的股價大幅下降。

DeepSeek的競爭優勢在於其創新的建築和培訓方法。關鍵技術包括：

• 多語預測（MTP）： MTP不是單獨預測單詞，而是同時預測多個單詞，從而提高準確性和效率。
• 專家的混合物（MOE）：該體系結構使用多個神經網絡，加速培訓並提高性能。 DeepSeek V3使用256個網絡，每個令牌都激活了8個網絡。
• 多頭潛在註意力（MLA）： MLA反复致力於至關重要的句子部分，從而最大程度地減少了忽略重要信息的風險。

DeepSeek最初聲稱使用2048 GPU培訓了其強大的DeepSeek V3神經網絡，僅需600萬美元。然而，半分析顯示出更大的基礎設施：大約50,000個NVIDIA HOPPER GPU，包括10,000 H800，10,000 H100和其他H20，分佈在多個數據中心。這代表了一筆總額約16億美元的服務器投資，運營費用估計為9.44億美元。

DeepSeek是中國對沖基金高飛行員的子公司擁有其數據中心，提供了對優化和創新實施的無與倫比的控制。這種自資助的方法促進了敏捷性和快速決策。該公司還吸引了頂尖人才，一些研究人員每年收入超過130萬美元，主要來自中國大學。

DeepSeek最初的600萬美元培訓成本索賠具有誤導性；它僅反映了訓練前的GPU使用情況，不包括研究，改進，數據處理和基礎架構。該公司對AI開發的總投資超過5億美元。儘管進行了大量投資，但其精益結構允許有效的創新實施。

DeepSeek的成功展示了資金充足的獨立AI公司與行業巨頭競爭的潛力。但是，其成就歸因於數十億美元的投資，技術突破和強大的團隊，而不是革命性的預算。即便如此，DeepSeek的成本仍大大低於競爭對手。例如，DeepSeek在R1上花費了500萬美元，而Chatgpt的Chatgpt4o $ 1億美元。儘管初始索賠誇大了，但這凸顯了巨大的成本優勢。