Przystępność Deepseek to mit: rewolucyjna sztuczna inteligencja kosztowała 1,6 miliarda dolarów na rozwój

Nowy chatbot Deepseek ma imponujące wprowadzenie: „Cześć, zostałem stworzony, abyś mógł zapytać wszystko i uzyskać odpowiedź, która może cię nawet zaskoczyć”. Ta sztuczna inteligencja, produkt chińskiego startupu Deepseek, szybko stał się głównym graczem rynkowym, nawet przyczyniając się do znacznego spadku ceny akcji NVIDIA.

Przewagę konkurencyjną Deepseek polega na innowacyjnej architekturze i metodach szkoleniowych. Kluczowe technologie obejmują:

• Prognozowanie wielu tokenów (MTP): Zamiast przewidywać słowa indywidualnie, MTP prognozuje wiele słów jednocześnie, zwiększając dokładność i wydajność.
• Mieszanka ekspertów (MOE): Architektura ta wykorzystuje wiele sieci neuronowych, przyspieszając szkolenia i poprawę wydajności. Deepseek V3 wykorzystuje 256 sieci, aktywując osiem dla każdego tokena.
• Utrzymująca uwaga wielowłócona (MLA): MLA wielokrotnie koncentruje się na kluczowych częściach zdań, minimalizując ryzyko przeoczenia ważnych informacji.

Deepseek początkowo twierdził, że wyszkolił swoją potężną sieć neuronową Deepseek V3 za zaledwie 6 milionów dolarów za pomocą GPU 2048. Jednak semianaliza ujawniła znacznie większą infrastrukturę: około 50 000 GPU Nvidia Hopper, w tym 10 000 H800S, 10 000 H100S i dodatkowe H20, rozłożone na wiele centrów danych. Stanowi to całkowita inwestycja serwerowa w wysokości około 1,6 miliarda USD, a wydatki operacyjne szacują na 944 mln USD.

Deepseek, spółka zależna chińskiego funduszu hedgingowego High-Flyer, jest właścicielem swoich centrów danych, zapewniając niezrównaną kontrolę nad optymalizacją i wdrażaniem innowacji. To samofinansowane podejście sprzyja zwinności i szybkiego podejmowania decyzji. Firma przyciąga również najlepsze talenty, a niektórzy badacze zarabiają ponad 1,3 miliona dolarów rocznie, głównie z chińskich uniwersytetów.

Początkowe roszczenie o wartości 6 milionów dolarów w wysokości 6 milionów dolarów jest mylące; Odzwierciedla jedynie korzystanie z GPU przed treningiem, wykluczając badania, udoskonalanie, przetwarzanie danych i infrastrukturę. Całkowita inwestycja firmy w rozwój AI przekracza 500 milionów dolarów. Pomimo tej znacznej inwestycji jego szczupła struktura pozwala na skuteczne wdrożenie innowacji.

Sukces Deepseek pokazuje potencjał dobrze finansowanych niezależnych firm AI do konkurowania z gigantami branżowymi. Jednak jego osiągnięcia można przypisać miliardom inwestycji, przełomów technicznych i silnym zespołem, a nie rewolucyjnym budżetem. Mimo to koszty Deepseek pozostają znacznie niższe niż konkurenci. Na przykład Deepseek wydał 5 milionów dolarów na R1, w porównaniu z 100 milionami dolarów Chatgpt na Chatgpt4o. Podkreśla to znaczną przewagę kosztową, pomimo zawyżonych początkowych roszczeń.