DeepSeek mHC: Hyper-Connections ograniczone rozmaitością

Viacheslav Dubrov

2026-01-21 · Zaktualizowano 2026-07-15 · 9 min · Inżynieria modeli

Tłumaczenie automatyczne Ten artykuł został automatycznie przetłumaczony z angielskiego oryginału.

Współczesne deep learning opiera się na połączeniu rezydualnym. Hyper-Connections (HC) badają inny wymiar architektury: poszerzenie stanu rezydualnego do kilku współdziałających strumieni. Artykuł DeepSeek dotyczący Manifold-Constrained Hyper-Connections (mHC) analizuje, jak utrzymać stabilność takiego routingu przy większej skali treningu.

W tym wpisie zaczynamy od standardowych połączeń rezydualnych, a następnie dodajemy Hyper-Connections i omawiamy powodowaną przez nie niestabilność. Na końcu przedstawiamy ograniczenie mHC oraz koszt jego implementacji.

W skrócie: HC zastępuje pojedynczy stan rezydualny wieloma strumieniami oraz uczonymi mapami odczytu, zapisu i mieszania. Te nieograniczone mapy mogą wzmacniać lub tłumić sygnały, gdy są składane w kolejnych warstwach. mHC w przybliżeniu rzutuje mapę mieszania rezydualnego na wielościan Birkhoffa za pomocą 20 iteracji Sinkhorn-Knopp. W artykule opisano eksperymenty skalowania dla modeli 3B, 9B i 27B (sekcje 5.1 i 5.3), a także dodatkowy czas treningu wynoszący 6,7% dla czterech strumieni po zastosowaniu niestandardowych kernelów i zmian harmonogramu (sekcja 4.3).

Dlaczego połączenia rezydualne działają

Problem głębokości

Dodawanie warstw może zwiększać capacity modelu, ale utrudnia też optymalizację i propagację sygnału. W zależności od inicjalizacji, normalizacji i architektury aktywacje w przebiegu forward lub gradienty w przebiegu backward mogą zanikać, rosnąć albo stawać się źle uwarunkowane wraz ze wzrostem głębokości.

Rozwiązanie rezydualne

Artykuł ResNet wprowadził proste rozwiązanie. Zamiast uczyć bezpośredniego odwzorowania, uczymy residuum, czyli różnicy względem identyczności:

Kluczową właściwością jest skrót identycznościowy. Gdy funkcja rezydualna $F(x)$ zwraca zero, warstwa staje się ścieżką bezpośrednią. Wynikają z tego dwie konsekwencje:

1. Bezpośredni składnik gradientu: propagacja wsteczna obejmuje ścieżkę przez składnik identycznościowy.
2. Proste odwzorowanie awaryjne: gałąź rezydualna może pozostać blisko zera, gdy warstwa nie musi znacząco zmieniać stanu.

Nie eliminuje to wszystkich problemów optymalizacyjnych, ale umożliwiło praktyczne budowanie znacznie głębszych sieci.

Jak normalizacja warstw zmienia ścieżkę rezydualną

Transformers wprowadziły nową zmienną: gdzie umieścić Layer Normalization (LN). Ta decyzja wygląda na drobną, ale taka nie jest.

Architektura ResiDual łączy ścieżki rezydualne Pre-LN i Post-LN. HC zamiast tego poszerza stan rezydualny.

Hyper-Connections dodają równoległe strumienie rezydualne

Hyper-Connections (HC) zwiększa szerokość strumienia rezydualnego zamiast dodawać głębokość.

Co oznacza strumień

W standardowym Transformerze każdy token ma stan o wymiarze $d$, który przechodzi przez bloki. Na początku sieci HC powiela wejściowy embedding $n$ razy, gdzie $n$ oznacza „współczynnik rozszerzenia”, zwykle równy 4. Ukryty stan o wymiarze $d$ staje się $n \times d$-wymiarową „macierzą hyper hidden”.

W Hyper-Connections strumień to jedna z $n$ równoległych instancji tego stanu.

Kopie zaczynają od identycznych wartości, a następnie różnicują się, gdy uczone mapy odczytują ze strumieni, zapisują do nich i mieszają je. Artykuł interpretuje je jako wiele wzorców połączeń na różnych głębokościach; nie wymaga, aby każdy strumień przyjął stałą, czytelną dla człowieka rolę.

Główne mechanizmy

Zamiast jednej ścieżki rezydualnej HC utrzymuje $n$ równoległych strumieni przepływających przez całą sieć. W każdym bloku transformera wykonywane są trzy operacje, każda sterowana przez niewielkie uczone wagi:

1. Odczyt ($\mathcal{H}^{pre}$): agreguje $n$ strumieni do wejścia o wymiarze $d$, które jest konsumowane przez blok attention lub feed-forward.
2. Zapis ($\mathcal{H}^{post}$): mapuje wyjście bloku z powrotem na aktualizacje dla $n$ strumieni.
3. Mieszanie ($\mathcal{H}^{res}$): stosuje $n \times n$ mapę rezydualną przed dodaniem aktualizacji bloku.

Mapy te mogą składać się ze statycznych parametrów oraz składników zależnych od wejścia. Mapa rezydualna ma kluczowe znaczenie dla stabilności, ponieważ jest wielokrotnie mnożona w kolejnych warstwach.

Co raportuje artykuł HC

Artykuł HC raportuje 1,8× szybszą konwergencję dla konfiguracji OLMoE-1B-7B DHC×4 względem baseline’u, a także poprawę wyników downstream przy 500B tokenów (sekcja 1). Dotyczy to jednej ocenianej konfiguracji, a nie ogólnego przyspieszenia 1,8× dla czterech strumieni.

Problem skalowania

Artykuł mHC raportuje niestabilność po przeskalowaniu nieograniczonego HC do konfiguracji 27B.

Dlaczego nieograniczone HC może stać się niestabilne

Te same nieograniczone mapy, które zapewniają HC elastyczność, usuwają również gwarantowaną ścieżkę identycznościową, dzięki której trenowanie połączeń rezydualnych jest proste.

Problem mapy złożonej

W standardowych połączeniach rezydualnych:

$x_{l+1} = x_l + F(x_l)$

Gdy $F(x) \rightarrow 0$, jest to identyczność: $x_{l+1} = x_l$. Sygnał przechodzi bez zmian.

W Hyper-Connections ścieżka rezydualna zawiera mnożenie macierzy:

$x_{l+1} = \mathbf{H}^{res}_l \cdot x_l + \dots$

Po L warstwach sygnał ma postać:

$x_L = \mathbf{H}^{res}_L \times \mathbf{H}^{res}_{L-1} \times \dots \times \mathbf{H}^{res}_1 \times x_0$

Zachowanie zależy od macierzy złożonej, a nie od tego, czy poszczególne wpisy są większe lub mniejsze od 1. Jeśli kolejne mapy mają wzdłuż zgodnego kierunku wzmocnienie operatorowe większe od jedności, sygnały mogą rosnąć; wzmocnienia mniejsze od jedności mogą je tłumić. Ujemne wpisy mogą również powodować kompensację.

Artykuł mHC mierzy to wzmocnienie za pomocą Amax Gain Magnitude: maksymalnej wartości bezwzględnej sumy wiersza dla propagacji w przód oraz sumy kolumny dla propagacji wstecznej w złożonej mapie rezydualnej. W eksperymencie HC dla modelu 27B wartość szczytowa zbliża się do 3000 i pokrywa się z niestabilnym zachowaniem treningu (sekcja 5.4).

Celem projektowym nie jest więc wymuszenie, aby każda mapa była identycznością, lecz umożliwienie mieszania między strumieniami przy jednoczesnym ograniczeniu wzmacniania podczas składania map.

Ograniczenie mHC

mHC zachowuje routing między strumieniami, ale ogranicza każdą macierz mieszania rezydualnego do wielościanu Birkhoffa, czyli zbioru macierzy podwójnie stochastycznych. Taka macierz ma nieujemne wpisy, a suma każdego jej wiersza i każdej kolumny wynosi jeden. Ograniczenie sprawia, że każdy strumień wyjściowy jest kombinacją wypukłą strumieni wejściowych, a norma spektralna mapy rezydualnej jest ograniczona przez jeden.

Co gwarantuje podwójna stochastyczność

Podwójna stochastyczność zapewnia jednocześnie trzy właściwości:

Nie jest to dosłowne zachowanie energii euklidesowej. Macierz podwójnie stochastyczna może wygładzać różnice między strumieniami. Zapewnia zachowanie średniej i nieekspansywny routing przy założonym ograniczeniu normy.

Ograniczenie ma trzy dodatkowe konsekwencje:

1. Norma spektralna ≤ 1: mapa routingu rezydualnego nie może zwiększać normy euklidesowej.
2. Domknięcie względem mnożenia: iloczyn macierzy podwójnie stochastycznych pozostaje macierzą podwójnie stochastyczną, więc ograniczenie zachowuje się przy składaniu map w kolejnych warstwach.
3. Mieszanie wypukłe: zgodnie z twierdzeniem Birkhoffa-von Neumanna mapa leży w otoczce wypukłej macierzy permutacji.

Rzutowanie Sinkhorn-Knopp

Uczone logity rezydualne są nieograniczone. mHC najpierw poddaje je eksponentowaniu, aby uzyskać macierz dodatnią, a następnie naprzemiennie normalizuje kolumny i wiersze. Przy wystarczającej liczbie iteracji proces Sinkhorn-Knopp zbliża się do macierzy podwójnie stochastycznej; artykuł wykorzystuje 20 iteracji jako praktyczne, przybliżone i różniczkowalne rzutowanie, a nie jako dokładne wymuszenie ograniczenia.

Dla surowych logitów $A$ procedura wygląda następująco:

S = exp(A)
repeat 20 times:
    S = S / column_sum(S)
    S = S / row_sum(S)
return S

Operacje te są różniczkowalne, ale nie są darmowe. mHC wykorzystuje scalony kernel forward oraz niestandardowy kernel backward, który ponownie oblicza pośrednie stany normalizacji na układzie.

Szczegóły parametryzacji

• Mapa rezydualna: eksponentowanie i normalizacja Sinkhorna tworzą w przybliżeniu podwójnie stochastyczną macierz $\mathcal{H}^{res}$.
• Mapy odczytu i zapisu: $\mathcal{H}^{pre}=\sigma(\tilde{\mathcal{H}}^{pre})$ oraz $\mathcal{H}^{post}=2\sigma(\tilde{\mathcal{H}}^{post})$. Obie mapy pozostają nieujemne, ograniczając kompensację wynikającą ze współczynników o mieszanych znakach (sekcja 4.2).

Kompletna architektura mHC

Przepływ danych przez każdy blok:

1. Wejście: do warstwy trafia $n$ równoległych strumieni rezydualnych.
2. Odczyt ($\mathcal{H}^{pre}$): $n$ strumieni jest łączonych w wejście konsumowane przez funkcję warstwy. Artykuł wykorzystuje $\sigma(\tilde{\mathcal{H}}^{pre})$, dzięki czemu współczynniki są nieujemne.
3. Obliczenia: standardowy blok transformera (Attention lub MLP) przetwarza pojedynczy zagregowany wektor.
4. Zapis ($\mathcal{H}^{post}$): wyjście bloku jest mapowane na aktualizacje dla $n$ strumieni za pomocą $2\sigma(\tilde{\mathcal{H}}^{post})$. Współczynniki pozostają nieujemne.
5. Mieszanie ($\mathcal{H}^{res}$): w przybliżeniu podwójnie stochastyczna mapa rezydualna miesza wejściowe strumienie przed dodaniem aktualizacji.
6. Wyjście: zaktualizowana macierz strumieni przechodzi do następnej warstwy.

Tylko mapa mieszania rezydualnego wykorzystuje rzutowanie Sinkhorn. Mapy odczytu i zapisu korzystają z parametryzacji zapewniających nieujemność. To rozróżnienie ma znaczenie, ponieważ gwarancja dotycząca składania map opisana w artykule dotyczy $\mathcal{H}^{res}$.

Infrastruktura wymagana dla raportowanego narzutu

Cztery strumienie zwiększają liczbę dostępów do pamięci stanu rezydualnego, ilość przechowywanych aktywacji oraz komunikację w pipeline. Wynik 6,7% czasu działania z artykułu zależy od następującej współprojektowanej implementacji.

Fuzja kernelów

Implementacja scala operacje współdzielące dostęp do pamięci, stosuje mixed precision tam, gdzie jest to uzasadnione, i implementuje większość niestandardowych kernelów za pomocą TileLang. Pętla Sinkhorna i jej niestandardowy przebieg backward są wykonywane wewnątrz dedykowanych kernelów, aby ograniczyć ruch danych i narzut uruchamiania.

Selektywne ponowne obliczanie

Przechowywanie każdego pośredniego stanu Sinkhorna na potrzeby propagacji wstecznej nadmiernie zwiększałoby zużycie pamięci. Zamiast tego mHC:

• Zwalnia pośrednie aktywacje po przebiegu forward.
• Odtwarza je na żądanie podczas przebiegu backward.

Rozszerzony harmonogram DualPipe nakłada na siebie części komunikacji, ponownego obliczania i pracy warstw na granicach pipeline’u. Osiągnięte nakładanie jest specyficzne dla tego systemu treningowego.

Raportowany wynik systemowy

W wielkoskalowej konfiguracji opisanej w artykule współczynnik rozszerzenia $n=4$ dodaje 6,7% czasu treningu względem baseline’u (sekcja 4.3). Jest to wynik systemowy, a nie narzut prostej implementacji we frameworku.

Co pokazują eksperymenty

W porównaniu dla modelu 27B nieograniczone HC osiąga szczytową wartość composite Amax Gain bliską 3000. Przy użyciu przybliżonego, 20-etapowego rzutowania Sinkhorn composite backward gain mHC odchyla się od jedności, ale pozostaje ograniczony do około 1,6 w raportowanej analizie (sekcja 5.4).

Autorzy trenują również warianty MoE o rozmiarach 3B, 9B i 27B, inspirowane DeepSeek-V3 (sekcja 5.3). Przy rozmiarze 27B mHC przewyższa standardowy baseline rezydualny we wszystkich ośmiu raportowanych benchmarkach downstream, a HC — w sześciu z ośmiu (tabela 4). HC osiąga nieco wyższe wyniki na GSM8K i MATH. Są to eksperymenty pretrainingu przeprowadzone wewnętrznie przez zespół proponujący metodę, dlatego niezależna replikacja i porównania z innymi architekturami pozostają otwarte.

Kompromisy i otwarte pytania

mHC nie jest rozwiązaniem typu drop-in dla każdego modelu. Pozostają cztery pytania:

1. Narzut systemowy: 6,7% to wynik zoptymalizowanej implementacji z artykułu; inny runtime, topologia urządzeń lub kształt modelu mogą wiązać się z innym kosztem.
2. Złożoność implementacji: implementacja referencyjna może wyrażać tę metodę, ale osiągnięcie raportowanej przepustowości wymaga niestandardowych kernelów, ponownego obliczania i zmian harmonogramu.
3. Bias mieszania: podwójna stochastyczność zachowuje średnią między strumieniami i zapobiega ekspansji przez $\mathcal{H}^{res}$, ale może wygładzać różnice między strumieniami. Aktualizacja bloku nadal zmienia całą reprezentację.
4. Zakres dowodów: najmocniejsze dowody pochodzą z pretrainingu modeli językowych na architekturach MoE inspirowanych DeepSeek-V3. Artykuł nie potwierdza jeszcze generalizacji na inne rodziny modeli.

Najważniejsze wnioski

1. Połączenia rezydualne działają dzięki odwzorowaniu identycznościowemu: umożliwia ono przekazywanie sygnałów bez zmian.
2. Hyper-Connections skalują szerokość zamiast głębokości, a artykuł HC raportuje szybszą konwergencję dla jednej konfiguracji z czterema strumieniami.
3. Nieograniczone HC może utracić właściwość zachowania sygnału rezydualnego, gdy mapy rezydualne są składane na kolejnych głębokościach.
4. mHC ogranicza mieszanie rezydualne do wielościanu Birkhoffa, zachowując średnią między strumieniami i ograniczając wzmacnianie.
5. Sinkhorn-Knopp czyni ograniczenie różniczkowalnym, umożliwiając trening end-to-end.
6. Raportowany narzut 6,7% jest osiągnięciem systemowym, a nie właściwością samej architektury.

mHC to obiecujący sposób badania szerszej topologii rezydualnej przy jednoczesnym utrzymaniu dobrego uwarunkowania wielokrotnie stosowanej mapy rezydualnej. To, czy rozwiązanie będzie opłacalne dla innego modelu, zależy od niezależnie potwierdzonych zysków jakościowych oraz kosztu odtworzenia całego stosu systemowego.

Referencje

• mHC: Manifold-Constrained Hyper-Connections — Xie et al. (DeepSeek)
• Deep Residual Learning for Image Recognition — He et al. (ResNet)
• Hyper-Connections — oryginalny artykuł HC
• TileLang — framework do optymalizacji kernelów CUDA
• DualPipe — scheduler równoległości pipeline dla DeepSeek-V3
• ResiDual — architektura z dwiema ścieżkami rezydualnymi