2026-01-21 · Bijgewerkt 2026-07-15

[!NOTE] Automatische vertaling Dit artikel is automatisch vertaald vanuit de oorspronkelijke Engelse versie.

Manifold-Constrained Hyper-Connections (mHC): Een uitleg van DeepSeek Residual Scaling

Modern diepleren is gebaseerd op de residuele verbinding. Hyper-Connections (HC) bieden een alternatieve architectonische benadering: ze breiden de residuele toestand uit tot meerdere onderling samenwerkende stromen. DeepSeek’s Manifolds-gebonden hyperverbindingen (mHC) Het artikel onderzoekt hoe routing stabiel kan blijven bij grotere schaalniveaus van training.

Dit artikel begint met standaard residuele verbindingen en introduceert vervolgens Hyper-Connections en de instabiliteit die deze veroorzaken. Deze volgorde maakt de uiteindelijke mHC-beperking en de implementatie daarvan begrijpelijker.

TL;DR: HC vervangt één residuele toestand door meerdere stromen en leerbare lees-, schrijf- en mengingsmappen. Deze onbeperkte mappen kunnen signalen versterken of verzwakken wanneer ze over verschillende lagen worden gecombineerd. mHC projecteert de residuele mengingsmap ongeveer op het Birkhoff-polytoop met behulp van 20 Sinkhorn-Knopp iteraties. Het artikel rapporteert stabiele experimenten met modellen van 3B, 9B en 27B pretraining, evenals een extra trainingstijd van 6,7% voor vier stromen na aanpassingen in de kernel en het planningproces.

Waarom residuele verbindingen werken

Voordat we ingaan op wat mHC corrigeert, moeten we eerst begrijpen waarop het is gebaseerd.

Het diepteprobleem

Het toevoegen van lagen kan de capaciteit verhogen, maar maakt het tegelijkertijd moeilijker om te optimaliseren en om signalen te verspreiden. Afhankelijk van de initialisatie, normalisatie en architectuur kunnen de voorwaartse activations of achterwaartse gradienten naarmate men dieper in de laagstructuur komt, kleiner worden, groter worden of een slechte conditie krijgen.

De residuele oplossing

De Het ResNet-artikel Er werd een elegante oplossing geïntroduceerd. In plaats van een directe afbeelding te leren, wordt de residu geleerd, oftewel het verschil ten opzichte van de identiteitfunctie:

De nuttige eigenschap is de identity shortcut. Wanneer de residuafunctie $F(x)$ nul oplevert, werkt de laag als een doorlaatlaag. Hieruit volgen twee gevolgen:

1. Een directe gradientterm: backpropagatie omvat een pad via de identiteitscomponent.
2. Een eenvoudige fallback-mapping: de residuale tak kan dicht bij nul blijven wanneer een laag niet veel van zijn toestand hoeft te veranderen.

Dit lost niet elk optimalisatieprobleem op, maar het maakte aanzienlijk diepere netwerken haalbaar.

Hoe layer normalisatie de residuele weg verandert

Transformers hebben een nieuwe variabele toegevoegd: waar Layer Normalization (LN) moet worden geplaatst. De beslissing lijkt onbeduidend, maar is dat niet.

De ResiDual De architectuur combineert de Pre-LN- en Post-LN-residuelpaden. HC volgt een andere aanpak door de residuele toestand uit te breiden naar meerdere stromen.

Hyper-Connections voegen parallelle residuele stromen toe

Hyper-Connecties (HC) neemt een andere aanpak: het breedte van de residuele stroom wordt vergroot in plaats van diepte toe te voegen.

Wat een stream betekent

Bij een standaard Transformer beschikt elke token over een $d$-diminutieve toestandsvector die door de verschillende blokken wordt geleid. HC herhaalt deze begintoestand $n$ keren, waardoor er een verborgen matrix van formaat $n \times d$ ontstaat.

In Hyper-Connections is een stream een van de $n$ parallele instantiaties van deze staat.

Hoe halen we ze te pakken? Aan het begin van het netwerk wordt de initiële invoer embedding $n$ keer gerepliceerd (waarbij $n$ de “expansieratio” is, meestal 4). De standaard $d$-dimensionele verborgen toestand wordt hierdoor een $n \times d$ “hyperverborgen matrix”.

De kopieën beginnen identiek, maar gaan vervolgens uiteen doordat de geleerde kaarten van de stromen lezen, erin schrijven en ze met elkaar mengen. Het artikel interpreteert dit als meerdere verbindingsschema’s over verschillende diepten; het vereist niet dat elke stroom een vaste, voor mensen leesbare rol krijgt toegewezen.

Kernmechanismen

In plaats van één residuële route houdt HC $n$ parallele stromen in stand die door het hele netwerk lopen. In elk transformer-blok worden drie operaties uitgevoerd, waarvan elke wordt gestuurd door kleine, leerbare weights:

1. Lezen ($\mathcal{H}^{pre}$): voeg de $n$ stromen samen tot een $d$-dimensionale invoer die wordt verwerkt door de attention of de feed-forward-blok.
2. Schrijven ($\mathcal{H}^{post}$): zet de uitvoer van die blok om in updates voor de $n$ stromen.
3. Mengen ($\mathcal{H}^{res}$): pas eerst een $n \times n$ residuale kaart toe voordat de blokupdate wordt toegevoegd.

Deze kaarten kunnen statische parameters zijn, aangevuld met termen die afhankelijk zijn van de invoer. De residu-kaart vormt het kritieke onderdeel voor de stabiliteit, omdat deze herhaaldelijk wordt vermenigvuldigd naarmate de diepte toeneemt.

Wat het HC-artikel rapporteert

Het artikel van HC rapporteert een 1,8× snellere convergentie voor de OLMoE-1B-7B DHC×4-configuratie ten opzichte van de baseline, gecombineerd met extra voordelen bij 500B tokens. Dit betreft slechts één geëvalueerde configuratie en geen algemene verhouding voor vier parallelle stromen.

Het schaalprobleem

Het artikel over mHC rapporteert onstabielheid wanneer het onbeperkt gegroeide HC-systeem wordt geëscaleerd naar de 27B-configuratie. In het volgende gedeelte wordt het door het onderzoek geïdentificeerde mechanisme uitgelegd.

Waarom onbeperkt HC onstabiel kan worden

De flexibiliteit die HC mogelijk maakt, is tegelijkertijd ook de oorzaak van zijn zwakte. Zij vernietigt de identiteitskoppeling die er in de eerste plaats voor zorgt dat residuen getraind kunnen worden.

Het probleem van de composite-map

In standaardresiduen:

$x_{l+1} = x_l + F(x_l)$

Wanneer $F(x) \rightarrow 0$, geldt deze identiteit: $x_{l+1} = x_l$. Het signaal gaat onveranderd door.

In Hyper-Connections omvat het residuele pad een matrixvermenigvuldiging:

$x_{l+1} = \mathbf{H}^{res}_l \cdot x_l + \dots$

Bij L-lagen wordt het signaal als volgt:

$x_L = \mathbf{H}^{res}_L \times \mathbf{H}^{res}_{L-1} \times \dots \times \mathbf{H}^{res}_1 \times x_0$

Het gedrag is afhankelijk van de samengestelde matrix, en niet van het feit of de individuele elementen boven of onder 1 liggen. Als opeenvolgende transformaties een operatorversterking van meer dan één hebben in een gerichte richting, kunnen signalen toenemen; versterkingen onder één kunnen ze juist verzwakken. Negatieve elementen kunnen ook tot uitwissing van signalen leiden.

Het artikel over mHC meet dit met Amax Gain Magnitude: de maximale absolute som van de rijen voor forward propagation en de som van de kolommen voor backward propagation in een samengestelde residual map. In het 27B HC-experiment nadert de piek de waarde 3.000, wat samenvalt met onstabiel trainingsgedrag.

Het ontwerpdoel is dus nauwer gefocust dan het verplichten om elke kaart tot een identiteit te maken: het maakt het mogelijk om verschillende stromen met elkaar te mengen, terwijl de versterking binnen composities wordt beperkt.

De mHC-beperking

mHC behoudt de interactie tussen de stromen routing, maar beperkt elke residuele mengmatrix tot het Birkhoff-polytoop, de verzameling van dubbel stochastische matrices. De elementen hiervan zijn niet-negatief en de som van alle elementen in elke rij en kolom is één. Door deze beperking wordt elke uitvoerstroom een convexe combinatie van de invoerstromen, en wordt de spectraalnummer van de residuele afbeelding begrensd tot één.

Wat dubbele stochastiek garandeert

De mHC beperkt de mengmatrix H^res tot een tweevoudig stochastische matrix: alle elementen zijn niet-negatief, en de som van elke rij en kolom is precies 1. Dit zorgt er tegelijkertijd voor dat drie eigenschappen worden nageleefd:

Dit is geen letterlijke behoud van de euclidische energie. Een dubbel stochastisch kaart kan verschillen tussen stromen gladstrijken. Wat het biedt, is behoud van de gemiddelde waarde gecombineerd met een niet-expanderend routing-gedrag binnen de genoemde normbeperking.

Deze beperking heeft ook nuttige wiskundige gevolgen:

1. Spectrale norm ≤ 1: de residuele routing-afbeelding kan de Euclidische norm niet versterken.
2. Gesloten onder vermenigvuldiging: het product van dubbel stochastische matrices blijft dubbel stochastisch, zodat deze beperking ook bij composities op verschillende diepten behouden blijft.
3. Convexe menging: volgens het stelling van Birkhoff-von Neumann ligt de afbeelding binnen het convexe hull van permutatiematrixen.

Sinkhorn-Knopp-projectie

De leerbare residuele logits zijn niet gebonden aan beperkingen. mHC exponentieert ze eerst om zo een positieve matrix te verkrijgen, waarna hij afwisselend rij- en kolomnormalisatie toepast. Na voldoende iteraties benadert dit Sinkhorn-Knopp-proces een dubbel stochastische matrix; het artikel gebruikt 20 iteraties als een benaderde, differentieerbare projectie.

Voor de ruwe logits $A$ is de procedure als volgt:

S = exp(A)
repeat 20 times:
    S = S / row_sum(S)
    S = S / column_sum(S)
return S

De operaties zijn differentieerbaar, maar ze zijn niet kosteloos. mHC maakt gebruik van een gefuseerde voorwaartse kernel en een aangepaste achterwaartse kernel die de tussentijdse normalisatietoestanden op de chip opnieuw berekent.

Details over parameterisatie

• Residuemap: Door exponentiëring te combineren met Sinkhorn-normalisatie ontstaat de ongeveer dubbelstochastische $\mathcal{H}^{res}$.
• Lees- en schrijfmaps: Parametrisatie met een sigmoïd zorgt ervoor dat $\mathcal{H}^{pre}$ en $\mathcal{H}^{post}$ niet-negatief blijven, waardoor cancellatie door coëfficiënten met gemengde tekens wordt verminderd.

Volledige mHC-architectuur

Samengevat:

De stroom door elk blok:

1. Invoer: $n$ parallelle residuestromen komen de laag binnen.
2. Lezen ($\mathcal{H}^{pre}$): de $n$ stromen worden gecombineerd tot de invoer die door de laagfunctie wordt verwerkt. Een sigmoid zorgt ervoor dat de coëfficiënten niet-negatief blijven.
3. Berekening: De standaard Transformer-blok (Attention of MLP) verwerkt de enkele, geaggregeerde vector.
4. Schrijven ($\mathcal{H}^{post}$): de uitvoer van het blok wordt omgezet in updates voor de $n$ stromen, opnieuw met niet-negatieve coëfficiënten.
5. Mengen ($\mathcal{H}^{res}$): de ongeveer dubbelstochastische residumkaart mengt de binnenkomende stromen voordat de update wordt toegevoegd.
6. Uitvoer: de bijgewerkte stroommatrix gaat naar de volgende laag.

Alleen de residuele mixing-map maakt gebruik van de Sinkhorn-projectie. De lees- en schrijfmaps maken gebruik van niet-negatieve parameterisaties. Deze onderscheiding is belangrijk, omdat de samenstellingsgarantie uit het artikel van toepassing is op $\mathcal{H}^{res}$.

Benodigde infrastructuur voor de gemelde overhead

Vier stromen verhogen de toegang tot het geheugen met residuele toestanden, de activation opslagcapaciteit en de pipeline communicatie. Het tijdsresultaat van 6,7% dat in het artikel wordt gepresenteerd, is afhankelijk van de hierboven beschreven, samen ontworpen implementatie.

Kernel fusie

De implementatie combineert operaties die dezelfde geheugentoegang delen, maakt waar nodig gebruik van gemengde precisie, en implementeert de meeste aangepaste kernels met TileLang. De Sinkhorn-loop en de daarin opgenomen aangepaste backward pass worden uitgevoerd binnen gespecialiseerde kernels om het geheugenverkeer en de startkosten te verminderen.

Selectieve herberekening

Het opslaan van elke tussentijdse Sinkhorn-toestand voor backpropagatie zou de geheugengebruik drastisch verhogen. In plaats daarvan doet mHC het volgende:

• Maakt de tussentijdse activations vrij na de forward pass.
• Berekent ze op het moment van gebruik tijdens de backward pass.

Een uitgebreide DualPipe De planning overlapt delen van de communicatie, herberekening en laagwerk op de grenzen van pipeline. De behaalde overlapping is specifiek voor dit trainingsysteem.

Gerapporteerde systeemresultaten

Voor de op grote schaal geïmplementeerde configuratie van het artikel zorgt een uitbreidingsfactor $n=4$ voor een toename van 6,7% in de trainertijd ten opzichte van de basisversie. Dit is een systeemgerelateerd effect, en niet het extra verbruik dat optreedt bij een eenvoudige framework implementatie.

Wat de experimenten aantonen

Bij de vergelijking met 27 miljard parameters bereikt de onbeperkte HC een piekwaarde voor de gecombineerde Amax Gain van ongeveer 3.000. Met een benaderende Sinkhorn-projectie van 20 stappen wijkt de gecombineerde teruggaande gain van mHC af van één, maar blijft volgens de gepresenteerde analyse binnen ongeveer 1,6 beperkt.

De auteurs trainen ook 3B-, 9B- en 27B-versies van DeepSeek-V3 die geïnspireerd zijn op MoE. Bij de 27B-versie overtreft mHC de standaardresiduële baseline op alle acht de gemelde downstream benchmarks-taken, en verslaat het HC op zes van de acht; HC presteert iets beter op GSM8K en MATH. Het gaat om interne pretraining-experimenten uitgevoerd door het ontwikkelteam, waardoor onafhankelijke herhalingsproeven en vergelijkingen met andere architecturen nog steeds mogelijk zijn.

Afwegingen en open vragen

mHC is geen directe oplossing voor elke model. Er blijven vier vragen over:

1. Systeemoverhead: 6,7% is het resultaat voor een geoptimaliseerde implementatie; een andere runtime, de topologie van de apparaten, of de vorm van de model kan leiden tot een andere kostenstructuur.
2. Implementatierumitheid: Een referentiële implementatie kan de methode weergeven, maar om aan de gerapporteerde throughput te voldoen, zijn aangepaste kernels, herberekening en aanpassingen in het schema noodzakelijk.
3. Mixingsbias: Dubbele stochastiek behoudt de gemiddelde waarde tussen de verschillende stromen en voorkomt uitbreiding via $\mathcal{H}^{res}$, maar het kan wel verschillen tussen de stromen verzachten. De blokupdate verandert desondanks nog steeds de algehele representatie.
4. Reikwijdte van het bewijs: Het sterkste bewijs komt voort uit taalgerelateerde model pretraining in MoE-architecturen die geïnspireerd zijn op DeepSeek-V3. Generalisatie naar andere model-families is volgens dit artikel nog niet aangetoond.

Belangrijkste conclusies

1. Residuele verbindingen werken dankzij identity mapping: de mogelijkheid om signalen onveranderd door te laten gaan.
2. Hyper-Connections schalen de breedte in plaats van de diepte, waardoor snellere convergentie wordt bereikt via meervoudige stromen routing.
3. Onbeperkte HC kan de eigenschap van residuele conservatie verliezen wanneer residuele mappen zich over verschillende lagen opstapelen.
4. mHC beperkt het mengen van residuen tot het Birkhoff-polytoop, waardoor de gemiddelde waarde tussen stromen behouden blijft en de versterking begrensd wordt.
5. Sinkhorn-Knopp maakt de beperking differentieerbaar, zodat end-to-end training mogelijk is.
6. De gerapporteerde 6,7% overhead is een systeemprestatie, en geen eigenschap die uitsluitend afhankelijk is van de architectuur.

mHC vormt een veelbelovende methode om een bredere residuele topologie te bestuderen, zonder dat de herhaalde residuele kaart ongunstig beïnvloed wordt. Of het de moeite waard is voor een andere model hangt af van onafhankelijke verbeteringen in de kwaliteit en de kosten die gepaard gaan met het opzetten van zijn systeemstack.

Referenties

• mHC: Hyperverbindingen onder beperking van het manifold - Xie et al. (DeepSeek) Deep Residual Learning voor beeldherkenning - He e.a. (ResNet)
• Hyperconnecties - Oorspronkelijk HC-artikel TileLang - CUDA kernel optimalisatie framework DualPipe - Pipeline parallelisme-scheduler voor DeepSeek-V3
• ResiDual - Architectuur met dubbele residuelpaden