2026-01-21 · Atualizado 2026-07-15

[!NOTE] Tradução automática Este artigo foi traduzido automaticamente a partir da versão original em inglês.

Hiper-Conexões Constrainidas por Manifold (mHC): Explicação da Escalação Residual da DeepSeek

O aprendizagem profunda moderna assenta na conexão residual. As Hyper-Connections (HC) exploram outra dimensão arquitetónica: ampliam o estado residual em vários fluxos interativos. A DeepSeek’s Hyper-Conexões Constrainidas por Manifolds (mHC) O artigo analisa como manter essa roteamento estável em escalas de treino maiores.

Este artigo começa com as conexões residuais padrão e, em seguida, introduz as Hyper-Connections e a instabilidade que estas causam. Essa sequência torna mais fácil de compreender a restrição final do mHC e a sua implementação.

TL;DR: O HC substitui um estado residual por vários fluxos, além de mapas aprendíveis para leitura, escrita e mistura. Esses mapas sem restrições podem amplificar ou atenuar sinais quando combinados entre camadas. O mHC projeta aproximadamente o mapa de mistura residual no poliedro de Birkhoff através de 20 iterações de Sinkhorn-Knopp. O artigo apresenta experiências de pré-treinamento estável com modelos de 3B, 9B e 27 bilhões de parâmetros, indicando um tempo adicional de treinamento de 6,7% para quatro fluxos, após a implementação de kernels personalizados e otimizações de agendamento.

Por que as conexões residuais funcionam

Antes de abordarmos o que o mHC corrige, precisamos primeiro entender em que se baseia.

O problema de profundidade

Adicionar camadas pode aumentar a capacidade, mas também torna a otimização e a propagação do sinal mais difíceis. Dependendo da inicialização, normalização e arquitetura, as ativações em direção à saída ou os gradientes em direção à entrada podem diminuir, aumentar ou ficar pouco condicionados ao longo da profundidade da rede.

A solução residual

O Artigo original do ResNet foi introduzida uma solução elegante. Em vez de aprender uma mapeamento direto, aprende‑se o residual, ou seja, a diferença em relação à função identidade:

A propriedade útil é o atalho de identidade. Quando a função residual $F(x)$ produz zero, a camada funciona como um pass-through. Seguem-se duas consequências:

1. Um termo de gradiente direto: a retropropagação inclui um percurso através da componente de identidade.
2. Uma mapeamento de fallback simples: o ramo residual pode permanecer próximo de zero quando uma camada não precisa alterar muito o seu estado.

Isto não elimina todos os problemas de otimização, mas tornou práticas redes significativamente mais profundas.

Como a normalização por camadas altera o caminho residual

Os Transformers introduziram uma nova variável: o local onde deve ser aplicada a Normalização por Camada (LN). A decisão pode parecer trivial, mas na realidade não é.

O ResiDual A arquitetura combina caminhos residuais Pré-LN e Pós-LN. O HC segue um percurso distinto, ampliando o estado residual em vários fluxos.

As hiper-conexões criam fluxos residuais paralelos

Hyper-Conexões (HC) segue um caminho diferente: expande a largura do fluxo residual em vez de adicionar profundidade.

O que significa um fluxo

Num Transformer padrão, cada token possui um estado de $d$ dimensões que é transmitido através dos blocos. O HC replica o estado inicial $n$ vezes, gerando uma matriz oculta de $n \times d$.

Em Hyper-Connections, um stream é uma das $n$ instanciações paralelas deste estado.

Como é que os obtemos? No início da rede, a entrada inicial embedding é replicada $n$ vezes (onde $n$ representa a “taxa de expansão”, geralmente igual a 4). O estado oculto padrão de $d$ dimensões transforma-se numa “matriz hiper-oculta” de tamanho $n \times d$.

As cópias começam de forma idêntica e depois divergem à medida que os mapas aprendidos leem, escrevem e misturam os fluxos. O artigo interpreta-os como vários padrões de conexão ao longo da profundidade; não é necessário que cada fluxo assuma um papel fixo, legível por humanos.

Mecanismos principais

Em vez de um único caminho residual, o HC mantém $n$ fluxos paralelos a fluir por toda a rede. Em cada bloco de transformador, são executadas três operações, cada uma controlada por pequenos pesos aprendíveis:

1. Leitura ($\mathcal{H}^{pre}$): agregar os $n$ fluxos num vetor de entrada de $d$ dimensões, que é posteriormente processado pelo bloco de atenção ou por um bloco feed-forward.
2. Escrita ($\mathcal{H}^{post}$): mapear a saída desse bloco de volta para atualizações dos $n$ fluxos.
3. Mistura ($\mathcal{H}^{res}$): aplicar uma matriz residual de tamanho $n \times n$ antes de somar as atualizações provenientes do bloco.

Estes mapas podem ser parâmetros estáticos, além de termos dependentes das entradas. O mapa residual é a parte crítica para a estabilidade, uma vez que é multiplicado repetidamente ao longo da profundidade.

O que o artigo do HC relata

O artigo da HC relata uma convergência 1,8 vezes mais rápida para a sua configuração OLMoE-1B-7B DHC×4 em comparação com a versão de referência, além de ganhos adicionais ao processar 500 bilhões de tokens. Trata‑se de uma única configuração avaliada, e não de um multiplicador geral de velocidade aplicável a quatro fluxos de dados.

O problema de escalabilidade

O artigo sobre o mHC relata instabilidade quando se escala o HC sem restrições para a sua configuração de 27B parâmetros. A secção seguinte explica o mecanismo que foi identificado.

Por que o HC sem restrições pode tornar‑se instável

A flexibilidade que impulsiona o HC é também o que o compromete. Ela destrói a mapeamento de identidades que, em primeiro lugar, permite que os resíduos sejam treináveis.

O problema do mapa composto

Em resíduos padrão:

$x_{l+1} = x_l + F(x_l)$

Quando $F(x) \rightarrow 0$, trata-se de uma identidade: $x_{l+1} = x_l$. O sinal passa por ele sem sofrer alterações.

Em Hyper-Connections, o caminho residual inclui uma multiplicação matricial:

$x_{l+1} = \mathbf{H}^{res}_l \cdot x_l + \dots$

Ao longo das camadas L, o sinal torna-se:

$x_L = \mathbf{H}^{res}_L \times \mathbf{H}^{res}_{L-1} \times \dots \times \mathbf{H}^{res}_1 \times x_0$

O comportamento depende da matriz composta, e não de os valores individuais estarem acima ou abaixo de 1. Se as transformações sucessivas tiverem ganhos operadores superiores a um ao longo de uma direção alinhada, os sinais podem crescer; ganhos inferiores a um podem atenuá-los. Os valores negativos também podem provocar cancelamento.

O artigo sobre mHC mede este valor através da Amax Gain Magnitude: a soma absoluta máxima das filas para a propagação forward e a soma das colunas para a propagação backward num mapa residual composto. No seu experimento com 27B de unidades HC, o pico atinge aproximadamente 3.000, coincidindo com um comportamento de treino instável.

O objetivo de projeto é, portanto, mais restrito do que forçar cada mapeamento a ser uma função identidade: permitir a mistura entre fluxos distintos, ao mesmo tempo que se limita a amplificação nas composições resultantes.

A restrição mHC

O mHC mantém o encaminhamento entre fluxos, mas restringe cada matriz de mistura residual ao poliedro de Birkhoff, que é o conjunto de matrizes duplamente estocásticas. Os seus elementos são não negativos, e a soma de cada linha e coluna é igual a um. Esta restrição faz com que cada fluxo de saída seja uma combinação convexa dos fluxos de entrada, limitando também a norma espectral da função de mapeamento residual a um.

O que a dupla estocasticidade garante

O mHC impõe que a matriz de mistura H^res seja duplamente estocástica: todos os elementos são não negativos, e a soma de cada linha e coluna é exatamente 1. Isso garante simultaneamente três propriedades:

Trata‑se de uma conservação de energia euclidiana não literal. Um mapa duplamente estocástico consegue suavizar as diferenças entre os fluxos. O que ele oferece é a conservação da média, aliada a um encaminhamento não expansivo, dentro dos limites da norma definida.

Esta restrição também tem consequências matemáticas úteis:

1. Norma espectral ≤ 1: o mapa de roteamento residual não pode amplificar a norma euclidiana.
2. Fechada sob multiplicação: o produto de matrizes duplamente estocásticas permanece duplamente estocástico, pelo que a restrição se mantém ao combinar operações em diferentes camadas.
3. Mistura convexa: segundo o teorema de Birkhoff-von Neumann, o mapa encontra-se no hull convexo das matrizes de permutação.

Projeção Sinkhorn-Knopp

Os logitres residuais aprendíveis não possuem restrições. O mHC primeiro os exponencia para obter uma matriz positiva e, em seguida, realiza normalização alternada de linhas e colunas. Com um número suficiente de iterações, este processo de Sinkhorn-Knopp aproxima-se de uma matriz duplamente estocástica; o artigo utiliza 20 iterações como projeção aproximada e diferenciável.

Para os logits brutos $A$, o procedimento é:

S = exp(A)
repeat 20 times:
    S = S / row_sum(S)
    S = S / column_sum(S)
return S

As operações são diferenciáveis, mas não são gratuitas. O mHC depende de um kernel forward fundido e de um kernel backward personalizado que recalcula os estados de normalização intermédios diretamente no chip.

Detalhes de parametrização

• Mapa residual: a exponenciação combinada com a normalização de Sinkhorn gera o espaço $\mathcal{H}^{res}$, que é aproximadamente duplamente estocástico.
• Mapas de leitura e escrita: a parametrização por sigmoide garante que $\mathcal{H}^{pre}$ e $\mathcal{H}^{post}$ permaneçam não negativos, diminuindo assim o cancelamento causado por coeficientes de sinal misto.

Arquitetura completa de mHC

No total:

O fluxo através de cada bloco:

1. Entrada: $n$ fluxos residuais paralelos são introduzidos na camada.
2. Leitura ($\mathcal{H}^{pre}$): os $n$ fluxos combinam-se para formar a entrada processada pela função da camada. Uma função sigmoide garante que os coeficientes sejam não negativos.
3. Cálculo: O bloco padrão do Transformer (Attention ou MLP) processa o vetor agregado resultante.
4. Escrita ($\mathcal{H}^{post}$): a saída do bloco é mapeada para atualizações dos $n$ fluxos, mantendo novamente coeficientes não negativos.
5. Mistura ($\mathcal{H}^{res}$): o mapeamento residual aproximadamente duplamente estocástico mistura os fluxos de entrada antes da aplicação da atualização.
6. Saída: a matriz de fluxos atualizada é transmitida para a camada seguinte.

Apenas o mapa de mistura residual utiliza a projeção Sinkhorn. Os mapas de leitura e escrita recorrem a parametrizações não negativas. Essa distinção é importante, uma vez que a garantia de composição apresentada no artigo aplica-se a $\mathcal{H}^{res}$.

Infraestrutura necessária para o overhead reportado

Quatro fluxos aumentam o acesso à memória de estado residual, o armazenamento de ativação e a comunicação via pipeline. O resultado de 6,7% em termos de latência apresentado no artigo depende da implementação desenvolvida em conjunto descrita a seguir.

Fusão de kernels

A implementação funde operações que partilham acesso à memória, utiliza precisão mista quando adequado e implementa a maioria dos kernels personalizados com TileLang. O ciclo Sinkhorn e a sua passagem reversa personalizada são executados dentro de kernels dedicados, com o objetivo de reduzir o tráfego de memória e os custos associados à inicialização.

Recálculo seletivo

Armazenar todos os estados intermediários do Sinkhorn para a retropropagação causaria um consumo exagerado de memória. Em vez disso, o mHC:

• Libera as ativações intermediárias após a passagem forward.
• Recalcula-as em tempo real durante a passagem backward.

Um estendido DualPipe O agendamento faz com que partes da comunicação, da recálculo e do processamento em camadas se sobreponham nas fronteiras de pipeline. A sobreposição obtida é específica para este sistema de treino.

Resultado do sistema reportado

Na configuração em larga escala utilizada no artigo, uma taxa de expansão $n=4$ aumenta o tempo de treino em 6,7% em comparação com a versão de referência. Trata‑se de um resultado sistémico, e não do overhead associado a uma implementação simples de framework.

O que os experimentos comprovam

Na comparação com 27B, o HC sem restrições atinge um pico no ganho composto Amax próximo de 3.000. Com uma projeção aproximada de Sinkhorn em 20 passos, o ganho retroativo composto do mHC desvia-se de um, permanecendo contudo limitado a cerca de 1,6 na análise apresentada.

Os autores treinaram também variantes inspiradas no DeepSeek-V3 com 3B, 9B e 27B de parâmetros MoE. Com 27B de parâmetros, o mHC supera a linha de base residual padrão em todos os oito benchmarks avaliados, além de ultrapassar o HC em seis dos oito casos; o HC apresenta ligeiramente melhores resultados nos conjuntos GSM8K e MATH. Trata‑se de experimentos de pré‑treinamento realizados internamente pela equipa responsável, pelo que a replicação independente e comparações com outras arquiteturas ainda estão por ser feitas.

Compromissos e questões em aberto

mHC não representa uma solução imediata e eficaz para todos os modelos. Permanecem quatro questões sem resposta:

1. Custo de sobrecarga do sistema: 6,7% é o resultado obtido com otimização no artigo; outro fator, como a runtime, a topologia do dispositivo ou a estrutura do modelo, pode resultar em custos diferentes.
2. Complexidade de implementação: uma implementação de referência consegue expressar o método, mas atingir a taxa de transferência reportada exige kernels personalizados, recálculos e alterações no agendamento.
3. Viés de mistura: a dupla estocasticidade preserva a média entre os fluxos e impede a expansão através de $\mathcal{H}^{res}$, mas pode suavizar as diferenças entre eles. A atualização em bloco continua a modificar a representação geral.
4. Escopo das evidências: a evidência mais forte refere-se ao pré-treinamento de modelos de linguagem em arquiteturas inspiradas no DeepSeek-V3, como as MoE. A generalização para outras famílias de modelos ainda não foi comprovada por este artigo.

Principais conclusões

1. As conexões residuais funcionam graças à mapeamento de identidade: a capacidade de transmitir sinais sem sofrer alterações.
2. As Hyper-Connections escalam a largura em vez da profundidade, permitindo uma convergência mais rápida através de roteamento multifluente.
3. As HC não restritas podem perder a propriedade de conservação residual quando os mapas residuais são compostos ao longo da profundidade.
4. As mHC restringem a mistura residual ao poliedro de Birkhoff, preservando a média entre fluxos e delimitando a amplificação.
5. O método Sinkhorn-Knopp torna a restrição diferenciável, possibilitando o treinamento de ponta a ponta.
6. A sobrecarga relatada de 6,7% é um resultado de otimização de sistemas, e não apenas uma característica da arquitetura.

O mHC representa uma abordagem promissora para estudar uma topologia residual mais ampla, mantendo ao mesmo tempo o mapa residual repetido em boas condições. A utilidade deste método para outro modelo depende de ganhos de qualidade independentes e do custo associado à recriação da sua pilha de sistemas.

Referências

• mHC: Hiper-Conexões Constrainidas por Manifold - Xie et al. (DeepSeek) Aprendizagem Residual Profunda para Reconhecimento de Imagens - He e colaboradores (ResNet)
• Hyper-Conexões - Artigo original em HC TileLang - CUDA otimização do kernel framework DualPipe - Pipeline agendador de paralelismo para o DeepSeek-V3
• ResiDual - Arquitetura de caminho residual duplo