Início/Publicações/SOM-2024-0741
IA & MLCompressão
SOM-2024-0741Jun 2024

Compressão de Modelos de Linguagem via Destilação Estruturada com Preservação de Capacidades de Raciocínio

André L. Barbosa·Camila F. Neves
53Citações
2024Ano
IA & MLÁrea

Propomos um método de destilação de conhecimento que preserva capacidades de raciocínio multi-passo em modelos comprimidos, ao contrário de abordagens padrão que degradam significativamente essas habilidades. Nossa técnica introduce uma função de perda estruturada que alinha representações internas em camadas críticas para raciocínio, identificadas por análise de ativação. Comprimimos SophiaCore de 70B para 7B parâmetros com apenas 8% de degradação em benchmarks de raciocínio, versus 34% de degradação com métodos convencionais.