IA — notícias de 2026-09-22

Fontes

vLLM 0.30.0: MXFP8, HiSparse, Model Runner V2 e watermarking

GitHub · vllm-project/vllm · 2026-09-22 Release v0.30.0 publicado em 2026-09-22T05:20:54Z com 762 commits de 315 contribuidores. Estreia suporte a DeepSeek-V4.1-Flash com KV em MXFP8 via FlashMLA V4.1 em SM100, GLM-5.3-Flash e K2-Horizon, watermarking Gumbel-max com detecção, HiSparse para tier host-residente de decode sparse-MLA, Model Runner V2 com dual-batch overlap e CUDA graphs, quantização online direcionada, Fast Start com daemon de cache de pesos via CUDA IPC e melhorias de larga escala para serving em MoE esparsos. Abrir fonte

Train Where the Quantized Model Goes: On-Policy Distillation for Low-Bit Reasoning

arXiv · 2026-09-22 Mostra que distillation ciente de quantização (QAD) em prefixes fixos de corpus falha em raciocínio matemático e de código em sub-3 bits, com degeneração em loops repetitivos que esgotam o orçamento de decodificação. Atribui a falha a viés de exposição amplificado pela quantização e propõe treinar diretamente na trajetória autoregressiva do modelo quantizado, restaurando raciocínio longo sem reintroduzir o modelo de precisão completa no serving. Relevante para inference e quantização de modelos de raciocínio. Abrir fonte

Beyond Repeated Sampling: Learning Search Policies for LLM Reasoning

arXiv · 2026-09-22 Questiona o sampling repetido ingênuo para test-time compute em problemas difíceis e propõe aprender políticas de busca que primeiro amostram conceitos, dicas ou estratégias semânticas e só então geram soluções. Evita duplicatas próximas geradas apenas por ruído de decodificação e direciona exploração no nível semântico, melhorando cobertura de ideias distintas e eficiência de verificadores. Conecta o harness de avaliação ao controle de orquestração de agentes de raciocínio. Abrir fonte

Beyond Scalar Sensitivity: Activation-Aware Mixed-Precision LLM Quantization

arXiv · 2026-09-22 Demonstra que proxies escalares de sensibilidade colapsam a Hessiana de cada matriz em um número e tratam módulos independentemente, mesmo quando o MCKP ótimo seria resolvível. Propõe refinamento ciente de ativação e entre camadas que preserva informação direcional da Hessiana, melhorando alocação de precisão mista para quantização. Trabalho de inference e quantização com impacto direto em pipelines vLLM e llama.cpp. Abrir fonte

Disaggregated Quantization: Specializing LLM Prefill and Decode

arXiv · 2026-09-22 Propõe quantização desagregada (DQ) que especializa formatos aritméticos, pesos e posicionamento de armazenamento separadamente para prefill e decode. Prefill se beneficia de aritmética de baixa precisão para processar prompts, enquanto decode é limitado por tráfego de memória e ganha com pesos compactos. A separação permite acelerar LLM serving sem comprometer qualidade, com implicações para arquiteturas vLLM e planejamento de hardware. Abrir fonte

HySparse2: Hybrid Sparse Attention with Two-Level KV Sharing

arXiv · 2026-09-22 Apresenta HySparse2 para agentes de longo horizonte e multi-turn que geram ações curtas e processam observações longas de ferramentas. Combina atenção esparsa híbrida com compartilhamento de KV em dois níveis para prefill eficiente, cache KV compacto e recuperação precisa de contexto longo. Complementa otimizações do vLLM 0.30.0 e técnicas como CompKV para inference long-context. Abrir fonte

CompKV: Compensation-Aware KV Selection for Long-Context LLM Inference

arXiv · 2026-09-22 Aborda o gargalo de tráfego de KV cache em inferência long-context, onde atenção esparsa sobre subconjunto de tokens descarta contribuições restantes. Propõe seleção de KV ciente de compensação que recupera a contribuição de tokens não selecionados via correção analítica, preservando qualidade com menos computação. Útil para serving com janelas de 32k-128k e integração com kernels PagedAttention. Abrir fonte

Knowledge-as-Skill: A Structural Design for Autonomous Knowledge-Base Use by LLM Agents

arXiv · 2026-09-22 Substitui o pipeline RAG retrieve-concatenate-generate por design onde conhecimento é empacotado como skill estrutural que o agente decide invocar via tool use e loop agêntico. O modelo escolhe quando recuperar e como usar a base, em vez de ter a decisão tomada pelo pipeline. Avança a engenharia de skills e harnesses para agentes com uso autônomo de conhecimento, com avaliação em tarefas que exigem planejamento e verificação. Abrir fonte

Hot-Cold Tiering of HBM and High Bandwidth Flash for Agentic LLM Serving

arXiv · 2026-09-22 Propõe hierarquia hot-cold entre HBM e flash de alta largura de banda para sessões agênticas multi-turn que ficam ociosas entre ações mas precisam reter contexto completo. Em vez de recomputar ou transferir lentamente por interconexão limitada, estados KV inativos são tierados para flash e restaurados rapidamente na retomada, aliviando pressão de memória GPU em serving agêntico em larga escala. Abrir fonte

Decoupling Logical Masks from GPU Execution for Dynamic Block-Sparse Attention

arXiv · 2026-09-22 Mostra que acoplar geometria de blocos lógicos a escolhas de execução limita adaptação a máscaras variáveis e GPUs, enquanto especialização de kernel em runtime gera overhead. Propõe desacoplar máscaras lógicas da execução GPU para atenção bloco-esparsa dinâmica em video diffusion transformers, permitindo adaptação sem re-preparação de kernel. Relevante para inference de modelos de difusão de vídeo com denoising iterativo. Abrir fonte

Reasoning-Preserving Fine-Tuning of Post-RL LLMs with Null-Basis LoRA

arXiv · 2026-09-22 Observa que SFT subsequente sobre modelos pós-RL pode sobrescrever capacidades de raciocínio elicitadas por RL. Introduz LoRA de base nula que restringe atualizações ao espaço nulo das direções de raciocínio, preservando desempenho de reasoning enquanto adapta a novos domínios ou comportamentos. É fine-tuning eficiente com garantias de preservação de raciocínio, aplicável a pipelines de post-training de LLMs. Abrir fonte

Calibration as a First-Class Criterion in LLM Evaluation

arXiv · 2026-09-22 Defende que avaliação de LLMs deve tratar calibração como critério de primeira classe, não secundário à acurácia. Analisa desalinhamentos entre confiança expressa e correção e propõe métricas e intervenções de harness que expõem miscalibração em benchmarks. Implicações para lm-evaluation-harness, leaderboards e orquestração de agentes que dependem de limiares de confiança para delegação e escalonamento. Abrir fonte

Greedy Decoding Is Not Precision-Invariant: Cross-Precision Output Divergence in LLM Inference

arXiv · 2026-09-22 Demonstra que greedy decoding não é invariante a precisão: mesmo modelo, prompt e algoritmo produzem saídas diferentes em BF16 versus FP16 no mesmo hardware. Em seis modelos de 1.1B a 12B, 49 a 100% dos prompts divergem, com um único token flip em cascata para divergência de trajetória. Alerta para reproducibilidade em harnesses de avaliação e serving, exigindo controle de precisão em benchmarks e pipelines de verificação. Abrir fonte

Qwen3.8-Omni-Flash: rumo a agentes omni-modais nativos

arXiv · 2026-09-22 Apresenta Qwen3.8-Omni-Flash como modelo agêntico nativamente multimodal para produtividade no mundo real, com avanços em compreensão, raciocínio e execução multimodal em relação a omni models anteriores focados só em percepção. Indica direção de arquitetura de modelos foundation que unem visão, áudio e texto sob um mesmo backbone para harnesses de agentes omni-modais. Abrir fonte

Informed Masking: Structure-Aware Perturbation for RL in Diffusion LLMs

arXiv · 2026-09-22 Propõe masking informado e estrutura-ciente como perturbação para RL em diffusion LLMs, onde a ordem de denoising e a estrutura de dependência entre tokens afetam eficiência de exploração. Ao mascarar com consciência de estrutura sintática e semântica, melhora sinal de recompensa e estabilidade de treino para modelos de difusão de linguagem, complementando pipelines de fine-tuning e RLHF para essa família de arquiteturas. Abrir fonte

From Token Importance to Conditional Removability: Rethinking Visual Token Pruning in Multimodal LLMs

arXiv · 2026-09-22 Reformula pruning de tokens visuais em LLMs multimodais não como importância estática por token, mas como removibilidade condicional dependente de contexto e redundância cruzada. Propõe critério que avalia se um token pode ser removido dada a presença dos demais, permitindo compressão mais agressiva sem perda de qualidade. Relevante para tokenizers, eficiência de prefill e serving de VLMs. Abrir fonte