IA — notícias de 2026-09-09

Fontes

vLLM v0.29.0 — Model Runner V2 padrão, Speculative Decoding e novos modelos

GitHub · vllm-project/vllm · 2026-09-09 Release com 594 commits de 277 contribuidores torna Model Runner V2 (MRV2) o padrão para todos os modelos, com profiling de memória via CUDA graph para auto-sizing de KV cache, batch-sharded sampling que reduz memória de logits por 1/TP e despacho padded FULL cudagraph para decode uniforme sob spec decode. Adiciona modelos Hy4-preview (MoE 770B/49B-active com Gated DeepSeek Sparse Attention e MTP nativo), Qwen3.8-Flash-Next (BF16/FP8/NVFP4), GraniteSWA/GraniteMoeSWA e otimizações Kimi K3 e DeepSeek V4 (fused MXFP4 top-k, Triton single-launch para Mamba, GEMM-RS/AR, MLA gate fundido). Completa ainda métricas por requisição em spec decode, RL weight sync via sharded_rdt (NIXL/Ray Direct Transport) e prefix caching para Mamba com ganho de 9–25% em TTFT. Abrir fonte

Transformers v5.17.0 — Hugging Face

GitHub · huggingface/transformers · 2026-09-09 Release v5.17.0 publicada em 2026-09-09T15:42:45Z no repositório huggingface/transformers, principal biblioteca de infraestrutura para carregamento, fine-tuning e inference de LLMs via AutoModel e pipelines. A série v5 concentra refatoração de backends, suporte a modelos recentes e compatibilidade com vLLM, GGUF e quantização para deployment em larga escala. A versão é referência direta para harnesses que avaliam modelos via transformers e para pipelines de treino/fine-tuning. Abrir fonte

llama.cpp b10883 — Vulkan: constante de especialização para mul_mat e shaders unificados

GitHub · ggml-org/llama.cpp · 2026-09-09 Release b10883 publicada em 2026-09-09T17:29:28Z usa spec constants para tipo de multiplicação matriz-matriz (A-type) e consolida tabelas de shared memory, reduzindo tamanho de descriptor e corrigindo tipos ausentes como Q2_0. Remove quants LUT do shader unificado e restaura coopmat2, com impacto em throughput Vulkan para modelos quantizados GGUF. Disponibiliza binários para macOS, Linux, Windows, Vulkan, ROCm e CUDA. Abrir fonte

llama.cpp b10877 — CUDA: dimensionamento de tiles MMQ para MoE em RDNA3

GitHub · ggml-org/llama.cpp · 2026-09-09 Release b10877 publicada em 2026-09-09T12:53:34Z ajusta dimensionamento de N-tiles de MoE MMQ a partir da largura típica de expert em RDNA3, escolhendo tamanho de tile no lado do host. Otimiza kernels quantizados MMQ para Mixture-of-Experts em GPUs AMD, afetando eficiência de inference com GGUF e offload híbrido. Mantém paridade de builds CUDA/HIP e suporte a modelos MoE de grande escala. Abrir fonte

llama.cpp b10876 — CUDA: controle granular de combinações FlashAttention quantizadas

GitHub · ggml-org/llama.cpp · 2026-09-09 Release b10876 publicada em 2026-09-09T11:45:32Z substitui GGML_FA_ALL_QUANTS por GGML_FA_QUANTS para controle fino das combinações quantizadas compiladas em FlashAttention CUDA. Adiciona fallback em runtime com aviso quando combinação não foi compilada e atualiza docs/build.md. Reduz tamanho de binário e tempo de compilação, preservando aceleração para quants relevantes em inference de LLMs. Abrir fonte

llama.cpp b10871 — Vulkan: shader dedicado iq4_xs para mat-vec (+6–17% em RDNA4)

GitHub · ggml-org/llama.cpp · 2026-09-09 Release b10871 publicada em 2026-09-09T07:17:51Z adiciona shader dedicado mul_mat_vec_iq4_xs para caminho dmmv, substituindo fallback genérico e elevando geração de tokens em 6–17% em RDNA4 conforme modelo. Remove branch morto de unroll n_it ≤ 8 onde [[unroll]] era ignorado por ser valor de runtime. Melhoria direta de inference quantizada GGUF em iGPU/dGPU Vulkan. Abrir fonte

IBM Granite Time Series PatchTST-FM-r2 — modelo foundation com licença comercial permissiva

Hugging Face Blog · 2026-09-09 Publicado em 2026-09-09T15:36:24Z, o Hugging Face Blog anuncia o IBM Granite Time Series PatchTST-FM-r2 como foundation model SOTA para séries temporais, com pesos em licença comercial amigável. Embora focado em time series, o modelo segue paradigma de foundation model com patching e treinamento auto-supervisionado aplicável a pipelines de fine-tuning, avaliação e serving similares a LLMs, e amplia a coleção Granite em huggingface.co. Relevante para infraestrutura de modelos e catálogo Hugging Face. Abrir fonte

KVShareArena: KV-Cache Reuse Across Contexts and Model Checkpoints

arXiv · 2026-09-09 Proposta de reuso de KV cache além do prefixo inicial, cobrindo cenários de RAG com chunks diferentes por query e coordenação multi-agente onde relatórios de agentes são lidos fora de ordem. Mostra que caches reusados carregam posições incorretas e limites de cache dependentes de checkpoint, e introduz técnicas para compartilhar KV across contextos e checkpoints sem recomputação total. Contribuição direta para inference serving (PagedAttention, prefix caching, KV quantization) em vLLM e SGLang. Abrir fonte

Maverick: Private and Verifiable LLM Inference via Matrix-Vector Delegation

arXiv · 2026-09-09 Sistema para delegar multiplicação matriz-vetor de LLMs open-source a provedor third-party com privacidade de prompt e verificabilidade de correção, sem exigir execução local completa do modelo. Argumenta que LLMs open estão competitivos com fechados mas seu custo local empurra usuários a serviços que expõem inputs; Maverick formaliza protocolo de delegação com garantias criptográficas. Relevante para deployment seguro de inference quantizado e serving terceirizado. Abrir fonte

CompassOPD: Cross-Family On-Policy Distillation via Within-Family Likelihood Shifts

arXiv · 2026-09-09 Investiga por que distilação on-policy (OPD) funciona forte intra-família mas degrada cross-family mesmo após alinhamento de tokenizer. Mostra que teacher externo mais forte adiciona pouco e diagnostica desalinhamento de likelihood, propondo CompassOPD que mede shifts de likelihood dentro da família do estudante para guiar a transferência cross-family. Oferece densas supervisões token-level em trajetórias geradas pelo estudante, com implicações para fine-tuning, distillation e construção de datasets de preferência. Abrir fonte

Forgetting Only What Matters: Layer-Selective Unlearning toward Robust LLMs

arXiv · 2026-09-09 Aborda unlearning como alternativa a re-treino para remover conteúdo sensível ou com copyright memorizado, criticando updates amplos que degradam utilidade e falham sob mudanças de deployment como fine-tuning posterior. Propõe seleção de camadas críticas para esquecimento direcionado, melhorando robustez pós-treino. Estudo conecta fine-tuning, governança de dados e infraestrutura de treino para LLMs persistentes. Abrir fonte

Φ-Bench: Can Large Language Models Engineer the Infrastructure That Powers Them?

arXiv · 2026-09-09 Benchmark Φ-Bench avalia se LLMs conseguem projetar e otimizar a própria infraestrutura — kernels, operadores e alvos de otimização — indo além de benchmarks de kernel isolado com alvos pré-definidos. Propõe tarefas de engenharia de infraestrutura end-to-end para medir capacidade de geração de código otimizado, tuning de performance e adaptação a hardware. Contribui para avaliação de harnesses de engenharia, auto-evolução de infraestrutura e métricas além de MMLU/HumanEval. Abrir fonte

ConvMem: Convolutional Memory for Long-Context Reasoning

arXiv · 2026-09-09 Critica abordagens sequenciais como MemAgent que leem contexto longo em segmentos e atualizam memória de tamanho fixo com alta latência e custo de re-treino. Propõe ConvMem com memória convolucional para raciocínio de contexto extremamente longo, reduzindo latência de passagem sequencial e preservando informação via operação convolutiva sobre o histórico. Relevante para arquitetura de LLMs, gerenciamento de KV cache e harnesses de contexto longo. Abrir fonte

Active Adaptation, Not Static Defense: Temporal Dynamics of Preventative Steering in Adversarial Fine-Tuning

arXiv · 2026-09-09 Analisa Preventative Steering — injeção de vetores de persona indesejável durante fine-tuning removidos na avaliação — para defesa contra fine-tuning malicioso que induz drift de persona. Mostra que a proteção não vem de defesa estática mas de adaptação ativa durante dinâmica temporal de otimização, revelando janelas críticas onde steering molda trajetória. Informa design de fine-tuning seguro e monitoramento de drift em pipelines de alinhamento. Abrir fonte

Contrastive Projection: Reading Transformer Internals by Differencing Logit Lenses

arXiv · 2026-09-09 Observa que lentes logit em hidden states intermediários são dominadas por tokens genéricos que o modelo preveria para quase qualquer input, limitando confiança em leitura direta. Propõe subtrair estados de dois prompts pareados e projetar a diferença via unembedding, cancelando componente compartilhado e revelando sinal específico do contraste. Oferece ferramenta de interpretabilidade para auditoria de representações internas sem re-treino. Abrir fonte

A Dominant Diffuse Phase in the Sparse Autoencoder Phase Diagram

arXiv · 2026-09-09 Estuda phase diagram de Sparse Autoencoders (SAEs) para recuperação de features interpretáveis, mostrando que co-ocorrência sistemática faz features distintas serem absorvidas ou fundidas. No problema aberto MAIS-O43, varia fração de nesting γ e penalidade de esparsidade para mapear transição entre recuperação fiel de dicionário sintético e merging. Caracteriza fase difusa dominante com implicações para interpretabilidade via SAEs e dicionário do Gemma Scope. Abrir fonte

Show-Harness: Just a VLM Agent Can Play Robots

arXiv · 2026-09-09 Apresenta Show-Harness como embodied harness que permite a foundation VLMs controlar robôs via interface semântica compacta ligando intenção a ação por unidades de ação discretas razoáveis para o modelo. Enquanto o harness expõe semântica, o backend traduz para controle contínuo. Demonstra que harness bem projetado dispensa controlador especializado, estendendo paradigma de skills e orquestração de agentes para robótica vision-language. Abrir fonte

Fortunate Recall: Ontology-Driven Memory Lifecycle Management for Persistent Coherence in LLMs

arXiv · 2026-09-09 Argumenta que sistemas de memória de LLMs tratam fatos pessoais identicamente, fazendo stores crescer sem limite e degradando precisão de retrieval. Fortunate Recall classifica fatos em taxonomia 10+1 de tipos comportamentais e aplica política composable de ciclo de vida — o que persiste, o que é substituído e em que taxa — condicionada ao tipo. Melhora coerência persistente e gestão de memória de harness para agentes de longo horizonte. Abrir fonte

What Should an Agent Forget? Separating What Is Stored from What Is Used — RD-Forget

arXiv · 2026-09-09 Distingue armazenamento de uso: fato superado pode enganar resposta sobre estado atual mas ser essencial para query histórica. RD-Forget é framework training-free que mantém arquivo fonte retido preservando observações, enquanto cada resposta usa evidência filtrada por relevância à pergunta. Separa o que o agente armazena do que injeta no contexto, melhorando factualidade sem apagar história, com impacto em gerenciamento de memória externa e KV cache de harnesses. Abrir fonte

PACE: Perceived-Latency-Aware Cascading Service Routing and Filler Control for RAG Dialogue Serving

arXiv · 2026-09-09 Formaliza Perceived Time-to-First-Response (PTFR) como objetivo de QoE para serving de diálogo com recuperação aumentada e minimiza-o sob restrições de qualidade/custo. Ao contrário de routing em cascata, cache semântico ou recuperação adaptativa isolados, PACE controla conjuntamente qual fonte compõe a resposta e o que preenche a janela de espera. Implementado em humanoide, demonstra orquestração de inference com trade-off latência-qualidade para serviços conversacionais. Abrir fonte

Epoch: Compiling Diffusion Blocks for Sparse MoE Serving

arXiv · 2026-09-09 Observa que diffusion language models refinam bloco de tamanho fixo por múltiplas passadas, desalinhado da unidade por forward usada em serving denso de MoE que reconstrói roteamento similar a cada passo. Epoch compila blocos de difusão para serving MoE esparso: evita recomputar expert outputs para posições já com logits estáveis e reutiliza estrutura de roteamento. Contribuição para orquestração de inference, compilação e serving eficiente de arquiteturas não-autoregressivas. Abrir fonte

Avatar: Toward Autonomous End-to-End Orchestration of Scientific Workflows using LLMs

arXiv · 2026-09-09 Propõe Avatar para orquestração autônoma end-to-end de workflows científicos usando LLMs, cobrindo planejamento, execução e adaptação de DAGs de tarefas com ferramentas e dados. Estende ideia de skills e harnesses para orquestração multi-agente em ciência, onde LLM compila e depura pipeline experimental. Relevante para agentes com uso de ferramentas, protocolos MCP/A2A e automação de workflows. Abrir fonte

Elastoformer: Enabling Dynamic Adaptivity via Elastic Model Transformation

arXiv · 2026-09-09 Alvo é EdgeAI com restrições dinâmicas de latência, energia e memória, onde DNNs de fluxo fixo falham em adaptar-se. Elastoformer permite transformação elástica do modelo para ajustar computação à condição operacional em tempo real, preservando qualidade sob compressão elástica. Conecta arquitetura de modelos, quantização dinâmica e inference adaptativo para transformers em dispositivos de borda. Abrir fonte

Nota de cobertura: buscas nativas em 10 idiomas (pt, en, it, es, fr, de, ru, zh, ko, ja) focadas em harnesses, skills, fine-tuning, quantização e inference foram executadas. Nenhum release de lm-evaluation-harness com data em 2026-09-09 foi encontrado (último v0.4.13 de 2026-08-31). Releases adicionais de llama.cpp em 2026-09-09 (b10878 corrige tipo de retorno de sampler, b10875 deprecia flags --mmap/--mlock/--dio, b10874 corrige contagem de parâmetros Granite MoE, b10873 propaga video ID em mtmd, b10872 corrige template Jinja) foram agrupados por similaridade — quatro releases representativos foram curados. Fontes sindicadas, guias evergreen sem data verificável em D e papers fora do escopo LLM (time-series clássico, visão pura, quântico) foram descartados. Das 136 entradas arXiv com published em D, 16 foram curadas por aderência a harnesses, agentes, fine-tuning, quantização, inference e interpretabilidade.