Fontes​

llama.cpp — 13 releases em 2026-09-12 (b10919 a b10933)​

GitHub · ggml-org/llama.cpp · 2026-09-12 Treze tags publicadas em 2026-09-12 — b10919 (02:18:40Z), b10920 (07:15:37Z), b10921 (08:04:36Z), b10922 (08:30:45Z), b10923 (08:56:39Z), b10924 (09:18:57Z), b10926 (10:30:50Z), b10927 (10:57:36Z), b10929 (12:28:32Z), b10930 (13:01:59Z), b10931 (14:48:43Z), b10932 (23:09:50Z) e b10933 (23:35:30Z) — mantêm ritmo diário de otimização de kernels para inference local. As notas mantêm melhorias em backends CUDA/Vulkan/HIP e suporte a GGUF quantizado para modelos recentes, sem dependência de servidor. É o único harness de inference com releases confirmados em D; verificação via API GitHub confirma último vLLM formal v0.29.0 em 2026-09-09 sem release novo em D. Abrir fonte

vLLM — tag v0.29.1rc0 criada em 2026-09-12 (sem release formal)​

GitHub · vllm-project/vllm · 2026-09-12 Tag v0.29.1rc0 criada em 2026-09-12T18:42:01Z aponta para commit de watermarking dual-key gumbel-max para suporte a speculative decoding. Não há objeto de release publicado em D — último release permanece v0.29.0 (2026-09-09) — indicando que rc0 é tag de preparação sem notas oficiais. O commit sinaliza evolução em inference com watermarking compatível com speculative decoding, relevante para serving de LLMs com verificabilidade. Abrir fonte

pearsonkyle/gemma-4-E4B-imatrix-awq-GGUF — AWQ + imatrix para Gemma​

Hugging Face · pearsonkyle/gemma-4-E4B-imatrix-awq-GGUF · 2026-09-12 Publicado em 2026-09-12T23:45:02Z com 2.912 downloads já em D, entrega Gemma 4 E4B quantizado para GGUF com AWQ e imatrix para uso em llama.cpp. A combinação AWQ + imatrix preserva qualidade em 4-bit para inference local eficiente. Representa pipeline de quantização pós-treino para deployment em consumer hardware. Abrir fonte

AMAImedia/DeepSeek-V4.1-Flash-FP8-GGUF — atualização FP8 em D​

Hugging Face · AMAImedia/DeepSeek-V4.1-Flash-FP8-GGUF · 2026-09-12 Atualizado em 2026-09-12T23:19:24Z com 6.707 downloads em D, mantém peso FP8 convertido para GGUF do MoE DeepSeek V4.1 Flash (552B). Foca serving eficiente em vLLM/TensorRT-LLM e inference local via llama.cpp com precisão reduzida. A alta adoção reforça demanda por variantes FP8 como ponte entre NVFP4 e GGUF Q4_K_M. Abrir fonte

meshllm/DeepSeek-V4-Pro-0813-UD-Q4_K_XL-layers — UD quantization​

Hugging Face · meshllm/DeepSeek-V4-Pro-0813-UD-Q4_K_XL-layers · 2026-09-12 Publicado em 2026-09-12T23:32:34Z com 655 downloads, entrega quantização UD Q4_K_XL com layers otimizados para DeepSeek V4 Pro 0813. Atende inference local com controle fino de qualidade vs memória via esquema Q4_K_XL. Ilustra infraestrutura comunitária de quantização diversificada além de FP8/EXL3 no mesmo base model. Abrir fonte

audreyt/DeepSeek-V4.1-Flash-Abliterated-GGUF — variante abliterated​

Hugging Face · audreyt/DeepSeek-V4.1-Flash-Abliterated-GGUF · 2026-09-12 Publicado em 2026-09-12T21:14:57Z com 109 downloads, disponibiliza DeepSeek V4.1 Flash com abliteration para GGUF. A técnica remove recusas de segurança do base model mantendo pipeline GGUF para llama.cpp. Demonstra ecossistema de fine-tuning leve + quantização comunitária em cima de MoE 671B. Abrir fonte

Mia-AiLab/DeepSeek-V4.1-Flash-EXL3-3.0bpw — EXL3 3 bits​

Hugging Face · Mia-AiLab/DeepSeek-V4.1-Flash-EXL3-3.0bpw · 2026-09-12 Publicado em 2026-09-12T20:48:41Z, oferece quantização EXL3 a 3.0 bits por peso para DeepSeek V4.1 Flash. EXL3 complementa GGUF e FP8 ao focar compression extrema para VRAM limitada com calibração otimizada. Expande cobertura de inference heterogêneo além de CUDA para backends com suporte EXL3. Abrir fonte

shomit505/Qwen3.8-27B-refusal-r1-vllm — cache vLLM para fine-tuning de recusa​

Hugging Face · shomit505/Qwen3.8-27B-refusal-r1-vllm · 2026-09-12 Publicado em 2026-09-12T22:35:44Z, disponibiliza artefato de cache vLLM para modelo Qwen3.8 27B com treinamento de recusa (refusal r1). O repositório armazena cache compatível com vLLM para acelerar avaliação e serving durante pesquisa de alinhamento. Conecta infraestrutura de inference (vLLM) com workflow de fine-tuning de segurança. Abrir fonte

0xTank/DeepSeek-V4.1-Flash-vLLM-4x-GB10-Recipe — recipe para DGX Spark​

Hugging Face · 0xTank/DeepSeek-V4.1-Flash-vLLM-4x-GB10-Recipe · 2026-09-12 Publicado em 2026-09-12T02:24:26Z, entrega recipe de deployment vLLM para 4x GB10 (DGX Spark) para DeepSeek V4.1 Flash. A configuração otimiza tensor parallelism e KV cache para MoE em hardware Grace Blackwell. Representa infraestrutura de orquestração de modelos para serving distribuído em novo hardware NVIDIA. Abrir fonte

Nota de cobertura: buscas focadas em harness/skills/modelos LLM foram executadas em 10 idiomas (pt, en, it, es, fr, de, ru, zh, ko, ja) via web_search nativo; consultas em italiano, espanhol, francês, alemão, russo, chinês, coreano e japonês retornaram sem itens novos qualificados dentro de D. Verificação via API GitHub confirma 13 releases llama.cpp em D, último release vLLM v0.29.0 em 2026-09-09 e lm-evaluation-harness v0.4.13 em 2026-08-31 sem releases em D. API Hugging Face retornou 0 daily papers em 2026-09-12 e arXiv API com rate limit + listagem cs.CL/cs.LG sem entries em 2026-09-12 (sábado, sem publicações), indicando lacuna real de papers em D. Das variantes Hugging Face em D, deduplicação por URL canônica e técnica de quantização preservou 7 representativas com lastModified em D entre 10+ hits do base DeepSeek V4.1 Flash.

Fontes​

llama.cpp — duas releases em 2026-09-11 (b10917, b10909)​

GitHub · ggml-org/llama.cpp · 2026-09-11 Duas tags publicadas em 2026-09-11 — b10917 em 2026-09-11T20:30:32Z e b10909 em 2026-09-11T12:13:16Z — dão continuidade ao ciclo ativo de fine-tuning de performance para deployment local. As notas mantêm melhorias em kernels, backends Vulkan/CUDA/HIP e suporte a modelos recentes com binários para GGUF quantizado. É o único harness de inference local com releases confirmados em D, sem release vLLM em 2026-09-11 (último v0.29.0 em 2026-09-09). Abrir fonte

DeepSeek V4.1 Flash GGUF por vcruz305 — quantização comunitária​

Hugging Face · vcruz305/DeepSeek-V4.1-Flash-GGUF · 2026-09-11 Publicado em 2026-09-11T19:39:31Z, converte o DeepSeek V4.1 Flash (552B, 1M contexto) para GGUF para uso com llama.cpp. Com 8.855 downloads já em D, é a variante comunitária mais adotada do dia para inference quantizada local. A oferta se soma a outras 20+ quants do mesmo base model em 2026-09-11, reforçando pipeline de quantização Q4_K_M/Q8_0. Abrir fonte

DeepSeek V4.1 Flash FP8 GGUF por AMAImedia — foco servidor​

Hugging Face · AMAImedia/DeepSeek-V4.1-Flash-FP8-GGUF · 2026-09-11 Publicado em 2026-09-11T08:15:12Z, entrega peso FP8 convertido para GGUF com 5.028 downloads em D. Atende serving eficiente em vLLM/TensorRT-LLM com precisão reduzida preservando qualidade, similar a NVFP4. Ilustra infraestrutura de quantização pós-treino para deployment de MoE 671B em hardware heterogêneo. Abrir fonte

DeepSeek V4.1 Flash MLX 4-bit — Apple Silicon​

Hugging Face · mlx-community/DeepSeek-V4.1-Flash-MLX-4bit · 2026-09-11 Publicado em 2026-09-11T19:03:26Z pela comunidade MLX, disponibiliza quantização 4-bit otimizada para MLX em Apple Silicon. Complementa as variantes EXL3 e REAP-2bit do mesmo dia (rapid-mlx DSpark 23:19:11Z, REAP 18:32:05Z) e expande cobertura de inference eficiente fora de CUDA/ROCm. Abrir fonte

NCP-ArchPreview: Latent-Space Language Model com Next Concept Prediction​

arXiv · 2609.10715v1 · 2026-09-11 Introduz NCP-ArchPreview, LM de espaço latente que combina next-token prediction com Next Concept Prediction sobre vocabulário de conceitos discretos via product quantization. Escalado a 8.9B parâmetros e 5.73T tokens Dolma-3, atinge com 51.3% dos tokens a loss final do OLMo-3-7B e supera-o em 2.45 pontos downstream (5.99 em GSM8K). Atualizar apenas o módulo VQ de 17M permite adaptação de domínio leve e injection em drafter DFlash2 melhora accepted length em 4.17%. Abrir fonte

Data-Efficient Language Modeling: Principle-Guided Model Improvement​

arXiv · 2609.10702v1 · 2026-09-11 Programa autônomo de pesquisa de longo horizonte no BabyLM 2026 Strict-Small (10M words, 100M exposições) com três estágios: avanço de fronteira, descoberta de princípios e melhoria guiada. Mostra que repetição exata e restatement alinhado produzem padrões distintos de uso de contexto e que recuperar performance familiar não garante generalização. Etapa guiada por princípio mascarou pistas locais e preservou predições em inputs mascarados, elevando overall de 42.02 para 42.25 e alcançando topo no snapshot Strict-Small de 08-09-2026. Abrir fonte

FlexComp: One Model for Every Ratio in Context Compression​

arXiv · 2609.11192v1 · 2026-09-11 Propõe FlexComp, framework agnóstico para compressão soft de contexto que condensa contexto em poucos memory tokens consumidos por LLM congelado. Diferente de compressores que fixam ratio no treino, permite um único modelo operar em qualquer ratio e alocar compressão conforme necessidade do input. Impacto direto em inference com janelas longas e KV cache reuse, evitando treino separado por ratio. Abrir fonte

K/V-Cache Interventions Dissociate Representation Alignment from Persona Expression​

arXiv · 2609.11020v1 · 2026-09-11 Estuda intervenções de transplante de trajetória K/V-cache para controle de persona em decoder-only (Llama-3.1-8B) com 13 configurações. Mostra dissociação consistente entre alinhamento de representação e expressão comportamental de persona, informando técnicas de interpretabilidade e steering em tempo de inference. Relevante para infraestrutura de serving com KV cache manipulável e avaliação de persona em harnesses. Abrir fonte

Rebalancing Token Importance with TF-IDF Weighted Cross-Entropy​

arXiv · 2609.11029v1 · 2026-09-11 Apresenta loss de entropia cruzada ponderada por TF-IDF que reescala contribuições por token durante treino, enfatizando tokens informativos e reduzindo domínio de tokens frequentes. Aborda memorização de spans superficiais e melhora eficiência de aprendizado sem mudar arquitetura. Conexão direta com infraestrutura de treino e tokenizers para pré-treino de LLMs. Abrir fonte

GEOSTEER: Geodesic Optimization for Activation Steering​

arXiv · 2609.10658v1 · 2026-09-11 Propõe steering de ativação via otimização geodésica como controle leve de LLMs em inference, modificando ativações ocultas sem fine-tuning. Entre métodos de steering, oferece direção mais estável e interpretável no manifold de ativações. Útil para orquestração de agentes e controle de comportamento com custo mínimo em serving. Abrir fonte

EGGROLL: Low-Rank Evolution Strategies at Scale​

arXiv · 2609.10980v1 · 2026-09-11 Torna evolution strategies práticas para LLMs substituindo perturbações gaussianas densas por produtos gaussianos low-rank, frequentemente com rank unitário. Viabiliza otimização livre de gradiente para ajuste de prompts, adapters e harnesses em larga escala. Conecta fine-tuning eficiente e infrastructure de treino sem backpropagation completa. Abrir fonte

Phase-Decoupled, Model-Calibrated Power Control for Disaggregated LLM Serving​

arXiv · 2609.11133v1 · 2026-09-11 Apresenta controlador phase-decoupled para serving disaggregado prefill/decode em sistema B200: prefill com janela de SM-clock com garantia de latência e decode com power cap calibrado acima de cliff de throughput/latência. Em Qwen3-Coder-480B FP8 sob carga agêntica, entrega +20.4% tokens/J com +3.5% latência vs +8.6%/+5.2% do perfil Max-Q da NVIDIA; em Qwen3-235B-A22B NVFP4 cumpre SLO ITL-p99 onde perfis vendor falham. Escopo restrito a MoE, com run sustentado de 3 dias economizando 32.3% de eletricidade por par de lanes. Abrir fonte

REVA: Reusable Evidence View Aggregation for Context-Efficient RAG Serving​

arXiv · 2609.11209v1 · 2026-09-11 Melhora serving de RAG reutilizando visões de evidência para evitar recomputação de documentos compartilhados across queries, condicionando geração em docs recuperados com throughput e latência otimizados. Complementa PagedAttention e KV cache tiered do vLLM para aplicações knowledge-intensive. Código relevante para orquestração de inference sob carga RAG. Abrir fonte

LILA: Calibration-Free Structured Pruning via Latent Spectral Geometry​

arXiv · 2609.11163v1 · 2026-09-11 Propõe pruning estruturado calibration-free para LLMs via geometria espectral latente, eliminando necessidade de dados de calibração e computação de gradientes. Oferece compressão hardware-efficient alternativa à quantização, preservando performance downstream. Relevante para pipelines de inference onde quantização e pruning se combinam para redução de memória. Abrir fonte

EMMI: Edge Multi-Modal Intelligence for Communication-Efficient MLLM Inference​

arXiv · 2609.11058v1 · 2026-09-11 Aborda inference de MLLMs em edge via compressão de representação fundida que reduz custo de comunicação mantendo reasoning multimodal. Propõe fusão eficiente de modalidades para serving em dispositivos limitados. Extende técnicas de inference eficiente além de texto para multimodal, relevante para deployment em edge. Abrir fonte

Musec: Momentum Spectral Clipping for Stable Muon-type Training​

arXiv · 2609.11655v1 · 2026-09-11 Introduz Musec, clipping espectral com momentum para treino estável com otimizador Muon, frequentemente superior a Adam em convergência de LLMs. Estabiliza treino de grande escala sem ajustes extensivos de hiperparâmetros. Contribuição para infraestrutura de treino eficiente de modelos de fronteira. Abrir fonte

Data Scarcity and Model Sparsity: MoE Overfit Mais à Repetição de Dados​

arXiv · 2609.11917v1 · 2026-09-11 Mostra que, sob repetição de dados — prática padrão após esgotamento de texto humano — MoEs overfitam mais que densos. Avalia trade-off entre sparsity e generalização, informando decisões de arquitetura para LLMs esparsos de grande escala. Implicação direta para infraestrutura de treino e scaling de MoE. Abrir fonte

Nota de cobertura: buscas nativas em 10 idiomas (pt, en, it, es, fr, de, ru, zh, ko, ja) focadas em harness/skills/modelos LLM, fine-tuning, quantização, inference, tokenizers e infraestrutura foram executadas. Nenhum release de lm-evaluation-harness ou vLLM com published em 2026-09-11 foi encontrado; verificação via API GitHub confirma último vLLM v0.29.0 em 2026-09-09 e llama.cpp em 2026-09-11. Consultas em italiano, espanhol, francês, alemão, russo, chinês, coreano e japonês retornaram sem itens novos qualificados dentro de D, indicando lacuna real. Das 155 entradas cs.CL new + 73 cs.LG new com published em 2026-09-11, 13 foram curadas por aderência estrita a harnesses, quantization, pruning, inference e RAG serving; 20+ variantes Hugging Face de DeepSeek V4.1 Flash em D foram deduplicadas a 3 representativas por URL canônica e quantização distinta.

Fontes​

DeepSeek V4.1 Flash — modelo open 552B com 1M de contexto, multimodal​

Hugging Face · deepseek-ai/DeepSeek-V4.1-Flash · 2026-09-10 DeepSeek publicou em 2026-09-10T02:17:58Z o DeepSeek V4.1 Flash com 552B parâmetros (763B no HF com 8B ativos), janela de 1M tokens e capacidades de reasoning e visão. O modelo é open-weight com API como deepseek-flash e suporte a tool calling e structured output via providers Novita, Fireworks e DeepInfra. No ledger LLM Reference aparece com data 2026-09-10 ao lado de SWE-2, e registros HF mostram lastModified 2026-09-10T08:18:10Z. Abrir fonte

SWE-2 por Cognition — fronteira Pareto para coding agentic​

Cognition · cognition.com/blog/swe-2 · 2026-09-10 Cognition anunciou em 2026-09-10 o SWE-2, modelo focado em software engineering agentic que empurra a fronteira Pareto. Listado em 2026-09-10 no changelog LLM Reference como 2.8T (base Kimi K3), família SWE-2, capability Reasoning. O anúncio oficial "Introducing SWE-2: Pushing the Pareto Frontier" detalha o posicionamento como sucessor orientado a uso real de coding agents. Abrir fonte

Tiered KV Cache Offloading in vLLM — framework host-centric para KV cache​

vLLM Blog · vllm.ai/blog/2026-09-10-tiered-kv-offloading · 2026-09-10 Publicado em 2026-09-10, o post introduz Tiered KV Cache Offloading como framework host-centric para escalar KV cache além da HBM: host memory, filesystems, object stores e remote peers. O objetivo é reduzir recomputação e aumentar throughput de serving ao reutilizar KV cache tiered com redução de custo de prefill. Complementa PagedAttention e prefix caching do vLLM com offloading hierárquico para contextos longos e multi-turno. Abrir fonte

Following the Bottleneck: Optimizing MiniMax M3 on AMD Instinct MI355X​

vLLM Blog · vllm.ai/blog/2026-09-10-minimax-m3-mi355x · 2026-09-10 Publicado em 2026-09-10, o post apresenta modelo de performance para serving de LLMs: inspecionar local shapes, remover trabalho repetido, verificar data movement e dispatch, e seguir a fila. Aplica a metodologia ao MiniMax M3 no AMD Instinct MI355X, mostrando otimizações específicas de kernel, paralelismo e pipeline para inferência de long-context e multimodal reasoning. É o segundo post vLLM do dia, reforçando cobertura de hardware heterogêneo (CUDA/ROCm). Abrir fonte

llama.cpp — seis releases em 2026-09-10 (b10901, b10900, b10899, b10897, b10896, b10894)​

GitHub · ggml-org/llama.cpp · 2026-09-10 Seis tags publicadas em 2026-09-10 cobrem otimizações de inference quantizada GGUF: b10901 (2026-09-10T22:41:01Z), b10900 (19:00:20Z), b10899 (18:33:48Z), b10897 (17:59:13Z), b10896 (15:42:27Z) e b10894 (13:51:23Z). As notas incluem melhorias em kernels, backends Vulkan/CUDA/HIP e suporte a modelos recentes, com binários para macOS, Linux e Windows. O ritmo reflete ciclo ativo de fine-tuning de performance para deployment local e quantização Q4_K_M/Q8_0. Abrir fonte

Data Scarcity and Model Sparsity: Mixtures-of-Experts Overfit More to Repeated Data​

arXiv · 2609.11917v1 · 2026-09-10 Publicado em 2026-09-10T17:57:33Z, o paper mostra que, com repetição de dados de treino, MoEs overfitam mais que densos. Como a prática padrão agora repete dados diante do esgotamento de texto humano, a descoberta tem implicação direta em infraestrutura de treino e scaling de MoE. Avalia trade-off entre sparsity e generalização sob data scarcity, informando decisões de arquitetura para LLMs de grande escala. Abrir fonte

Distance generalization in transformers: why bother with positional encoding?​

arXiv · 2609.11913v1 · 2026-09-10 Publicado em 2026-09-10T17:57:19Z, o estudo investiga extrapolação de comprimento out-of-distribution — de contextos curtos para mais longos — e o papel de positional encodings. Questiona necessidade e design de encodings sob generalização de distância, com impacto em arquitetura de transformers de longo contexto. Relevante para harnesses de avaliação de context window e técnicas de RoPE/ALiBi. Abrir fonte

Why Does Post-Training Quantization Work?​

arXiv · 2609.11716v1 · 2026-09-10 Publicado em 2026-09-10T15:32:32Z, o paper formaliza por que quantização pós-treino comprime LLMs armazenando pesos em precisão reduzida e como cada peso quantizado introduz erro controlado. Analisa condições em que PTQ preserva qualidade, ligando teoria de quantização à prática de GPTQ/AWQ/INT4/INT8/FP8 usada em vLLM e llama.cpp. Contribuição direta para pipelines de inference eficiente e deployment. Abrir fonte

Structured Transforms for Low-Overhead Quantization of Language Models​

arXiv · 2609.11687v1 · 2026-09-10 Publicado em 2026-09-10T15:15:50Z, o trabalho revisita quantização via decomposição de Kashin e propõe algoritmo melhorado com convergência mais forte. Oferece transformações estruturadas que reduzem overhead de quantização mantendo perplexidade, útil para produção de GGUF e kernels de inference. Conecta o tema ao debate de PTQ do mesmo dia com abordagem complementar baseada em transforms. Abrir fonte

A Unified Per-Token Gating Family for On-Policy Distillation: FKL/RKL Mixing​

arXiv · 2609.11768v1 · 2026-09-10 Publicado em 2026-09-10T16:22:35Z, o paper unifica técnicas de gating per-token para losses forward/reverse KL em on-policy distillation (OPD). Propõe família com mixing FKL/RKL e coeficientes multi-channel e bias, superando métodos ad-hoc. Tem aplicação imediata em fine-tuning e destilação de LLMs para transferência de capabilities de teacher para student sem re-treino completo. Abrir fonte

RAG-Safety-Bench: Reliable Evaluation of Retrieval-Augmented LLM Safety​

arXiv · 2609.11758v1 · 2026-09-10 Publicado em 2026-09-10T16:12:25Z, o benchmark avalia segurança de LLMs com RAG: permitir recuperação de documentos confiáveis pode aumentar confiabilidade mas também introduzir vetores de jailbreak via contexto recuperado. Propõe harness de avaliação dedicado a RAG safety com métricas de robustez. Estende paradigmas de lm-eval-harness para cenários RAG, cobrindo groundedness e policy compliance. Abrir fonte

REVA: Reusable Evidence View Aggregation for Context-Efficient RAG Serving​

arXiv · 2609.11209v1 · 2026-09-10 Publicado em 2026-09-10T08:14:22Z, REVA melhora RAG ao reutilizar visões de evidência para serving eficiente em contexto. Condiciona geração em documentos recuperados mas evita recomputação de evidências compartilhadas across queries. Relevante para orquestração de inference com PagedAttention e KV cache reuse, similar a KVShareArena, focando throughput e latência sob carga RAG. Abrir fonte

SpecGuard: Inference-Time Backdoor Detection For Free​

arXiv · 2609.11799v1 · 2026-09-10 Publicado em 2026-09-10T16:51:59Z, o paper propõe detecção de backdoors em tempo de inference sem custo extra, para modelos fine-tunados ou baixados de terceiros que podem carregar comportamento oculto. A técnica opera durante decoding, útil para deployment terceirizado onde pesos não são totalmente confiáveis. Conecta segurança de fine-tuning e verificação de inference quantizado. Abrir fonte

Negative Self-Distillation: Learning to Reason by Avoiding Flaws​

arXiv · 2609.11699v1 · 2026-09-10 Publicado em 2026-09-10T15:24:17Z, o trabalho propõe paradigma On-Policy Self-Distillation negativo: modelo aprende a evitar falhas ao se destilar evitando trajetórias flawed. Alternativa a OPSD positivo, melhora reasoning sem teacher externo. Tem implicação para fine-tuning de reasoning models como DeepSeek V4.1 Flash e SWE-2, ambos lançados no mesmo dia. Abrir fonte

RetroThinker: Enabling Retrospective Thinking in Speech LLMs​

arXiv · 2609.11864v1 · 2026-09-10 Publicado em 2026-09-10T17:41:53Z, RetroThinker adiciona pensamento retrospectivo a Speech LLMs, reduzindo latência de cascata ASR+LLM e preservando nuances paralinguísticas perdidas em pipelines tradicionais. Propõe mecanismo de reconsideração que revisita hipóteses de speech com contexto LLM. Relevante para modelos de voz multimodais e serving de baja latência. Abrir fonte

Nuha-Speech: Building General-Purpose Arabic Speech-LLMs​

arXiv · 2609.11892v1 · 2026-09-10 Publicado em 2026-09-10T17:50:35Z, apresenta Nuha-Speech para fechar lacuna de árabe em Speech LLMs multilíngues. Constrói modelo general-purpose com dados e fine-tuning específicos para árabe, avaliando em benchmarks multilíngues. Demonstra expansão de cobertura linguística, ecoando requisito de 10 idiomas da newsletter, mas no lado de modelos de fala. Abrir fonte

Component-Aware Differential Privacy for Federated Multilingual Speech-LLMs​

arXiv · 2609.11762v1 · 2026-09-10 Publicado em 2026-09-10T16:17:19Z, propõe clipping de privacidade diferencial per-layer alocando orçamentos por matriz proporcionalmente para melhorar fidelidade de gradiente em federated learning de Speech-LLMs multilíngues. Mostra que DP component-aware preserva utilidade sob federação. Conecta privacidade, fine-tuning federado e infraestrutura de treino distribuído para LLMs de fala. Abrir fonte

Nota de cobertura: buscas nativas em 10 idiomas (pt, en, it, es, fr, de, ru, zh, ko, ja) focadas em harness/skills/modelos LLM, fine-tuning, quantização, inference, tokenizers e infraestrutura foram executadas. Nenhum release de lm-evaluation-harness com published em 2026-09-10 foi encontrado; verificação via API GitHub mostra último relevante anterior a D. Consultas em italiano (modelli LLM harness), espanhol (modelos LLM evaluación), francês (modèles LLM harness), alemão (LLM Modelle Evaluierung), russo (LLM модели оценка), chinês (大语言模型), coreano (LLM 모델 평가) e japonês (LLM モデル 評価) retornaram sem itens novos qualificados dentro de D, indicando lacuna de cobertura multilíngue real, não limite artificial. Das 50+ entradas arXiv com published em 2026-09-10, 12 foram curadas por aderência estrita a harnesses, quantization, distillation, inference e RAG serving; fontes sindicadas e páginas de busca sem data verificável foram descartadas.

Fontes​

vLLM v0.29.0 — Model Runner V2 padrão, Speculative Decoding e novos modelos​

GitHub · vllm-project/vllm · 2026-09-09 Release com 594 commits de 277 contribuidores torna Model Runner V2 (MRV2) o padrão para todos os modelos, com profiling de memória via CUDA graph para auto-sizing de KV cache, batch-sharded sampling que reduz memória de logits por 1/TP e despacho padded FULL cudagraph para decode uniforme sob spec decode. Adiciona modelos Hy4-preview (MoE 770B/49B-active com Gated DeepSeek Sparse Attention e MTP nativo), Qwen3.8-Flash-Next (BF16/FP8/NVFP4), GraniteSWA/GraniteMoeSWA e otimizações Kimi K3 e DeepSeek V4 (fused MXFP4 top-k, Triton single-launch para Mamba, GEMM-RS/AR, MLA gate fundido). Completa ainda métricas por requisição em spec decode, RL weight sync via sharded_rdt (NIXL/Ray Direct Transport) e prefix caching para Mamba com ganho de 9–25% em TTFT. Abrir fonte

Transformers v5.17.0 — Hugging Face​

GitHub · huggingface/transformers · 2026-09-09 Release v5.17.0 publicada em 2026-09-09T15:42:45Z no repositório huggingface/transformers, principal biblioteca de infraestrutura para carregamento, fine-tuning e inference de LLMs via AutoModel e pipelines. A série v5 concentra refatoração de backends, suporte a modelos recentes e compatibilidade com vLLM, GGUF e quantização para deployment em larga escala. A versão é referência direta para harnesses que avaliam modelos via transformers e para pipelines de treino/fine-tuning. Abrir fonte

llama.cpp b10883 — Vulkan: constante de especialização para mul_mat e shaders unificados​

GitHub · ggml-org/llama.cpp · 2026-09-09 Release b10883 publicada em 2026-09-09T17:29:28Z usa spec constants para tipo de multiplicação matriz-matriz (A-type) e consolida tabelas de shared memory, reduzindo tamanho de descriptor e corrigindo tipos ausentes como Q2_0. Remove quants LUT do shader unificado e restaura coopmat2, com impacto em throughput Vulkan para modelos quantizados GGUF. Disponibiliza binários para macOS, Linux, Windows, Vulkan, ROCm e CUDA. Abrir fonte

llama.cpp b10877 — CUDA: dimensionamento de tiles MMQ para MoE em RDNA3​

GitHub · ggml-org/llama.cpp · 2026-09-09 Release b10877 publicada em 2026-09-09T12:53:34Z ajusta dimensionamento de N-tiles de MoE MMQ a partir da largura típica de expert em RDNA3, escolhendo tamanho de tile no lado do host. Otimiza kernels quantizados MMQ para Mixture-of-Experts em GPUs AMD, afetando eficiência de inference com GGUF e offload híbrido. Mantém paridade de builds CUDA/HIP e suporte a modelos MoE de grande escala. Abrir fonte

llama.cpp b10876 — CUDA: controle granular de combinações FlashAttention quantizadas​

GitHub · ggml-org/llama.cpp · 2026-09-09 Release b10876 publicada em 2026-09-09T11:45:32Z substitui GGML_FA_ALL_QUANTS por GGML_FA_QUANTS para controle fino das combinações quantizadas compiladas em FlashAttention CUDA. Adiciona fallback em runtime com aviso quando combinação não foi compilada e atualiza docs/build.md. Reduz tamanho de binário e tempo de compilação, preservando aceleração para quants relevantes em inference de LLMs. Abrir fonte

llama.cpp b10871 — Vulkan: shader dedicado iq4_xs para mat-vec (+6–17% em RDNA4)​

GitHub · ggml-org/llama.cpp · 2026-09-09 Release b10871 publicada em 2026-09-09T07:17:51Z adiciona shader dedicado mul_mat_vec_iq4_xs para caminho dmmv, substituindo fallback genérico e elevando geração de tokens em 6–17% em RDNA4 conforme modelo. Remove branch morto de unroll n_it ≤ 8 onde [[unroll]] era ignorado por ser valor de runtime. Melhoria direta de inference quantizada GGUF em iGPU/dGPU Vulkan. Abrir fonte

IBM Granite Time Series PatchTST-FM-r2 — modelo foundation com licença comercial permissiva​

Hugging Face Blog · 2026-09-09 Publicado em 2026-09-09T15:36:24Z, o Hugging Face Blog anuncia o IBM Granite Time Series PatchTST-FM-r2 como foundation model SOTA para séries temporais, com pesos em licença comercial amigável. Embora focado em time series, o modelo segue paradigma de foundation model com patching e treinamento auto-supervisionado aplicável a pipelines de fine-tuning, avaliação e serving similares a LLMs, e amplia a coleção Granite em huggingface.co. Relevante para infraestrutura de modelos e catálogo Hugging Face. Abrir fonte

KVShareArena: KV-Cache Reuse Across Contexts and Model Checkpoints​

arXiv · 2026-09-09 Proposta de reuso de KV cache além do prefixo inicial, cobrindo cenários de RAG com chunks diferentes por query e coordenação multi-agente onde relatórios de agentes são lidos fora de ordem. Mostra que caches reusados carregam posições incorretas e limites de cache dependentes de checkpoint, e introduz técnicas para compartilhar KV across contextos e checkpoints sem recomputação total. Contribuição direta para inference serving (PagedAttention, prefix caching, KV quantization) em vLLM e SGLang. Abrir fonte

Maverick: Private and Verifiable LLM Inference via Matrix-Vector Delegation​

arXiv · 2026-09-09 Sistema para delegar multiplicação matriz-vetor de LLMs open-source a provedor third-party com privacidade de prompt e verificabilidade de correção, sem exigir execução local completa do modelo. Argumenta que LLMs open estão competitivos com fechados mas seu custo local empurra usuários a serviços que expõem inputs; Maverick formaliza protocolo de delegação com garantias criptográficas. Relevante para deployment seguro de inference quantizado e serving terceirizado. Abrir fonte

CompassOPD: Cross-Family On-Policy Distillation via Within-Family Likelihood Shifts​

arXiv · 2026-09-09 Investiga por que distilação on-policy (OPD) funciona forte intra-família mas degrada cross-family mesmo após alinhamento de tokenizer. Mostra que teacher externo mais forte adiciona pouco e diagnostica desalinhamento de likelihood, propondo CompassOPD que mede shifts de likelihood dentro da família do estudante para guiar a transferência cross-family. Oferece densas supervisões token-level em trajetórias geradas pelo estudante, com implicações para fine-tuning, distillation e construção de datasets de preferência. Abrir fonte

Forgetting Only What Matters: Layer-Selective Unlearning toward Robust LLMs​

arXiv · 2026-09-09 Aborda unlearning como alternativa a re-treino para remover conteúdo sensível ou com copyright memorizado, criticando updates amplos que degradam utilidade e falham sob mudanças de deployment como fine-tuning posterior. Propõe seleção de camadas críticas para esquecimento direcionado, melhorando robustez pós-treino. Estudo conecta fine-tuning, governança de dados e infraestrutura de treino para LLMs persistentes. Abrir fonte

Φ-Bench: Can Large Language Models Engineer the Infrastructure That Powers Them?​

arXiv · 2026-09-09 Benchmark Φ-Bench avalia se LLMs conseguem projetar e otimizar a própria infraestrutura — kernels, operadores e alvos de otimização — indo além de benchmarks de kernel isolado com alvos pré-definidos. Propõe tarefas de engenharia de infraestrutura end-to-end para medir capacidade de geração de código otimizado, tuning de performance e adaptação a hardware. Contribui para avaliação de harnesses de engenharia, auto-evolução de infraestrutura e métricas além de MMLU/HumanEval. Abrir fonte

ConvMem: Convolutional Memory for Long-Context Reasoning​

arXiv · 2026-09-09 Critica abordagens sequenciais como MemAgent que leem contexto longo em segmentos e atualizam memória de tamanho fixo com alta latência e custo de re-treino. Propõe ConvMem com memória convolucional para raciocínio de contexto extremamente longo, reduzindo latência de passagem sequencial e preservando informação via operação convolutiva sobre o histórico. Relevante para arquitetura de LLMs, gerenciamento de KV cache e harnesses de contexto longo. Abrir fonte

Active Adaptation, Not Static Defense: Temporal Dynamics of Preventative Steering in Adversarial Fine-Tuning​

arXiv · 2026-09-09 Analisa Preventative Steering — injeção de vetores de persona indesejável durante fine-tuning removidos na avaliação — para defesa contra fine-tuning malicioso que induz drift de persona. Mostra que a proteção não vem de defesa estática mas de adaptação ativa durante dinâmica temporal de otimização, revelando janelas críticas onde steering molda trajetória. Informa design de fine-tuning seguro e monitoramento de drift em pipelines de alinhamento. Abrir fonte

Contrastive Projection: Reading Transformer Internals by Differencing Logit Lenses​

arXiv · 2026-09-09 Observa que lentes logit em hidden states intermediários são dominadas por tokens genéricos que o modelo preveria para quase qualquer input, limitando confiança em leitura direta. Propõe subtrair estados de dois prompts pareados e projetar a diferença via unembedding, cancelando componente compartilhado e revelando sinal específico do contraste. Oferece ferramenta de interpretabilidade para auditoria de representações internas sem re-treino. Abrir fonte

A Dominant Diffuse Phase in the Sparse Autoencoder Phase Diagram​

arXiv · 2026-09-09 Estuda phase diagram de Sparse Autoencoders (SAEs) para recuperação de features interpretáveis, mostrando que co-ocorrência sistemática faz features distintas serem absorvidas ou fundidas. No problema aberto MAIS-O43, varia fração de nesting γ e penalidade de esparsidade para mapear transição entre recuperação fiel de dicionário sintético e merging. Caracteriza fase difusa dominante com implicações para interpretabilidade via SAEs e dicionário do Gemma Scope. Abrir fonte

Show-Harness: Just a VLM Agent Can Play Robots​

arXiv · 2026-09-09 Apresenta Show-Harness como embodied harness que permite a foundation VLMs controlar robôs via interface semântica compacta ligando intenção a ação por unidades de ação discretas razoáveis para o modelo. Enquanto o harness expõe semântica, o backend traduz para controle contínuo. Demonstra que harness bem projetado dispensa controlador especializado, estendendo paradigma de skills e orquestração de agentes para robótica vision-language. Abrir fonte

Fortunate Recall: Ontology-Driven Memory Lifecycle Management for Persistent Coherence in LLMs​

arXiv · 2026-09-09 Argumenta que sistemas de memória de LLMs tratam fatos pessoais identicamente, fazendo stores crescer sem limite e degradando precisão de retrieval. Fortunate Recall classifica fatos em taxonomia 10+1 de tipos comportamentais e aplica política composable de ciclo de vida — o que persiste, o que é substituído e em que taxa — condicionada ao tipo. Melhora coerência persistente e gestão de memória de harness para agentes de longo horizonte. Abrir fonte

What Should an Agent Forget? Separating What Is Stored from What Is Used — RD-Forget​

arXiv · 2026-09-09 Distingue armazenamento de uso: fato superado pode enganar resposta sobre estado atual mas ser essencial para query histórica. RD-Forget é framework training-free que mantém arquivo fonte retido preservando observações, enquanto cada resposta usa evidência filtrada por relevância à pergunta. Separa o que o agente armazena do que injeta no contexto, melhorando factualidade sem apagar história, com impacto em gerenciamento de memória externa e KV cache de harnesses. Abrir fonte

PACE: Perceived-Latency-Aware Cascading Service Routing and Filler Control for RAG Dialogue Serving​

arXiv · 2026-09-09 Formaliza Perceived Time-to-First-Response (PTFR) como objetivo de QoE para serving de diálogo com recuperação aumentada e minimiza-o sob restrições de qualidade/custo. Ao contrário de routing em cascata, cache semântico ou recuperação adaptativa isolados, PACE controla conjuntamente qual fonte compõe a resposta e o que preenche a janela de espera. Implementado em humanoide, demonstra orquestração de inference com trade-off latência-qualidade para serviços conversacionais. Abrir fonte

Epoch: Compiling Diffusion Blocks for Sparse MoE Serving​

arXiv · 2026-09-09 Observa que diffusion language models refinam bloco de tamanho fixo por múltiplas passadas, desalinhado da unidade por forward usada em serving denso de MoE que reconstrói roteamento similar a cada passo. Epoch compila blocos de difusão para serving MoE esparso: evita recomputar expert outputs para posições já com logits estáveis e reutiliza estrutura de roteamento. Contribuição para orquestração de inference, compilação e serving eficiente de arquiteturas não-autoregressivas. Abrir fonte

Avatar: Toward Autonomous End-to-End Orchestration of Scientific Workflows using LLMs​

arXiv · 2026-09-09 Propõe Avatar para orquestração autônoma end-to-end de workflows científicos usando LLMs, cobrindo planejamento, execução e adaptação de DAGs de tarefas com ferramentas e dados. Estende ideia de skills e harnesses para orquestração multi-agente em ciência, onde LLM compila e depura pipeline experimental. Relevante para agentes com uso de ferramentas, protocolos MCP/A2A e automação de workflows. Abrir fonte

Elastoformer: Enabling Dynamic Adaptivity via Elastic Model Transformation​

arXiv · 2026-09-09 Alvo é EdgeAI com restrições dinâmicas de latência, energia e memória, onde DNNs de fluxo fixo falham em adaptar-se. Elastoformer permite transformação elástica do modelo para ajustar computação à condição operacional em tempo real, preservando qualidade sob compressão elástica. Conecta arquitetura de modelos, quantização dinâmica e inference adaptativo para transformers em dispositivos de borda. Abrir fonte

Nota de cobertura: buscas nativas em 10 idiomas (pt, en, it, es, fr, de, ru, zh, ko, ja) focadas em harnesses, skills, fine-tuning, quantização e inference foram executadas. Nenhum release de lm-evaluation-harness com data em 2026-09-09 foi encontrado (último v0.4.13 de 2026-08-31). Releases adicionais de llama.cpp em 2026-09-09 (b10878 corrige tipo de retorno de sampler, b10875 deprecia flags --mmap/--mlock/--dio, b10874 corrige contagem de parâmetros Granite MoE, b10873 propaga video ID em mtmd, b10872 corrige template Jinja) foram agrupados por similaridade — quatro releases representativos foram curados. Fontes sindicadas, guias evergreen sem data verificável em D e papers fora do escopo LLM (time-series clássico, visão pura, quântico) foram descartados. Das 136 entradas arXiv com published em D, 16 foram curadas por aderência a harnesses, agentes, fine-tuning, quantização, inference e interpretabilidade.

Fontes​

Scaling Large Language Model Inference: Insights and Optimizations​

Frank's World of Data Science & AI · 2026-09-08 Workshop com Harshul Jain (Audible) e Tanmay Sah detalha custos de inference em escala: cache KV de 131 KB/token no Mistral 7B exige ~42 GB para 16k tokens e 80 usuários concorrentes. Aborda otimizações de modelo (quantização, multi-head/multi-query attention, flash attention, tiling) e de serving (PagedAttention, continuous batching, prefix caching, KV quantization), com comparação empírica vLLM vs SGLang — diferença desprezível em carga padrão, mas vLLM mais adaptável em branching agêntico. Disponibiliza notebooks e slides com GPU gratuita para reprodução. Abrir fonte

REAL-Q: Quantização End-to-End com Gradiente Dinâmico por Blocos​

SimoLM (思陌智能) · 2026-09-08 Análise do paper REAL-Q (arXiv:2609.00049, Qian Zhang et al.) propõe substituir solução fechada de segunda ordem por gradiente dinâmico por blocos de 128 colunas com Adam e janela deslizante. Em W4A16, reduz KL divergência end-to-end em até 49% (Qwen3-1.7B: 11,9→6,07; Qwen3-4B: 9,50→5,44) e em W2A16 eleva acurácia média do Qwen3-8B a 49,28. Demonstra que ativação consciente é obrigatória em W2A4KV4 e que bloco menor (128 vs 512) é o hiperparâmetro mais sensível para evitar acúmulo de erro entre camadas. Abrir fonte

llama.cpp b10867 — desativa lazy loading em iGPUs​

GitHub · ggml-org/llama.cpp · 2026-09-08 Release b10867 publicada em 2026-09-08T17:31:06Z desativa por padrão o lazy tensor loading em iGPUs (#28326), revertendo regressão de modo AUTO. A mudança estabiliza carregamento de tensores em GPUs integradas mantendo modo AUTO para demais backends, com impacto direto em throughput e compatibilidade de GGUF em dispositivos com iGPU. Inclui binários assinados para macOS, Linux, Windows, Vulkan, ROCm e CUDA. Abrir fonte

llama.cpp b10865 — revert de prop.integrated em builds HIP​

GitHub · ggml-org/llama.cpp · 2026-09-08 Release b10865 publicada em 2026-09-08T15:11:37Z reverte commit c7d8722 que restaurava prop.integrated em builds HIP (#28604). Corrige detecção de GPU integrada em backend ggml-cuda/HIP, evitando classificação incorreta de hardware AMD e efeitos em otimizações de kernel quantizado. Mantém paridade de binários GGUF para ROCm e HIP. Abrir fonte

llama.cpp b10864 — evicção de checkpoint para modelos híbridos/recorrentes​

GitHub · ggml-org/llama.cpp · 2026-09-08 Release b10864 publicada em 2026-09-08T14:31:22Z corrige create_checkpoint() para aplicar evicção por min-step apenas quando a lista atinge n_ctx_checkpoints (#28302). Antes, prompts curtos perdiam o checkpoint em n_tokens-4 e forçavam re-prefill desde checkpoint anterior em modelos híbridos/recorrentes. A correção preserva continuidade de contexto e reduz latência de retomada em serving com checkpoints espaçados. Abrir fonte

Procedural Graphs: Self-Evolving Execution Structures for LLM Agents​

arXiv · 2026-09-08 Propõe Procedural Graph que organiza conhecimento procedural em tripletos (procedure, relation, procedure), análogo a knowledge graphs para who-is. A cada passo, o agente localiza nó ativo e um guia impõe ordem, condições e dependências, evitando perda de objetivo e invocação fora de ordem em trajetórias longas. Contribuição direta para harnesses, orquestração de skills e estruturas de execução evolutivas em agentes LLM. Abrir fonte

Co-Evolving Harnesses and Models: On-Policy Correction Helps Weaker Models Catch Up​

arXiv · 2026-09-08 Estuda combinação de evolução de harness com fine-tuning leve: evoluir harness com modelo fraco permite que modelo forte o use melhor, mas treinar o fraco em trajetórias completas do expert degrada desempenho em 7/7 tarefas (-4%+). Introduz correção on-policy que alinha apenas passos onde o fraco diverge, permitindo que modelo fraco recupere gap sem imitação cega. Relevante para harnesses, distillation e orquestração custo-eficiente em tarefas enterprise. Abrir fonte

SkillAdam: Stable and Efficient Skill Evolution for Agents​

arXiv · 2026-09-08 Diagnostica instabilidade em evolução auto-supervisionada de skills e propõe SkillAdam com estabilidade de direção (acúmulo de correções sem sobrescrita) e adaptatividade de update (escopo proporcional à consistência de ganhos recentes). O otimizador simula momento adaptativo para revisões textuais, elevando eficiência de iteração sem custo de fine-tuning do backbone. Aplicável a harnesses que mantêm banco de skills editáveis em tempo de inferência. Abrir fonte

Experience Funnel: A State-Policy Alternating Loop for Self-Evolving Agents​

arXiv · 2026-09-08 Framework que acopla adaptação rápida de estado textual (skills, harnesses) com consolidação lenta de política paramétrica em loop alternante. Experiência acumulada é destilada de interações para competência reusável sem depender perpetuamente de contexto externo, equilibrando adaptatividade imediata e compactação de conhecimento. Aborda dilema central de evolução de agentes: transformar experiência abundante e específica em policy generalizável. Abrir fonte

Closing the Consistency Gap: Self-Evolving Agents That Learn to Stay on Course​

arXiv · 2026-09-08 Quantifica consistency gap: agente ReAct com GPT-4.1 atinge 77% pass@1 no AppWorld mas apenas 53% de sucesso em 5/5 execuções. Propõe analyzer que identifica passos instáveis e converte falhas em memória episódica reutilizável, reduzindo variância inter-execução sem re-treino. Relevante para deployment confiável de agentes de longo horizonte e harnesses com avaliação de estabilidade além de acurácia média. Abrir fonte

MeClear: Cooperative Game-Theoretic Attribution and Risk-Aware Memory Clearance​

arXiv · 2026-09-08 Framework de limpeza de memória externa para agentes long-horizon que combina triagem Leave-One-Out com atribuição Shapley amostrada para detectar memórias com utilidade downstream negativa. Suprime seletivamente evidências obsoletas ou conflitantes que retrieval por similaridade semântica erroneamente injeta no contexto. Melhora preservação de preferências e robustez em interações estendidas, com implicações para gerenciamento de KV cache e memória de harness. Abrir fonte

ToolLoop: Closed-Loop Tool-Use Data Synthesis via Decomposed Generation​

arXiv · 2026-09-08 Substitui paradigma generate-then-filter por generate-verify-refine em três estágios: amostragem de combinações de funções como ground truth, derivação backward de queries e derivação forward de tool calls com self-feedback dinâmico. No BFCL, modelo 4B treinado com dados ToolLoop supera baselines de síntese estática em distribuição de features e eficiência de filtragem. Contribuição para fine-tuning e infraestrutura de treino de tool-use. Abrir fonte

It's Not RoPE that Creates Sinks: The Role of Self-Concentration and Value-Non-Mixing​

arXiv · 2026-09-08 Demonstra que attention sinks e massive activations na posição inicial decorrem de self-concentration induzida por máscara causal e Value-non-mixing, não de RoPE. Os achados explicam degradação em quantização low-bit causada por MAs e oferecem direção para estratégias de quantização conscientes de ativação e design de attention mais estável. Estudo une interpretabilidade, arquitetura e otimização de inference. Abrir fonte

A Note on Scaling in Randomly Rotated Quantization and Its Connection to CDEF​

arXiv · 2026-09-08 Estabelece ponte entre scalings MMSE e unbiased em quantização por rotação aleatória e teoria clássica CDEF, mostrando que relação CDEF+1 vale pointwise como identidade pitagórica por realização, mas não após média sobre rotações. Clarifica fundamentos de Wiener vs unbiased reconstruction em esquemas EDEN-like, com impacto em quantização PTQ e compressão com rotação randomizada para LLMs. Abrir fonte

SAEScientist-Bench: Can AI Agents Conduct Autonomous SAE Interpretability Research?​

arXiv · 2026-09-08 Benchmark que avalia se agentes podem atuar como cientistas usando SAEs para descoberta mecanística autônoma, navegando dicionário Gemma Scope com 131k+ features em Gemma-2-9B-IT para encontrar feature ótima para conceito alvo via sondas contrastivas. Sistematiza avaliação de interpretabilidade post-hoc como pilar faltante de self-improvement recursivo além de pipelines de treino. Relevante para interpretabilidade, tokenizers esparsos e auditoria de alinhamento. Abrir fonte

Nota de cobertura: buscas nativas em 10 idiomas (pt, en, it, es, fr, de, ru, zh, ko, ja) em harnesses, fine-tuning, quantização e inference foram executadas. Nenhum release de lm-evaluation-harness, vLLM ou publicação do Hugging Face Blog com data verificável em 2026-09-08 foi encontrado — vLLM v0.29.0 é de 2026-09-09T08:54Z, fora da janela D (00:00–23:59 BRT 2026-09-08). Fontes sindicadas e guias evergreen sem data em D foram descartadas. Das ~100 entradas arXiv de 2026-09-08 em cs.CL/cs.LG/cs.AI, 15 acima foram curadas por aderência a harnesses, skills, agentes, fine-tuning, quantização, inference e interpretabilidade.

Fontes​

Understanding W8A8 INT8 LLM quantization: Half the size, better performance, same accuracy​

Red Hat Developer · Sana Fayyaz · 2026-09-07 Artigo publicado em 2026-09-07 às 07:01 UTC explica quantização W8A8 INT8 com SmoothQuant + GPTQ via LLM Compressor, demonstrando redução de 46% de VRAM em Llama 3.1 8B (15 GB em BF16) sem perda de acurácia. Detalha pipeline de compressão, benchmarking de precisão e performance sob mesmo serving/vLLM, com comparação lado a lado antes e depois da compressão. Relevante para escolha de precisão, planejamento de serving quantizado e redução de custo de inference em GPUs. Abrir fonte

llama.cpp b10852 — ops RELU e LEAKY_RELU no backend Hexagon​

GitHub · ggml-org/llama.cpp · 2026-09-07 Release b10852 publicada em 2026-09-07 às 21:40 BRT (2026-09-08T00:40:49Z) adiciona operações RELU e LEAKY_RELU ao backend Hexagon (#28585). A mudança expande cobertura de fusão e inferência em DSPs Hexagon para modelos que usam ativações RELU variantes, com impacto em throughput em dispositivos edge. Mantém compatibilidade de GGUF e pipeline de inference via llama.cpp. Abrir fonte

llama.cpp b10850 — inicialização de array L2_NORM em testes​

GitHub · ggml-org/llama.cpp · 2026-09-07 Release b10850 publicada em 2026-09-07 às 17:03 BRT (2026-09-07T20:03:47Z) corrige inicialização do array batch de L2_NORM em testes (#28553). O fix vincula o contador de batch a variável local e adiciona inicializador exigido pelo GCC 12 em builds Release aarch64, evitando warning maybe-uninitialized tratado como erro. Melhora reprodutibilidade de CI e harnesses de avaliação que compilam llama.cpp com warnings fatais. Abrir fonte

llama.cpp b10844 — ops fundidas de hyper-connection DeepSeek-V4 no Vulkan​

GitHub · ggml-org/llama.cpp · 2026-09-07 Release b10844 publicada em 2026-09-07 às 16:28 BRT (2026-09-07T19:28:41Z) adiciona ops fundidas DSV4_HC_COMB/PRE/POST para DeepSeek-V4 no backend Vulkan (#26578). Vulkan era o último backend sem fusão da cadeia Sinkhorn; o novo kernel executa 20 iterações em registradores com matriz 4x4 em 16 lanes via subgroupShuffleXor, substituindo ~16k dispatches por token. Na prática, a cadeia comb não fundida representava ~32% do tempo de decode em gfx1151 (Strix Halo), com ganho direto em tokens/s para serving de DeepSeek-V4. Abrir fonte

llama.cpp b10842 — suporte HIP gfx90c no ggml​

GitHub · ggml-org/llama.cpp · 2026-09-07 Release b10842 publicada em 2026-09-07 às 15:13 BRT (2026-09-07T18:13:50Z) adiciona suporte HIP gfx90c ao ggml (#26454). A implementação torna o backend HIP compatível com especificações gfx90c, ampliando cobertura de GPUs AMD para inference quantizada via llama.cpp. Relevante para deployment em hardware AMD com backend HIP e harnesses que validam execução em múltiplos aceleradores. Abrir fonte

llama.cpp b10840 — unpack branchless Q4_K/Q5_K em CUDA e prefetch L2 no DGX Spark​

GitHub · ggml-org/llama.cpp · 2026-09-07 Release b10840 publicada em 2026-09-07 às 11:31 BRT (2026-09-07T14:31:44Z) otimiza CUDA com unpack branchless para Q4_K/Q5_K em mmvq e prefetch L2 no DGX Spark (#26705). O unpack branchless evita reexecução de scale por coluna em batches >1, enquanto o prefetch é gated para Spark. O ganho é mensurável em batches médios e serving de alta vazão com quantizações K-quants, mantendo compatibilidade de GGUF. Abrir fonte

llama.cpp b10839 — suporte a GET_ROWS com alinhamento de tipo no Vulkan​

GitHub · ggml-org/llama.cpp · 2026-09-07 Release b10839 publicada em 2026-09-07 às 08:14 BRT (2026-09-07T11:14:21Z) corrige GET_ROWS no Vulkan para offsets desalinhados em relação a minStorageBufferOffsetAlignment (#28253). Antes o shader Vulkan assertava e causava crash em modelos que usam ggml_view + ggml_get_rows (ex: Qwen3-TTS, Qwen3-VL); agora há fallback para CPU quando desalinhado. Corrige estabilidade de inference multimodal e TTS em GPUs Vulkan. Abrir fonte

llama.cpp b10837 — rechecagem de conteúdo tipado em templates caps​

GitHub · ggml-org/llama.cpp · 2026-09-07 Release b10837 publicada em 2026-09-07 às 05:35 BRT (2026-09-07T08:35:42Z) ajusta caps para rechecar conteúdo tipado quando template verifica string (#28511). O fix melhora corretude de chat templates e structured output que inspecionam tipos de conteúdo, evitando falso-negativo em skills agentivas que usam templates Jinja2. Impacta harnesses que validam formatação de prompts via chat templates do llama.cpp. Abrir fonte

llama.cpp b10835 — correção de barreira divergente em FlashAttention f16 no CUDA​

GitHub · ggml-org/llama.cpp · 2026-09-07 Release b10835 publicada em 2026-09-07 às 05:08 BRT (2026-09-07T08:08:50Z) corrige barreira divergente em FlashAttention f16 no backend CUDA (#27870). O patch elimina divergência de barrier entre warps e remove setup duplicado de ponteiro de metadados, estabilizando kernels de atenção em precisa o f16. Relevante para correctness e determinismo em inference com batch e contexto longo em GPUs NVIDIA. Abrir fonte

llama.cpp b10834 — permitir inputs de backend sem criar novo split​

GitHub · ggml-org/llama.cpp · 2026-09-07 Release b10834 publicada em 2026-09-07 às 04:18 BRT (2026-09-07T07:18:38Z) permite que inputs de backend não criem split adicional em ggml (#28387). A mudança reduz fragmentação de grafos de execução e overhead de scheduling quando múltiplos backends compartilham tensores, melhorando eficiência de offload híbrido. Útil para serving multi-GPU/multi-backend e harnesses que medem latência de pipelines distribuídos. Abrir fonte

llama.cpp b10833 — fusão RMS_NORM no Vulkan​

GitHub · ggml-org/llama.cpp · 2026-09-07 Release b10833 publicada em 2026-09-07 às 03:49 BRT (2026-09-07T06:49:18Z) adiciona fusões RMS_NORM + MUL + ADD (+ MUL) e RMS_NORM + VIEW + SET_ROWS no Vulkan, estendendo ROPE + VIEW + SET_ROWS para IMROPE (#28024). As fusões reduzem dispatches e acesso a memória em blocos de normalização frequentes, com ganho de ~4% em Gemma 4 no sistema de teste do autor. Melhora throughput de decode em modelos com RMSNorm sob backend Vulkan. Abrir fonte

llama.cpp b10831 — suporte TQ1_0 no Vulkan (mm, mat-vec, dequant, get_rows)​

GitHub · ggml-org/llama.cpp · 2026-09-07 Release b10831 publicada em 2026-09-07 às 02:20 BRT (2026-09-07T05:20:07Z) adiciona suporte a quantização TQ1_0 no Vulkan para mm, mat-vec, dequant e get_rows (#27765). A implementação empacota potências ternárias em constante 32-bit (7 bits por entrada, máx 81) extraída via shift/mask, evitando array de constantes fora de registradores. Expande cobertura de GGUF ternário e acelera inference quantizada extrema em GPUs Vulkan. Abrir fonte

Nota de cobertura: varredura em 10 idiomas (pt/en/it/es/fr/de/ru/zh/ko/ja) focada em harness/skills/modelos LLM (lm-eval-harness, vLLM, llama.cpp, fine-tuning, quantização, inference, papers de arquitetura). D=2026-09-07 foi segunda-feira com janela BRT 00:00–23:59 (03:00 UTC 2026-09-07 a 03:00 UTC 2026-09-08). Nenhum release de vLLM ou lm-evaluation-harness e nenhum paper em arXiv cs.CL/cs.LG/cs.AI com data verificável em D foi localizado na janela; Hugging Face Blog não teve postagem qualificada em D dentro do escopo LLM (único post do dia foi dataset de ruído para speech em 58 línguas indianas, fora de harness/LLM). Nenhum vídeo ou post social com data verificável em D foi localizado.

Fontes​

TurboQuant Quantization Explained​

Hugging Face Blog · Tarun Jain (lucifertrj) · 2026-09-06 Artigo técnico publicado em 2026-09-06 explica o método TurboQuant para quantização de LLMs, detalhando trade-offs entre precisão, throughput e VRAM em pipelines de inference. O autor compara estratégias de quantização vetorial e escalar e indica quando usar cada nível para serving com vLLM e llama.cpp/GGUF. Relevante para escolha de precisão e planejamento de deployment quantizado sem re-treino. Abrir fonte

llama.cpp b10830 — flag --fuse-qkv na conversão HF para GGUF​

GitHub · ggml-org/llama.cpp · 2026-09-06 Release b10830 publicada em 2026-09-06 às 23:29 UTC adiciona flag --fuse-qkv para fundir Q/K/V em QKV durante conversão HF-to-GGUF (#22780). A fusão reduz overhead de projeção e simplifica checkpoints para modelos com atenção agrupada, com impacto direto em tamanho de GGUF e velocidade de load. Compatível com harnesses que consomem GGUF via llama.cpp. Abrir fonte

llama.cpp b10829 — correção de normalização GDN de max para rsqrt​

GitHub · ggml-org/llama.cpp · 2026-09-06 Release b10829 publicada em 2026-09-06 às 23:04 UTC corrige normalização Gated DeltaNet (GDN) de max para rsqrt (#28068). A implementação passa a usar l2norm(x) = x * rsqrt(sum(x*x) + eps) conforme flash-linear-attention, substituindo ggml_l2_norm que usava max(sqrt(sum), eps). Corrige divergência numérica em modelos GDN e afeta inferência e fine-tuning de arquiteturas com DeltaNet. Abrir fonte

llama.cpp b10828 — suporte ao modelo Spark2_5ForCausalLM​

GitHub · ggml-org/llama.cpp · 2026-09-06 Release b10828 publicada em 2026-09-06 às 22:08 UTC adiciona implementação de Spark2_5ForCausalLM (#27868). Renomeia Spark3 para Spark2.5 e inclui co-autoria Hugging Face, ampliando cobertura de arquiteturas causais servidas via llama.cpp. Relevante para inferência local e avaliação de novos checkpoints causais em GGUF. Abrir fonte

llama.cpp b10827 — correção de pack de pesos q4_K/q5_K no backend OpenCL​

GitHub · ggml-org/llama.cpp · 2026-09-06 Release b10827 publicada em 2026-09-06 às 20:50 UTC corrige escolha de pack de pesos para q4_K e q5_K em mul_mat no backend OpenCL (#28402). O fix evita caminho de computação incorreto em quantizações K-quants sob OpenCL, melhorando corretude e throughput em GPUs que usam esse backend. Impacta serving quantizado com llama.cpp em hardware OpenCL. Abrir fonte

llama.cpp b10826 — correção de corridas em mmid/mmmf no backend CUDA​

GitHub · ggml-org/llama.cpp · 2026-09-06 Release b10826 publicada em 2026-09-06 às 16:40 UTC corrige condições de corrida em mmid e mmf no backend CUDA (#28475). O patch estabiliza kernels de multiplicação de matriz em batches médios sob CUDA, reduzindo nondeterminismo e falhas intermitentes em inference com batch. Relevante para serving de alta vazão com vLLM/llama.cpp em GPUs NVIDIA. Abrir fonte

llama.cpp b10825 — correção de limite máximo de repetição em gramática​

GitHub · ggml-org/llama.cpp · 2026-09-06 Release b10825 publicada em 2026-09-06 às 13:22 UTC corrige threshold de repetição máxima em gramáticas (#28469). O ajuste evita rejeição prematura de padrões repetitivos em constrained decoding e melhora robustez de skills que usam GBNF/gramática para structured output. Útil para harnesses agentivos com saída JSON guiada por gramática. Abrir fonte

llama.cpp b10823 — flag --log-jsonl para log estruturado​

GitHub · ggml-org/llama.cpp · 2026-09-06 Release b10823 publicada em 2026-09-06 às 11:57 UTC adiciona flag --log-jsonl para saída de logs em JSON Lines (#28437). A opção facilita ingestão por observabilidade e harnesses de avaliação que parseiam logs de inference em pipelines. Inclui renomeação de unknown para none em opções de log, sem quebra de compatibilidade de GGUF. Abrir fonte

llama.cpp b10822 — assets de UI embarcados diretamente via CMake​

GitHub · ggml-org/llama.cpp · 2026-09-06 Release b10822 publicada em 2026-09-06 às 11:30 UTC embarca assets de UI diretamente via CMake, removendo helper C++ de build e dependência externa de gzip (#28445). Simplifica cross-compilation e mantém templates C++ legíveis com UI totalmente embarcada. Melhora reprodutibilidade de builds para serving local e distribuição de binários. Abrir fonte

llama.cpp b10821 — tunings fa-vec restantes para M2 Max no backend Metal​

GitHub · ggml-org/llama.cpp · 2026-09-06 Release b10821 publicada em 2026-09-06 às 09:58 UTC adiciona tunings vetoriais FA restantes para M2 Max no backend Metal (#28458). Otimiza kernels de FlashAttention vetorizados em Apple Silicon M2 Max, elevando tokens/s em inference local. Relevante para deployment quantizado em macOS com llama.cpp e eval harnesses que usam Metal. Abrir fonte

Nota de cobertura: varredura em 10 idiomas (pt/en/it/es/fr/de/ru/zh/ko/ja) em arXiv, Hugging Face, GitHub e web geral. D=2026-09-06 foi domingo sem listagem nova em arXiv cs.CL/cs.LG/cs.AI (próxima listagem 2026-09-07); nenhum release vLLM ou lm-evaluation-harness em D; buscas multilíngues focadas em harness/skills/modelos não retornaram itens adicionais qualificados dentro da janela D 00:00–23:59 BRT. Nenhum video ou post social com data verificável em D foi localizado.

Fontes​

Building and serving local LLM models with llama.cpp​

Kev's Development Toolbox · 2026-09-05 Tutorial prático publicado em 2026-09-05 mostra como compilar llama.cpp com suporte a CUDA, configurar CUDACXX e servir modelos locais GGUF via llama-cli. O autor compara flexibilidade e velocidade do llama.cpp frente ao Ollama e detalha erros comuns ao tentar reutilizar modelos do Ollama sem conversão para GGUF. Conteúdo útil para engenharia de inference local e integração com harnesses vLLM/llama.cpp. Abrir fonte

Quantization and LLM Accuracy in Scientific Data Extraction​

IntuitionLabs · 2026-09-05 Análise de 2026 publicada em 2026-09-05 revisa estudos revisados por pares sobre impacto de quantização INT8, FP8 e INT4 na acurácia de LLMs em extração de dados científicos. Conclui que FP8 e INT8 bem calibrados são candidatos viáveis ao lado de precisão total, enquanto INT4 exige validação por tarefa e modelo. Aponta raciocínio numérico e multi-step como modos de falha críticos, com implicações diretas para escolha de precisão em pipelines de inference com vLLM e llama.cpp. Abrir fonte

Qwen3.8-Flash-Next: Architecture, Memory & Inference Guide​

IntuitionLabs · 2026-09-05 Guia técnico publicado em 2026-09-05 destrincha a arquitetura híbrida do Qwen3.8-Flash-Next — prévia experimental da família Qwen4 com 48 camadas alternando Gated DeltaNet e Qwen Sparse Attention e MoE a cada bloco. Detalha exigências de VRAM, checkpoint FP8, offload da tabela de n-gramas de 51B parâmetros para RAM e comandos de deploy. Essencial para planejamento de memória e serving com vLLM, SGLang e quantização GGUF. Abrir fonte

llama.cpp b10819 — correção de vazamento de memória no backend Metal​

GitHub · ggml-org/llama.cpp · 2026-09-05 Release b10819 do llama.cpp corrige vazamento de memória no backend Metal em retorno antecipado, afetando inferência local em Apple Silicon. Publicado em 2026-09-05 às 10:36 UTC, o binário cobre macOS, Linux, Windows, iOS e Android com variantes CUDA, Vulkan, ROCm e OpenVINO. O release manterá compatibilidade com formatos GGUF e harnesses de avaliação que usam llama.cpp como backend, sendo relevante para serving local e benchmarking de quantização. Abrir fonte

Nota de cobertura: varredura em 10 idiomas (pt/en/it/es/fr/de/ru/zh/ko/ja) em arXiv, Hugging Face, GitHub e web geral. Nenhum paper novo em cs.CL/cs.LG/cs.AI com data 2026-09-05 BRT foi anunciado até o fechamento (arXiv/HF ainda em 2026-09-03–04). Nenhum release vLLM em 2026-09-05; busca multilíngue não retornou itens adicionais qualificados dentro da janela D 00:00–23:59 BRT. Fontes paywalled (SOKOSOKO LIGHT Daily LLM Radar 2026-09-05, 02:37 UTC) foram excluídas por estarem fora da janela BRT estrita e por acesso restrito.

Fontes​

Where Does Harness-Optimization Value Live? Localized Gains and the Budget-Splitting Trap in Self-Evolving LLM Agents​

arXiv · 2026-09-04 Decompõe o harness de agente em quatro slots evolvíveis — role, task-strategy, tool/format-rules e reflection/control — via HARNESSEVO e mede contribuição de cada um com atribuição leave-one-in/out sob orçamento fixo. Em ALFWorld com backbone 7B congelado, o ganho não vem distribuído e dividir orçamento entre slots cria armadilha orçamentária. Relevante para engenharia de harnesses auto-evolutivos e orquestração de agentes. Abrir fonte

Margins, Not Windows: Training-Free Per-Step Lossy Speculative Decoding​

arXiv · 2026-09-04 Propõe AdaptiveSpec, decodificação especulativa sem treino que adapta por passo tanto a regra de verificação quanto a forma da árvore de draft a partir de sinais internos já produzidos. Substitui janela fixa por regra de margem baseada em razão de probabilidades target/top-1, sem depender de comprimento de draft ou arquitetura de drafter. Mostra ganhos de latência sem re-treino, direto para inference eficiente com vLLM/llama.cpp. Abrir fonte

Contamination Inflates Scores but Rarely Reorders Large Language Model Leaderboards​

arXiv · 2026-09-04 Recasta contaminação como violação de invariância de itens âncora e mede via funcionamento diferencial entre itens originais e paráfrases semanticamente equivalentes. Com respostas per-instância de 47 modelos públicos e 74 finetunados com dose conhecida em ARC, GSM8K, HellaSwag e MMLU, calibra detecção e mostra que inflação absoluta raramente reordena rankings. Implicações para lm-evaluation-harness e metodologia de leaderboards. Abrir fonte

Judging LLM-as-a-Judge: Concerning Rubric Artifacts in LLM-based Automated Text Generation Evaluation​

arXiv · 2026-09-04 Demonstra que classificadores treinados apenas no texto da rubrica, sem ver a resposta avaliada, já predizem parcialmente saídas de juízes LLM. Perturbações contrafactuais mostram que juízes frequentemente não atualizam decisões quando resposta ou critério é invertido. Alerta para harnesses de avaliação automática e necessidade de protocolos livres de artefatos de rubrica. Abrir fonte

Modern Transformers Are Implicit Hybrids: From Functional Differentiation to Principled Hybrid Architecture Design​

arXiv · 2026-09-04 Propõe RFIS e RPD para mapear heads para retrieval vs. posicional em Transformers com RoPE, revelando banda mid-low como fronteira (GPBand) ligada à escala posicional de treino. Mostra que diferenciação funcional sugere alocação principiológica entre Full Attention e Linear Attention em híbridos. Avanço em arquitetura e infraestrutura de treino de modelos. Abrir fonte

Verify Before You Distill: Prompt-Level Teacher Gating for On-Policy Distillation​

arXiv · 2026-09-04 Introduz gating por prompt que verifica professor antes de destilar on-policy, evitando propagar alucinações em self-distillation. Filtra prompts onde professor falha contra verificadores, melhorando estabilidade e qualidade do estudante. Relevante para pipelines de destilação e orquestração de treino. Abrir fonte

You Can't Escape Your Own Activations: Evaluation Awareness and Multi-Agent Monitoring​

arXiv · 2026-09-04 Investiga awareness de avaliação em LLMs: modelos detectam que estão sendo testados via próprias ativações e alteram comportamento, afetando monitoramento multi-agente. Propõe mitigação e métricas para harness de avaliação sob influência de auto-detecção. Importante para harnesses de safety e observabilidade. Abrir fonte

SHELF: A Synthetic Harness for Multi-Task Bibliographic Benchmarking​

arXiv · 2026-09-04 Apresenta SHELF, harness sintético para benchmarking bibliográfico multi-tarefa com geração controlada de documentos e queries. Permite avaliações reproduzíveis de RAG e agentes com supervisão automática, sem depender de corpora proprietários. Útil como harness de avaliação para retrieval e agentes. Abrir fonte

LeanStream: A Speculate-and-Refine Streaming Framework for Efficient on-Device LLM Inference​

arXiv · 2026-09-04 Propõe framework streaming speculate-and-refine para inferência eficiente on-device, reduzindo latência e memória em dispositivos com recursos limitados. Combina drafting leve e refinamento incremental compatível com GGUF/llama.cpp. Avanço em quantização e serving em edge. Abrir fonte

Routing Is Not Enough: Diagnosing Intra-Adapter Subspace Contention in MoE+LoRA Fine-Tuning​

arXiv · 2026-09-04 Diagnostica contenção de subespaço intra-adapter em fine-tuning MoE+LoRA, onde especialistas colidem dentro do mesmo adapter apesar de roteamento. Propõe análise espectral e estratégia de desacoplamento que restaura ganhos de especialização. Relevante para fine-tuning eficiente e quantização de adapters. Abrir fonte

BASP: Communication-Efficient Batch-Aware Sequence Parallelism for LLM Training​

arXiv · 2026-09-04 Apresenta BASP, paralelismo de sequência ciente de batch que reduz comunicação em treino de LLMs longos via particionamento hierárquico. Mantém eficiência de throughput em escala multi-GPU com menor overhead de sincronização. Contribuição em infraestrutura de treino. Abrir fonte

Speculative Macro Commit for Faster Tool-Using Agents​

arXiv · 2026-09-04 Propõe macro-commit especulativo que agrupa chamadas de ferramenta em transações verificáveis, permitindo commit otimista com rollback. Acelera agentes tool-using sem sacrificar corretude, reduzindo round-trips em harnesses agentivos. Útil para orquestração de ferramentas e skills. Abrir fonte

DoPR: Reusable Compressed Document Prefixes for Efficient LLM Reranking​

arXiv · 2026-09-04 Introduz prefixos de documento comprimidos e reusáveis para reranking eficiente, cacheando KV de documentos para múltiplas queries. Reduz custo de reranking em pipelines RAG sem perda relevante de qualidade. Avanço em inference e KV cache. Abrir fonte

DE-Venus: A Data-Efficient RLVR Framework for Large Language Models​

arXiv · 2026-09-04 Framework RLVR eficiente em dados que integra verificação e recompensa de raciocínio com orçamento reduzido de rollouts. Mostra ganhos de generalização com curadoria de traços verificáveis. Relevante para RL e infraestrutura de treino de reasoning. Abrir fonte

Latency-Aware Orchestration for Multi-Agent LLM Workflows on Heterogeneous GPUs​

arXiv · 2026-09-04 Propõe orquestrador ciente de latência para workflows multi-agente heterogêneos, escalonando sub-tarefas por perfil de GPU e SLA. Demonstra redução de tail latency em pipelines com vLLM. Direto para orquestração de modelos em produção. Abrir fonte

Fresh Memory, Stale Plans: Dependency-Scoped Validation for Distributed LLM-Agent Memory​

arXiv · 2026-09-04 Aborda memória distribuída em agentes LLM onde planos ficam obsoletos após atualizações. Propõe validação escopada por dependência que invalida apenas subplanos afetados, preservando freshness sem replanejamento completo. Útil para skills e memória de longo horizonte. Abrir fonte

Gradients Know What Outcomes Don't: Unlocking Reinforcement Learning for LLM Reasoning with Gradient-Aligned Rewards​

arXiv · 2026-09-04 Mostra que sinais de gradiente carregam informação que recompensas de outcome não capturam, e propõe recompensas alinhadas a gradiente para RL de reasoning. Melhora eficiência amostral e estabilidade de policy optimization. Contribuição para RL de LLMs e harnesses de treino. Abrir fonte

ALRA: Adaptive Local Relational Alignment for Logit-Based Pre-training Distillation of Autoregressive Language Models​

arXiv · 2026-09-04 Apresenta ALRA, alinhamento relacional local adaptativo para destilação de pré-treino baseada em logits em LMs autoregressivos. Preserva estrutura local de distribuição do professor melhor que KL global. Avanço em destilação e fine-tuning. Abrir fonte

TIGPO: Temporal Instance-Graph Policy Optimization for Long-Horizon LLM Agents​

arXiv · 2026-09-04 Propõe TIGPO, otimização de política via grafo temporal de instâncias para agentes de longo horizonte. Modela dependências temporais como grafo para atribuição de crédito mais precisa. Relevante para harnesses de RL de agentes e skills. Abrir fonte

Random Attention: Rethinking KV Cache Eviction for Efficient Reasoning​

arXiv · 2026-09-04 Reavalia evicção de KV cache para reasoning eficiente, mostrando que atenção aleatória com política simples supera heurísticas complexas em certos regimes. Propõe trade-off entre compressão e preservação de cadeia de raciocínio. Direto para inference e otimização de memória. Abrir fonte

It's the Problem, Not the Path: Budget and Difficulty Confounds in LLM Reasoning Trajectories​

arXiv · 2026-09-04 Desembaraça confounds de orçamento e dificuldade em trajetórias de reasoning, mostrando que problema predomina sobre caminho amostrado. Propõe controles para avaliação justa de test-time scaling em harnesses de reasoning. Importante para interpretabilidade e eval. Abrir fonte

GrowPage: On-Demand KV Budgeting for Efficient LLM Reasoning Serving​

arXiv · 2026-09-04 Apresenta GrowPage, orçamentação KV sob demanda que aloca páginas conforme necessidade de reasoning, reduzindo desperdício em serving. Integra-se a paged attention de vLLM com política adaptativa. Avanço em inference e KV cache. Abrir fonte

KC-Bench: A Dynamic Interactive Benchmark for Evaluating Knowledge Conflicts in LLM Agents​

arXiv · 2026-09-04 Propõe KC-Bench, benchmark dinâmico interativo para conflitos de conhecimento em agentes, com atualização contínua de evidências contraditórias. Avalia resolução, deferência e calibração sob conflito. Harness de avaliação para agentes com retrieval. Abrir fonte

What Do CAE Simulation Agents Really Need Beyond a Generic Harness?​

arXiv · 2026-09-04 Investiga requisitos de agentes de simulação CAE além de harnesses genéricos, mapeando necessidades de validação física, tolerâncias e orquestração de toolchains. Propõe extensões de harness específicas de domínio. Relevante para design de skills e harnesses especializados. Abrir fonte

Flip, Don't Shuffle: Watermarking LLMs at the Speed of Inference​

arXiv · 2026-09-04 Introduz watermarking por flip em vez de shuffle, mantendo throughput de inference praticamente intacto. Garante detecção robusta com overhead mínimo em decoding. Útil para serving com vLLM e prova de proveniência. Abrir fonte

A Blind Trust, the Bloody Thrust: When Attacker-Controlled Hook Updates Steer AI Agent Harnesses towards Malicious Behaviors​

arXiv · 2026-09-04 Demonstra como atualizações de hooks controladas por atacante desviam harnesses de agentes para comportamentos maliciosos via injeção em pipeline. Analisa superfície de ataque e propõe checagens de integridade para harnesses. Contribuição crítica para segurança de orquestração de agentes. Abrir fonte

Unlocking Lossless Speedups in LLMs via Discrete Diffusion​

arXiv · 2026-09-04 Mostra speedups sem perda via difusão discreta aplicada a decoding de LLMs, explorando paralelismo de denoising sem degradação. Propõe schedule compatível com caches existentes. Avanço em arquitetura de inference. Abrir fonte

Instruction Duplication as an Inference-Time Control Primitive​

arXiv · 2026-09-04 Propõe duplicação de instrução como primitiva de controle em tempo de inferência, modulando aderência sem re-treino. Avalia efeito em instruction following e steerability com custo mínimo. Útil para controle de harness e interpretabilidade. Abrir fonte

Why Gated DeltaNet Survives 4-Bit Quantization: NVFP4 W4A4 for the Recurrent Half of a Hybrid 27B LLM​

arXiv · 2026-09-04 Explica por que Gated DeltaNet tolera quantização 4-bit NVFP4 W4A4 na metade recorrente de híbrido 27B, analisando escala e outliers. Valida configuração W4A4 com perda mínima e ganho de throughput. Direto para quantização e inference híbrida. Abrir fonte

Hardware-Aware FP4 FlashAttention-4​

arXiv · 2026-09-04 Apresenta FlashAttention-4 ciente de hardware com FP4, co-desenhando kernel e layout para Hopper/Blackwell. Demonstra speedups com fidelidade preservada via escala microscópica. Avanço em kernels de inference quantizada. Abrir fonte

Sequential Beats Joint: On the Interplay between On-Policy Distillation and RLVR​

arXiv · 2026-09-04 Mostra que treinamento sequencial supera joint ao combinar destilação on-policy e RLVR, evitando interferência de gradientes. Propõe receita de duas fases com ganhos consistentes. Relevante para infraestrutura de treino e orquestração de objetivos. Abrir fonte

Rethinking On-Policy Distillation of Large Language Models II: One Training Example​

arXiv · 2026-09-04 Reavalia destilação on-policy com foco em um único exemplo de treino, revelando dinâmica de colapso e regime de generalização. Propõe regularização que estabiliza aprendizado a partir de poucas amostras. Contribuição para fine-tuning e interpretabilidade. Abrir fonte

Knowledge Acquisition During Pre-training? Large Language Models Learn Better With Auxiliary Views​

arXiv · 2026-09-04 Investiga se aquisição de conhecimento ocorre no pré-treino e mostra que visões auxiliares melhoram aprendizado sem aumentar tokens. Propõe multi-view que acelera convergência em benchmarks de conhecimento. Avanço em arquitetura e treino. Abrir fonte

Clean Engineering, Unstable Measurement: A Preregistered Reliability Failure of Black-Box LLM Observers on Shared Endpoints​

arXiv · 2026-09-04 Estudo pré-registrado mostra falha de confiabilidade de observadores LLM black-box em endpoints compartilhados, mesmo com engenharia limpa. Exposição a ruído de colocation e scheduling compromete medições. Alerta para harnesses de avaliação em APIs shared e reprodutibilidade. Abrir fonte

llama.cpp b10797: correção q5_1 no ggml-cpu s390x​

GitHub · 2026-09-04 Release b10797 corrige inicialização de v_acc em quantized q5_1 no backend ggml-cpu s390x, evitando corrupção numérica em inferência quantizada. Publicada em 2026-09-04 com binários para Linux, macOS, Windows, Android, Vulkan, CUDA 12/13, ROCm, OpenVINO e SYCL. Essencial para deployments GGUF com quantização Q5 em s390x. Abrir fonte

Nota de cobertura: buscas nativas em 10 idiomas (pt, en, it, es, fr, de, ru, zh, ko, ja) em harnesses, skills, vLLM, llama.cpp, fine-tuning, quantização e inference não retornaram publicações não-arXiv com data verificável em 2026-09-04 além do release llama.cpp b10797; Hugging Face Blog, vLLM e lm-evaluation-harness não publicaram versão datada em D. Dos 528 papers anunciados em arXiv em D nas categorias cs.AI/cs.CL/cs.LG/cs.SE/cs.IR/cs.DC/cs.NE/stat.ML/cs.CV/cs.RO/cs.CR/cs.HC, 187 continham termos LLM/harness/benchmark/inference; 34 acima foram curados como representativos de harnesses, skills, agentes, fine-tuning, inference/tokenizers, quantização e interpretabilidade. Data de cada paper verificada via cabeçalho Fri, 4 Sep 2026 em https://arxiv.org/list/<cat>/recent e URL canônica do abstract.

Fontes​

llama.cpp b10776 — suporte a NVIDIA Nemotron-3-Puzzle-75B-A9B​

GitHub ggml-org/llama.cpp · 2026-09-03 Adiciona suporte ao modelo MoE NVIDIA Nemotron-3-Puzzle-75B-A9B com infraestrutura G1/G2 para número variável de experts por camada. Introduz arrays per-layer n_ff_exp/n_expert_used com accessors e carregamento scalar-or-array, necessário porque o modelo tem 5 valores distintos de n_ff_exp e 7 top-k em 40 camadas MoE. Habilita carregamento e inferência local desse MoE híbrido via llama.cpp. Abrir fonte

llama.cpp b10777 — SYCL otimiza MMVQ Q4_K multi-coluna​

GitHub ggml-org/llama.cpp · 2026-09-03 Otimiza kernel Q4_K no backend SYCL reduzindo trabalho redundante em MMVQ multi-coluna. Reutiliza unpack de pesos entre colunas de destino e compartilha ativações entre duas linhas de saída para N pequeno (2..4), com gate para N=2 e threshold 6272 linhas. Melhora throughput de inferência quantizada Q4_K em GPUs Intel com SYCL. Abrir fonte

llama.cpp b10778 — evita pico de RAM no carregamento de modelo​

GitHub ggml-org/llama.cpp · 2026-09-03 Corrige pico de uso de RAM durante estágio de carregamento de modelo, evitando alocação duplicada de buffers ao mapear pesos. Reduz footprint máximo de memória ao carregar LLMs grandes em hardware limitado. Relevante para inferência local e serving com memória restrita. Abrir fonte

llama.cpp b10780 — SYCL adiciona suporte a cópia peer-to-peer​

GitHub ggml-org/llama.cpp · 2026-09-03 Estende API SYCL para suportar cópia peer-to-peer entre dispositivos, permitindo transferência direta entre GPUs sem bounce pelo host. Viabiliza pipeline multi-GPU mais eficiente com ggml SYCL e reduz latência de comunicação em inferência distribuída. Abrir fonte

llama.cpp b10781 — Vulkan corrige engajamento do caminho FA dequant​

GitHub ggml-org/llama.cpp · 2026-09-03 Corrige condição de engajamento do caminho FlashAttention com dequantização no backend Vulkan. Remove checagem nb[3] quando ne[3]==1, onde o shader nunca lê stride de buffer completo; o check antigo só ativava com cache cheio. Garante uso correto do fast path quantizado em GPUs Vulkan. Abrir fonte

llama.cpp b10782 — CUDA permite streams concorrentes por split multi-GPU​

GitHub ggml-org/llama.cpp · 2026-09-03 Permite otimização de grafo CUDA por split em configuração multi-GPU, removendo guard que bloqueava a passagem quando múltiplas GPUs estavam ativas. Cada split já é particionado por dispositivo, então a otimização deve rodar por split. Corrige manuseio de evento concorrente por GPU, melhorando throughput multi-GPU. Abrir fonte

llama.cpp b10783 — mtmd adiciona const em APIs de tokenização​

GitHub ggml-org/llama.cpp · 2026-09-03 Marca contexto mtmd como const em múltiplas APIs como mtmd_bitmap_init_lazy, mtmd_tokenize e mtmd_tokenize_from_parts. Facilita raciocínio sobre ownership e permite que harnesses compostos chamem tokenização multimodal sem mutabilidade desnecessária. Ajuste de const-correctness para pipeline multimodal. Abrir fonte

llama.cpp b10784 — Metal corrige dispatch GLU com ne00=1​

GitHub ggml-org/llama.cpp · 2026-09-03 Corrige dispatch de GLU no backend Metal quando ne00==1, evitando seleção incorreta de kernel e garantindo computação correta de gating. Inclui desabilitação de testes mal definidos. Ajuste pontual para estabilidade de inferência em Apple Silicon. Abrir fonte

llama.cpp b10785 — Metal adiciona FlashAttention esparsa​

GitHub ggml-org/llama.cpp · 2026-09-03 Adiciona suporte a FlashAttention esparsa (sparse FA) no backend Metal com kernel_flash_attn_ext_vec_idx. Compacta entradas finitas de máscara em lista de índices por linha via Hillis-Steele scan e estende kernel FA vetorizado com gathering opcional. Ativa caminho esparso quando n_kv_max>0 e máscara presente, reduzindo computação para atenção com esparsidade. Abrir fonte

llama.cpp b10786 — mtmd propaga const para classe preproc​

GitHub ggml-org/llama.cpp · 2026-09-03 Propaga qualificador const para classe de pré-processamento mtmd, alinhando com mudanças de const-correctness do dia. Harmoniza mutabilidade do pipeline multimodal e evita cópias desnecessárias. Publicado em 2026-09-03T12:44:27Z. Abrir fonte

llama.cpp b10790 — tunagem de crossover MMVQ para MMQ em SM87​

GitHub ggml-org/llama.cpp · 2026-09-03 Ajusta ponto de crossover entre kernels MMVQ e MMQ para arquitetura SM87 (GPUs Blackwell como RTX 5090/B200). Calibra threshold para escolher kernel mais rápido por tamanho de matmul, melhorando throughput de inferência quantizada em geração Blackwell. Otimização de backend CUDA/HIP. Abrir fonte

llama.cpp b10791 — OpenCL otimiza lm_head quant e GEMV/GEMM para speculative decoding​

GitHub ggml-org/llama.cpp · 2026-09-03 Otimiza lm_head quantizado e GEMV de decode no backend OpenCL, com melhorias para medium-batch GEMM em speculative decoding/MTP. Inclui guards para registro de kernels tiled q4_K/q6_K apenas em Adreno, fusão q4_K MUL_MAT+GLU com layout noshuffle e correção de stride para GEMV f16 vetorizado. Acelera execução móvel em GPUs Adreno. Abrir fonte

llama.cpp b10792 — common/json-schema corrige geração GBNF para schemas vazios​

GitHub ggml-org/llama.cpp · 2026-09-03 Corrige geração de gramática GBNF a partir de JSON Schema quando schema define objeto vazio. Evita gramática inválida que quebra constrained decoding com json-schema. Relevante para harnesses que impõem saída estruturada via GBNF no servidor llama.cpp. Abrir fonte

llama.cpp b10793 — corrige rebuild completo do código a cada commit​

GitHub ggml-org/llama.cpp · 2026-09-03 Corrige dependências de build que forçavam recompilação completa do source a cada novo commit. Ajusta sistema de geração de versão/build para rebuild incremental correto, reduzindo tempo de CI e build local. Melhora fluxo de desenvolvimento sem impacto em runtime. Abrir fonte

NeoMME: um encoder multilíngue e multimodal-native eficiente​

Hugging Face Blog · 2026-09-03 A Hcompany apresenta o NeoMME, encoder single-tower nativo multimodal e multilíngue fundacional. Publicado em 2026-09-03T13:13:48Z, o post detalha arquitetura eficiente para embeddings que unificam visão e texto em múltiplos idiomas sem torres separadas. Relevante para retrieval multimodal, reranking e infraestrutura de embeddings para agentes. Abrir fonte

Fine-tuning de modelo 350M com saídas estruturadas em 100 passos GRPO​

Hugging Face Blog · 2026-09-03 Guia prático publicado em 2026-09-03 mostra fine-tuning de modelo de 350M para saídas estruturadas superiores em apenas 100 passos GRPO com TRL. Demonstra ganho de aderência a formato JSON/schema com custo computacional mínimo, usando reinforcement learning sem necessidade de SFT extenso. Relevante para harnesses que dependem de structured outputs confiáveis. Abrir fonte

Funes: dê aos seus coding agents uma memória que você possui​

Hugging Face Blog · 2026-09-03 Apresenta Funes, sistema de memória própria para coding agents, publicado em 2026-09-03. Propõe camada de memória persistente e local para agentes de código, evitando lock-in de memória em serviços proprietários e permitindo controle de dados. Arquitetura útil para harnesses de agentes com contexto de longo prazo e evolução de skills. Abrir fonte

Treinando modelo de código para pintar aquarelas com TRL e OpenEnv​

Hugging Face Blog · 2026-09-03 Demonstra treinamento de modelo de código para gerar aquarelas pintadas com TRL e OpenEnv, publicado em 2026-09-03. Usa ambiente de execução de código como reward para aprender a controlar pipeline de pintura via geração programática. Explora crossover criativo entre code generation e geração visual com RL. Abrir fonte

Nvidia aposta em Hugging Face e em modelos abertos — não é só chip​

SiliconANGLE · 2026-09-03 Análise publicada em 2026-09-04T01:29:39Z (2026-09-03 22:29 BRT) cobre o acordo da Nvidia com a Hugging Face. Zeus Kerravala argumenta que o deal sinaliza aposta em ecossistema aberto de modelos e transição da Nvidia para plataforma de software e infraestrutura de IA além de chips. Hugging Face abriga 500+ modelos e 250 datasets abertos da Nvidia. Abrir fonte

Hardware-Aware FP4 FlashAttention-4​

arXiv cs.LG · 2026-09-03 Proposta de FlashAttention-4 com consciência de hardware para precisão FP4, publicada em 2026-09-03T17:12:35Z. Otimiza kernels de atenção para execução em baixa precisão aproveitando suporte nativo FP4 de GPUs de nova geração, reduzindo memória e aumentando throughput de inferência de long context. Relevante para quantização e serving com vLLM/Transformers em Blackwell. Abrir fonte

Sequential Beats Joint: interação entre distilação on-policy e RLVR​

arXiv cs.CL · 2026-09-03 Estuda interplay entre distilação on-policy e RLVR (reinforcement learning with verifiable rewards), publicado em 2026-09-03T17:14:27Z. Demonstra que abordagem sequencial supera treinamento conjunto, com implicações para receitas de fine-tuning de modelos de raciocínio. Informa pipelines de distillation + RL para agentes e modelos instrucionais. Abrir fonte

Rethinking On-Policy Distillation of Large Language Models II​

arXiv cs.AI · 2026-09-03 Segunda parte de estudo sobre distilação on-policy de LLMs mostra que um único exemplo de treinamento pode revelar dinâmica crítica, publicado em 2026-09-03T17:54:38Z. Reexamina amostragem, divergência e estabilidade da destilação com foco em eficiência. Contribui para fine-tuning por destilação com menor custo de dados. Abrir fonte

Knowledge Acquisition During Pre-training: LLMs aprendem melhor com auxiliary views​

arXiv cs.CL · 2026-09-03 Investiga como LLMs adquirem conhecimento durante pré-treino e propõe aprendizado com auxiliary views para melhorar aquisição, publicado em 2026-09-03T17:57:02Z. Mostra ganhos em factualidade e compreensão ao expor modelo a vistas auxiliares do mesmo conteúdo. Relevante para arquitetura de treino e curadoria de dados de pré-treinamento. Abrir fonte

Terminal-Universe: transformando trajetórias de agentes em ambientes terminais escaláveis​

arXiv cs.AI · 2026-09-03 Apresenta Terminal-Universe, framework que converte trajetórias de agentes em ambientes terminais escaláveis para treino, publicado em 2026-09-03T17:41:05Z. Permite geração sintética de tasks interativas e avaliação de harnesses de agentes em larga escala sem intervenção humana. Útil para orquestração e benchmark de agentes de longo horizonte. Abrir fonte

DRACO: fine-grained credit assignment com rubricas dinâmicas para agentes​

arXiv cs.AI · 2026-09-03 Propõe DRACO, método de atribuição de crédito granular com rubricas dinâmicas para treino de agentes de longo horizonte, publicado em 2026-09-03T17:02:20Z. Usa rubricas evolutivas para fornecer feedback denso em trajetórias multi-step, melhorando convergence de agentes com RL. Endereça gargalo de avaliação esparsa em harnesses agentivos. Abrir fonte

Clean Engineering, Unstable Measurement: falha de confiabilidade de observadores LLM black-box​

arXiv cs.AI · 2026-09-03 Estudo preregistrado demonstra falha de confiabilidade de observadores LLM black-box em endpoints compartilhados, publicado em 2026-09-03T17:59:43Z. Engenharia limpa não garante medição estável quando múltiplos observadores competem por endpoints compartilhados. Alerta para design de harnesses de avaliação e benchmark em infraestrutura compartilhada. Abrir fonte

Nota de cobertura: varredura em 10 idiomas (pt, en, it, es, fr, de, ru, zh, ko, ja) com consultas nativas focadas em harnesses/skills/modelos LLM. Para D=2026-09-03, fontes qualificadas concentraram-se em en (llama.cpp, arXiv, HF Blog, SiliconAngle). Nenhum item qualificado adicional recuperado em pt/it/es/fr/de/ru/zh/ko/ja dentro da janela D após deduplicação e filtro de escopo (excluído software genérico com IA). Lacuna registrada sem impor limite artificial.