IA — notícias de 2026-09-08

Fontes

Scaling Large Language Model Inference: Insights and Optimizations

Frank's World of Data Science & AI · 2026-09-08 Workshop com Harshul Jain (Audible) e Tanmay Sah detalha custos de inference em escala: cache KV de 131 KB/token no Mistral 7B exige ~42 GB para 16k tokens e 80 usuários concorrentes. Aborda otimizações de modelo (quantização, multi-head/multi-query attention, flash attention, tiling) e de serving (PagedAttention, continuous batching, prefix caching, KV quantization), com comparação empírica vLLM vs SGLang — diferença desprezível em carga padrão, mas vLLM mais adaptável em branching agêntico. Disponibiliza notebooks e slides com GPU gratuita para reprodução. Abrir fonte

REAL-Q: Quantização End-to-End com Gradiente Dinâmico por Blocos

SimoLM (思陌智能) · 2026-09-08 Análise do paper REAL-Q (arXiv:2609.00049, Qian Zhang et al.) propõe substituir solução fechada de segunda ordem por gradiente dinâmico por blocos de 128 colunas com Adam e janela deslizante. Em W4A16, reduz KL divergência end-to-end em até 49% (Qwen3-1.7B: 11,9→6,07; Qwen3-4B: 9,50→5,44) e em W2A16 eleva acurácia média do Qwen3-8B a 49,28. Demonstra que ativação consciente é obrigatória em W2A4KV4 e que bloco menor (128 vs 512) é o hiperparâmetro mais sensível para evitar acúmulo de erro entre camadas. Abrir fonte

llama.cpp b10867 — desativa lazy loading em iGPUs

GitHub · ggml-org/llama.cpp · 2026-09-08 Release b10867 publicada em 2026-09-08T17:31:06Z desativa por padrão o lazy tensor loading em iGPUs (#28326), revertendo regressão de modo AUTO. A mudança estabiliza carregamento de tensores em GPUs integradas mantendo modo AUTO para demais backends, com impacto direto em throughput e compatibilidade de GGUF em dispositivos com iGPU. Inclui binários assinados para macOS, Linux, Windows, Vulkan, ROCm e CUDA. Abrir fonte

llama.cpp b10865 — revert de prop.integrated em builds HIP

GitHub · ggml-org/llama.cpp · 2026-09-08 Release b10865 publicada em 2026-09-08T15:11:37Z reverte commit c7d8722 que restaurava prop.integrated em builds HIP (#28604). Corrige detecção de GPU integrada em backend ggml-cuda/HIP, evitando classificação incorreta de hardware AMD e efeitos em otimizações de kernel quantizado. Mantém paridade de binários GGUF para ROCm e HIP. Abrir fonte

llama.cpp b10864 — evicção de checkpoint para modelos híbridos/recorrentes

GitHub · ggml-org/llama.cpp · 2026-09-08 Release b10864 publicada em 2026-09-08T14:31:22Z corrige create_checkpoint() para aplicar evicção por min-step apenas quando a lista atinge n_ctx_checkpoints (#28302). Antes, prompts curtos perdiam o checkpoint em n_tokens-4 e forçavam re-prefill desde checkpoint anterior em modelos híbridos/recorrentes. A correção preserva continuidade de contexto e reduz latência de retomada em serving com checkpoints espaçados. Abrir fonte

Procedural Graphs: Self-Evolving Execution Structures for LLM Agents

arXiv · 2026-09-08 Propõe Procedural Graph que organiza conhecimento procedural em tripletos (procedure, relation, procedure), análogo a knowledge graphs para who-is. A cada passo, o agente localiza nó ativo e um guia impõe ordem, condições e dependências, evitando perda de objetivo e invocação fora de ordem em trajetórias longas. Contribuição direta para harnesses, orquestração de skills e estruturas de execução evolutivas em agentes LLM. Abrir fonte

Co-Evolving Harnesses and Models: On-Policy Correction Helps Weaker Models Catch Up

arXiv · 2026-09-08 Estuda combinação de evolução de harness com fine-tuning leve: evoluir harness com modelo fraco permite que modelo forte o use melhor, mas treinar o fraco em trajetórias completas do expert degrada desempenho em 7/7 tarefas (-4%+). Introduz correção on-policy que alinha apenas passos onde o fraco diverge, permitindo que modelo fraco recupere gap sem imitação cega. Relevante para harnesses, distillation e orquestração custo-eficiente em tarefas enterprise. Abrir fonte

SkillAdam: Stable and Efficient Skill Evolution for Agents

arXiv · 2026-09-08 Diagnostica instabilidade em evolução auto-supervisionada de skills e propõe SkillAdam com estabilidade de direção (acúmulo de correções sem sobrescrita) e adaptatividade de update (escopo proporcional à consistência de ganhos recentes). O otimizador simula momento adaptativo para revisões textuais, elevando eficiência de iteração sem custo de fine-tuning do backbone. Aplicável a harnesses que mantêm banco de skills editáveis em tempo de inferência. Abrir fonte

Experience Funnel: A State-Policy Alternating Loop for Self-Evolving Agents

arXiv · 2026-09-08 Framework que acopla adaptação rápida de estado textual (skills, harnesses) com consolidação lenta de política paramétrica em loop alternante. Experiência acumulada é destilada de interações para competência reusável sem depender perpetuamente de contexto externo, equilibrando adaptatividade imediata e compactação de conhecimento. Aborda dilema central de evolução de agentes: transformar experiência abundante e específica em policy generalizável. Abrir fonte

Closing the Consistency Gap: Self-Evolving Agents That Learn to Stay on Course

arXiv · 2026-09-08 Quantifica consistency gap: agente ReAct com GPT-4.1 atinge 77% pass@1 no AppWorld mas apenas 53% de sucesso em 5/5 execuções. Propõe analyzer que identifica passos instáveis e converte falhas em memória episódica reutilizável, reduzindo variância inter-execução sem re-treino. Relevante para deployment confiável de agentes de longo horizonte e harnesses com avaliação de estabilidade além de acurácia média. Abrir fonte

MeClear: Cooperative Game-Theoretic Attribution and Risk-Aware Memory Clearance

arXiv · 2026-09-08 Framework de limpeza de memória externa para agentes long-horizon que combina triagem Leave-One-Out com atribuição Shapley amostrada para detectar memórias com utilidade downstream negativa. Suprime seletivamente evidências obsoletas ou conflitantes que retrieval por similaridade semântica erroneamente injeta no contexto. Melhora preservação de preferências e robustez em interações estendidas, com implicações para gerenciamento de KV cache e memória de harness. Abrir fonte

ToolLoop: Closed-Loop Tool-Use Data Synthesis via Decomposed Generation

arXiv · 2026-09-08 Substitui paradigma generate-then-filter por generate-verify-refine em três estágios: amostragem de combinações de funções como ground truth, derivação backward de queries e derivação forward de tool calls com self-feedback dinâmico. No BFCL, modelo 4B treinado com dados ToolLoop supera baselines de síntese estática em distribuição de features e eficiência de filtragem. Contribuição para fine-tuning e infraestrutura de treino de tool-use. Abrir fonte

It's Not RoPE that Creates Sinks: The Role of Self-Concentration and Value-Non-Mixing

arXiv · 2026-09-08 Demonstra que attention sinks e massive activations na posição inicial decorrem de self-concentration induzida por máscara causal e Value-non-mixing, não de RoPE. Os achados explicam degradação em quantização low-bit causada por MAs e oferecem direção para estratégias de quantização conscientes de ativação e design de attention mais estável. Estudo une interpretabilidade, arquitetura e otimização de inference. Abrir fonte

A Note on Scaling in Randomly Rotated Quantization and Its Connection to CDEF

arXiv · 2026-09-08 Estabelece ponte entre scalings MMSE e unbiased em quantização por rotação aleatória e teoria clássica CDEF, mostrando que relação CDEF+1 vale pointwise como identidade pitagórica por realização, mas não após média sobre rotações. Clarifica fundamentos de Wiener vs unbiased reconstruction em esquemas EDEN-like, com impacto em quantização PTQ e compressão com rotação randomizada para LLMs. Abrir fonte

SAEScientist-Bench: Can AI Agents Conduct Autonomous SAE Interpretability Research?

arXiv · 2026-09-08 Benchmark que avalia se agentes podem atuar como cientistas usando SAEs para descoberta mecanística autônoma, navegando dicionário Gemma Scope com 131k+ features em Gemma-2-9B-IT para encontrar feature ótima para conceito alvo via sondas contrastivas. Sistematiza avaliação de interpretabilidade post-hoc como pilar faltante de self-improvement recursivo além de pipelines de treino. Relevante para interpretabilidade, tokenizers esparsos e auditoria de alinhamento. Abrir fonte

Nota de cobertura: buscas nativas em 10 idiomas (pt, en, it, es, fr, de, ru, zh, ko, ja) em harnesses, fine-tuning, quantização e inference foram executadas. Nenhum release de lm-evaluation-harness, vLLM ou publicação do Hugging Face Blog com data verificável em 2026-09-08 foi encontrado — vLLM v0.29.0 é de 2026-09-09T08:54Z, fora da janela D (00:00–23:59 BRT 2026-09-08). Fontes sindicadas e guias evergreen sem data em D foram descartadas. Das ~100 entradas arXiv de 2026-09-08 em cs.CL/cs.LG/cs.AI, 15 acima foram curadas por aderência a harnesses, skills, agentes, fine-tuning, quantização, inference e interpretabilidade.