Pular para o conteúdo principal

IA — notícias de 2026-09-06

· 5 min para ler

Fontes​

TurboQuant Quantization Explained​

Hugging Face Blog · Tarun Jain (lucifertrj) · 2026-09-06 Artigo técnico publicado em 2026-09-06 explica o método TurboQuant para quantização de LLMs, detalhando trade-offs entre precisão, throughput e VRAM em pipelines de inference. O autor compara estratégias de quantização vetorial e escalar e indica quando usar cada nível para serving com vLLM e llama.cpp/GGUF. Relevante para escolha de precisão e planejamento de deployment quantizado sem re-treino. Abrir fonte

llama.cpp b10830 — flag --fuse-qkv na conversão HF para GGUF​

GitHub · ggml-org/llama.cpp · 2026-09-06 Release b10830 publicada em 2026-09-06 às 23:29 UTC adiciona flag --fuse-qkv para fundir Q/K/V em QKV durante conversão HF-to-GGUF (#22780). A fusão reduz overhead de projeção e simplifica checkpoints para modelos com atenção agrupada, com impacto direto em tamanho de GGUF e velocidade de load. Compatível com harnesses que consomem GGUF via llama.cpp. Abrir fonte

llama.cpp b10829 — correção de normalização GDN de max para rsqrt​

GitHub · ggml-org/llama.cpp · 2026-09-06 Release b10829 publicada em 2026-09-06 às 23:04 UTC corrige normalização Gated DeltaNet (GDN) de max para rsqrt (#28068). A implementação passa a usar l2norm(x) = x * rsqrt(sum(x*x) + eps) conforme flash-linear-attention, substituindo ggml_l2_norm que usava max(sqrt(sum), eps). Corrige divergência numérica em modelos GDN e afeta inferência e fine-tuning de arquiteturas com DeltaNet. Abrir fonte

llama.cpp b10828 — suporte ao modelo Spark2_5ForCausalLM​

GitHub · ggml-org/llama.cpp · 2026-09-06 Release b10828 publicada em 2026-09-06 às 22:08 UTC adiciona implementação de Spark2_5ForCausalLM (#27868). Renomeia Spark3 para Spark2.5 e inclui co-autoria Hugging Face, ampliando cobertura de arquiteturas causais servidas via llama.cpp. Relevante para inferência local e avaliação de novos checkpoints causais em GGUF. Abrir fonte

llama.cpp b10827 — correção de pack de pesos q4_K/q5_K no backend OpenCL​

GitHub · ggml-org/llama.cpp · 2026-09-06 Release b10827 publicada em 2026-09-06 às 20:50 UTC corrige escolha de pack de pesos para q4_K e q5_K em mul_mat no backend OpenCL (#28402). O fix evita caminho de computação incorreto em quantizações K-quants sob OpenCL, melhorando corretude e throughput em GPUs que usam esse backend. Impacta serving quantizado com llama.cpp em hardware OpenCL. Abrir fonte

llama.cpp b10826 — correção de corridas em mmid/mmmf no backend CUDA​

GitHub · ggml-org/llama.cpp · 2026-09-06 Release b10826 publicada em 2026-09-06 às 16:40 UTC corrige condições de corrida em mmid e mmf no backend CUDA (#28475). O patch estabiliza kernels de multiplicação de matriz em batches médios sob CUDA, reduzindo nondeterminismo e falhas intermitentes em inference com batch. Relevante para serving de alta vazão com vLLM/llama.cpp em GPUs NVIDIA. Abrir fonte

llama.cpp b10825 — correção de limite máximo de repetição em gramática​

GitHub · ggml-org/llama.cpp · 2026-09-06 Release b10825 publicada em 2026-09-06 às 13:22 UTC corrige threshold de repetição máxima em gramáticas (#28469). O ajuste evita rejeição prematura de padrões repetitivos em constrained decoding e melhora robustez de skills que usam GBNF/gramática para structured output. Útil para harnesses agentivos com saída JSON guiada por gramática. Abrir fonte

llama.cpp b10823 — flag --log-jsonl para log estruturado​

GitHub · ggml-org/llama.cpp · 2026-09-06 Release b10823 publicada em 2026-09-06 às 11:57 UTC adiciona flag --log-jsonl para saída de logs em JSON Lines (#28437). A opção facilita ingestão por observabilidade e harnesses de avaliação que parseiam logs de inference em pipelines. Inclui renomeação de unknown para none em opções de log, sem quebra de compatibilidade de GGUF. Abrir fonte

llama.cpp b10822 — assets de UI embarcados diretamente via CMake​

GitHub · ggml-org/llama.cpp · 2026-09-06 Release b10822 publicada em 2026-09-06 às 11:30 UTC embarca assets de UI diretamente via CMake, removendo helper C++ de build e dependência externa de gzip (#28445). Simplifica cross-compilation e mantém templates C++ legíveis com UI totalmente embarcada. Melhora reprodutibilidade de builds para serving local e distribuição de binários. Abrir fonte

llama.cpp b10821 — tunings fa-vec restantes para M2 Max no backend Metal​

GitHub · ggml-org/llama.cpp · 2026-09-06 Release b10821 publicada em 2026-09-06 às 09:58 UTC adiciona tunings vetoriais FA restantes para M2 Max no backend Metal (#28458). Otimiza kernels de FlashAttention vetorizados em Apple Silicon M2 Max, elevando tokens/s em inference local. Relevante para deployment quantizado em macOS com llama.cpp e eval harnesses que usam Metal. Abrir fonte

Nota de cobertura: varredura em 10 idiomas (pt/en/it/es/fr/de/ru/zh/ko/ja) em arXiv, Hugging Face, GitHub e web geral. D=2026-09-06 foi domingo sem listagem nova em arXiv cs.CL/cs.LG/cs.AI (próxima listagem 2026-09-07); nenhum release vLLM ou lm-evaluation-harness em D; buscas multilíngues focadas em harness/skills/modelos não retornaram itens adicionais qualificados dentro da janela D 00:00–23:59 BRT. Nenhum video ou post social com data verificável em D foi localizado.

Etiquetas: