IA — notícias de 2026-09-07

Fontes

Understanding W8A8 INT8 LLM quantization: Half the size, better performance, same accuracy

Red Hat Developer · Sana Fayyaz · 2026-09-07 Artigo publicado em 2026-09-07 às 07:01 UTC explica quantização W8A8 INT8 com SmoothQuant + GPTQ via LLM Compressor, demonstrando redução de 46% de VRAM em Llama 3.1 8B (15 GB em BF16) sem perda de acurácia. Detalha pipeline de compressão, benchmarking de precisão e performance sob mesmo serving/vLLM, com comparação lado a lado antes e depois da compressão. Relevante para escolha de precisão, planejamento de serving quantizado e redução de custo de inference em GPUs. Abrir fonte

llama.cpp b10852 — ops RELU e LEAKY_RELU no backend Hexagon

GitHub · ggml-org/llama.cpp · 2026-09-07 Release b10852 publicada em 2026-09-07 às 21:40 BRT (2026-09-08T00:40:49Z) adiciona operações RELU e LEAKY_RELU ao backend Hexagon (#28585). A mudança expande cobertura de fusão e inferência em DSPs Hexagon para modelos que usam ativações RELU variantes, com impacto em throughput em dispositivos edge. Mantém compatibilidade de GGUF e pipeline de inference via llama.cpp. Abrir fonte

llama.cpp b10850 — inicialização de array L2_NORM em testes

GitHub · ggml-org/llama.cpp · 2026-09-07 Release b10850 publicada em 2026-09-07 às 17:03 BRT (2026-09-07T20:03:47Z) corrige inicialização do array batch de L2_NORM em testes (#28553). O fix vincula o contador de batch a variável local e adiciona inicializador exigido pelo GCC 12 em builds Release aarch64, evitando warning maybe-uninitialized tratado como erro. Melhora reprodutibilidade de CI e harnesses de avaliação que compilam llama.cpp com warnings fatais. Abrir fonte

llama.cpp b10844 — ops fundidas de hyper-connection DeepSeek-V4 no Vulkan

GitHub · ggml-org/llama.cpp · 2026-09-07 Release b10844 publicada em 2026-09-07 às 16:28 BRT (2026-09-07T19:28:41Z) adiciona ops fundidas DSV4_HC_COMB/PRE/POST para DeepSeek-V4 no backend Vulkan (#26578). Vulkan era o último backend sem fusão da cadeia Sinkhorn; o novo kernel executa 20 iterações em registradores com matriz 4x4 em 16 lanes via subgroupShuffleXor, substituindo ~16k dispatches por token. Na prática, a cadeia comb não fundida representava ~32% do tempo de decode em gfx1151 (Strix Halo), com ganho direto em tokens/s para serving de DeepSeek-V4. Abrir fonte

llama.cpp b10842 — suporte HIP gfx90c no ggml

GitHub · ggml-org/llama.cpp · 2026-09-07 Release b10842 publicada em 2026-09-07 às 15:13 BRT (2026-09-07T18:13:50Z) adiciona suporte HIP gfx90c ao ggml (#26454). A implementação torna o backend HIP compatível com especificações gfx90c, ampliando cobertura de GPUs AMD para inference quantizada via llama.cpp. Relevante para deployment em hardware AMD com backend HIP e harnesses que validam execução em múltiplos aceleradores. Abrir fonte

llama.cpp b10840 — unpack branchless Q4_K/Q5_K em CUDA e prefetch L2 no DGX Spark

GitHub · ggml-org/llama.cpp · 2026-09-07 Release b10840 publicada em 2026-09-07 às 11:31 BRT (2026-09-07T14:31:44Z) otimiza CUDA com unpack branchless para Q4_K/Q5_K em mmvq e prefetch L2 no DGX Spark (#26705). O unpack branchless evita reexecução de scale por coluna em batches >1, enquanto o prefetch é gated para Spark. O ganho é mensurável em batches médios e serving de alta vazão com quantizações K-quants, mantendo compatibilidade de GGUF. Abrir fonte

llama.cpp b10839 — suporte a GET_ROWS com alinhamento de tipo no Vulkan

GitHub · ggml-org/llama.cpp · 2026-09-07 Release b10839 publicada em 2026-09-07 às 08:14 BRT (2026-09-07T11:14:21Z) corrige GET_ROWS no Vulkan para offsets desalinhados em relação a minStorageBufferOffsetAlignment (#28253). Antes o shader Vulkan assertava e causava crash em modelos que usam ggml_view + ggml_get_rows (ex: Qwen3-TTS, Qwen3-VL); agora há fallback para CPU quando desalinhado. Corrige estabilidade de inference multimodal e TTS em GPUs Vulkan. Abrir fonte

llama.cpp b10837 — rechecagem de conteúdo tipado em templates caps

GitHub · ggml-org/llama.cpp · 2026-09-07 Release b10837 publicada em 2026-09-07 às 05:35 BRT (2026-09-07T08:35:42Z) ajusta caps para rechecar conteúdo tipado quando template verifica string (#28511). O fix melhora corretude de chat templates e structured output que inspecionam tipos de conteúdo, evitando falso-negativo em skills agentivas que usam templates Jinja2. Impacta harnesses que validam formatação de prompts via chat templates do llama.cpp. Abrir fonte

llama.cpp b10835 — correção de barreira divergente em FlashAttention f16 no CUDA

GitHub · ggml-org/llama.cpp · 2026-09-07 Release b10835 publicada em 2026-09-07 às 05:08 BRT (2026-09-07T08:08:50Z) corrige barreira divergente em FlashAttention f16 no backend CUDA (#27870). O patch elimina divergência de barrier entre warps e remove setup duplicado de ponteiro de metadados, estabilizando kernels de atenção em precisa o f16. Relevante para correctness e determinismo em inference com batch e contexto longo em GPUs NVIDIA. Abrir fonte

llama.cpp b10834 — permitir inputs de backend sem criar novo split

GitHub · ggml-org/llama.cpp · 2026-09-07 Release b10834 publicada em 2026-09-07 às 04:18 BRT (2026-09-07T07:18:38Z) permite que inputs de backend não criem split adicional em ggml (#28387). A mudança reduz fragmentação de grafos de execução e overhead de scheduling quando múltiplos backends compartilham tensores, melhorando eficiência de offload híbrido. Útil para serving multi-GPU/multi-backend e harnesses que medem latência de pipelines distribuídos. Abrir fonte

llama.cpp b10833 — fusão RMS_NORM no Vulkan

GitHub · ggml-org/llama.cpp · 2026-09-07 Release b10833 publicada em 2026-09-07 às 03:49 BRT (2026-09-07T06:49:18Z) adiciona fusões RMS_NORM + MUL + ADD (+ MUL) e RMS_NORM + VIEW + SET_ROWS no Vulkan, estendendo ROPE + VIEW + SET_ROWS para IMROPE (#28024). As fusões reduzem dispatches e acesso a memória em blocos de normalização frequentes, com ganho de ~4% em Gemma 4 no sistema de teste do autor. Melhora throughput de decode em modelos com RMSNorm sob backend Vulkan. Abrir fonte

llama.cpp b10831 — suporte TQ1_0 no Vulkan (mm, mat-vec, dequant, get_rows)

GitHub · ggml-org/llama.cpp · 2026-09-07 Release b10831 publicada em 2026-09-07 às 02:20 BRT (2026-09-07T05:20:07Z) adiciona suporte a quantização TQ1_0 no Vulkan para mm, mat-vec, dequant e get_rows (#27765). A implementação empacota potências ternárias em constante 32-bit (7 bits por entrada, máx 81) extraída via shift/mask, evitando array de constantes fora de registradores. Expande cobertura de GGUF ternário e acelera inference quantizada extrema em GPUs Vulkan. Abrir fonte

Nota de cobertura: varredura em 10 idiomas (pt/en/it/es/fr/de/ru/zh/ko/ja) focada em harness/skills/modelos LLM (lm-eval-harness, vLLM, llama.cpp, fine-tuning, quantização, inference, papers de arquitetura). D=2026-09-07 foi segunda-feira com janela BRT 00:00–23:59 (03:00 UTC 2026-09-07 a 03:00 UTC 2026-09-08). Nenhum release de vLLM ou lm-evaluation-harness e nenhum paper em arXiv cs.CL/cs.LG/cs.AI com data verificável em D foi localizado na janela; Hugging Face Blog não teve postagem qualificada em D dentro do escopo LLM (único post do dia foi dataset de ruído para speech em 58 línguas indianas, fora de harness/LLM). Nenhum vídeo ou post social com data verificável em D foi localizado.