IA — notícias de 2026-09-05
Fontes
Building and serving local LLM models with llama.cpp
Kev's Development Toolbox · 2026-09-05 Tutorial prático publicado em 2026-09-05 mostra como compilar llama.cpp com suporte a CUDA, configurar CUDACXX e servir modelos locais GGUF via llama-cli. O autor compara flexibilidade e velocidade do llama.cpp frente ao Ollama e detalha erros comuns ao tentar reutilizar modelos do Ollama sem conversão para GGUF. Conteúdo útil para engenharia de inference local e integração com harnesses vLLM/llama.cpp. Abrir fonte
Quantization and LLM Accuracy in Scientific Data Extraction
IntuitionLabs · 2026-09-05 Análise de 2026 publicada em 2026-09-05 revisa estudos revisados por pares sobre impacto de quantização INT8, FP8 e INT4 na acurácia de LLMs em extração de dados científicos. Conclui que FP8 e INT8 bem calibrados são candidatos viáveis ao lado de precisão total, enquanto INT4 exige validação por tarefa e modelo. Aponta raciocínio numérico e multi-step como modos de falha críticos, com implicações diretas para escolha de precisão em pipelines de inference com vLLM e llama.cpp. Abrir fonte
Qwen3.8-Flash-Next: Architecture, Memory & Inference Guide
IntuitionLabs · 2026-09-05 Guia técnico publicado em 2026-09-05 destrincha a arquitetura híbrida do Qwen3.8-Flash-Next — prévia experimental da família Qwen4 com 48 camadas alternando Gated DeltaNet e Qwen Sparse Attention e MoE a cada bloco. Detalha exigências de VRAM, checkpoint FP8, offload da tabela de n-gramas de 51B parâmetros para RAM e comandos de deploy. Essencial para planejamento de memória e serving com vLLM, SGLang e quantização GGUF. Abrir fonte
llama.cpp b10819 — correção de vazamento de memória no backend Metal
GitHub · ggml-org/llama.cpp · 2026-09-05 Release b10819 do llama.cpp corrige vazamento de memória no backend Metal em retorno antecipado, afetando inferência local em Apple Silicon. Publicado em 2026-09-05 às 10:36 UTC, o binário cobre macOS, Linux, Windows, iOS e Android com variantes CUDA, Vulkan, ROCm e OpenVINO. O release manterá compatibilidade com formatos GGUF e harnesses de avaliação que usam llama.cpp como backend, sendo relevante para serving local e benchmarking de quantização. Abrir fonte
Nota de cobertura: varredura em 10 idiomas (pt/en/it/es/fr/de/ru/zh/ko/ja) em arXiv, Hugging Face, GitHub e web geral. Nenhum paper novo em cs.CL/cs.LG/cs.AI com data 2026-09-05 BRT foi anunciado até o fechamento (arXiv/HF ainda em 2026-09-03–04). Nenhum release vLLM em 2026-09-05; busca multilíngue não retornou itens adicionais qualificados dentro da janela D 00:00–23:59 BRT. Fontes paywalled (SOKOSOKO LIGHT Daily LLM Radar 2026-09-05, 02:37 UTC) foram excluídas por estarem fora da janela BRT estrita e por acesso restrito.