HN Digest
Briefing personnel.

Lire vite.
Garder l'essentiel.

Les meilleurs longs formats de Hacker News, relus plus calmement.

12074 articles Page 394/1208 Sans filtre

Smaller, faster, safer: running Kimi and GLM at scale

Workers AI exécute l'inférence de grands modèles open source, comme les Kimi K-series de Moonshot et GLM de Z.ai, sur des GPU dans des centres Cloudflare proches des utilisateurs. Trois optimisations permettent de faire tenir et tourner ces modèles mémoire‑intensifs efficacement : quantification du cache KV, compression des poids et protection de l'intégrité du cache partagé. La quantification du cache KV de BF16 à FP8 réduit de moitié sa taille, doublant la capacité de contexte et la concurrence admise sans affecter la qualité des réponses. La compression des poids de FP8 à INT4 diminue fortement l'empreinte mémoire et la bande passante, accélère le décodage (surtout à faible concurrence) et maintient des performances de benchmark comparables. Un système de traçage et de vérification des pages du cache empêche les corruptions inter‑requêtes avec un coût mesuré inférieur à 1 % en débit et latence, et ces travaux sont déployés et partagés via le framework open source SGLang.

blog.cloudflare.com Resume pret HTTP 200 Commentaires

Devtools must be open source

Il y a quelques années, peu d'ingénieurs développaient des logiciels pour leur usage personnel en raison du coût d'entretien et du manque de temps. Aujourd'hui, des agents permettent de personnaliser facilement des logiciels en automatisant deux tâches clés : modifier localement le code source et configurer un processus nocturne qui réapplique et teste automatiquement les changements contre l'amont. Ces instructions peuvent être intégrées comme compétences ouvertes dans l'agent, ce qui rend possible la personnalisation par simple consigne sans écrire de code supplémentaire. L'auteur illustre cela avec meat.dev, un outil qui réduit automatiquement les diffs grâce aux LLMs et qui, intégré à Shelley, prétraite les commits en arrière-plan pour accélérer la revue de code. La généralisation des agents change l'économie du développement : personnaliser devient peu coûteux, remplaçant souvent les systèmes de plugins et de configuration et rendant l'accès au code source essentiel, tandis que les agents propriétaires ferment l'option de personnalisation.

blog.exe.dev Resume pret HTTP 200 Commentaires

Show HN: Run an 80B Qwen in 4.3 GB of RAM on a Mac, and a 35B on an iPhone

Swiftlet est un runtime en Swift et Metal qui permet d'exécuter la famille hybride Qwen3‑Next et Qwen3.5/3.6 MoE sur Apple Silicon en gardant uniquement le noyau dense en mémoire et en streamant les poids d'experts depuis le stockage. Il fait tourner Qwen3.6‑35B en ~18 Go sur disque et ~2,6 Go de RAM (environ 1 tok/s sur iPhone aujourd'hui, 7–11 tok/s sur Mac M5) et Qwen3‑Next‑80B en ~42 Go sur disque et ~4,3 Go de RAM (4,5–5 tok/s sur Mac M5). Le système regroupe les experts en blobs .qpack à stride fixe pour que chaque expert soit récupéré par un seul pread depuis le SSD, met en cache les experts chauds avec une politique LFU plus récence, et exécute tout le passage avant sur Metal via des shaders compilés à l'exécution. Swiftlet se propose comme une bibliothèque Swift (SwiftletCore), un CLI (swiftlet chat/generate/repack), un serveur OpenAI‑compatible en loopback et un moteur intégré à l'application iOS Priv AI, avec outils de recompression et installation résumable depuis Hugging Face. L'implémentation est validée contre les références mlx‑lm pour la précision des couches et des kernels, reprend des enseignements de TurboFieldfare, est entièrement open source sous licence Apache 2.0, et les poids de modèles restent soumis à leurs propres conditions.

github.com Resume pret HTTP 200 Commentaires

LLMs reward expertise

Les LLM ont rendu accessibles de nombreuses tâches techniques à des généralistes en produisant des résultats suffisants, si bien que débutants et experts obtiennent souvent des réponses similaires en surface. L'auteur soutient que l'habileté réelle en prompting repose sur l'expertise du domaine, ce qu'illustre la conversation de Terence Tao avec ChatGPT sur un contre-exemple à la conjecture jacobienne, où la connaissance profonde de Tao lui a permis d'aller plus loin que l'auteur. Le style de Tao — messages concis signalant son expertise, remise en question subtile et propositions de sa part — oriente le modèle vers un registre d'experts et produit des sorties plus utiles et plus concises. De la même façon, en développement logiciel la familiarité avec une base de code ou avec des détails concrets du système permet aux humains de pousser davantage le modèle en repérant ce qui paraît étrange, en proposant des alternatives et en exigeant des solutions plus simples ou plus pertinentes. L'article conclut que l'expertise humaine restera précieuse même si les modèles s'améliorent, car des experts sont nécessaires pour préciser les exigences et valider les résultats, point appuyé par les commentaires de la communauté et la pratique d'OpenAI consistant à faire vérifier par des mathématiciens les découvertes suggérées par les modèles.

www.seangoedecke.com Resume pret HTTP 200 Commentaires

KotlinLLM

Ce plugin pour IntelliJ IDEA permet d'expérimenter des Smart macros en Kotlin/JVM, où des appels explicites en Kotlin sont soutenus par du code source Kotlin généré. L'API publique fournit deux macros, asLlm<F,T>(from,hint) pour convertir des valeurs et mockLlm<T>() pour générer des implémentations d'interfaces pouvant évoluer à partir d'interactions d'exécution, et le modèle n'est consulté qu'en cas d'échec du code généré. L'architecture comprend une API publique, une infrastructure statique pour router les appels vers des providers générés et une infrastructure dynamique constituée de fichiers bootstrap, providers, parsers et mocks maintenus par le plugin. Au lancement via une configuration spéciale, le plugin scanne le projet, génère ou met à jour les sources, attache le débogueur via JDI, capture les valeurs au point d'échec, demande à un agent LLM une mise à jour ciblée, compile le code modifié et recharge la classe pour relancer l'appel. L'utilisation requiert IntelliJ IDEA 2025.2.x, JDK 21, une clé OpenAI stockée dans .kotlinllm, la présence du fichier API stable dans le projet et un dossier de sources générées et de builds, et les sources générées sont conçues pour être commitées car les mises à jour sont étroites et portables en Kotlin.

github.com Resume pret HTTP 200 Commentaires