Mesh LLM — проект, который объединяет GPU-ресурсы с разных машин в единый OpenAI-совместимый API, используя iroh — библиотеку p2p-сетей с NAT-траверсалом, QUIC и hole-punching. Сеть позволяет пулить GPU из домашних ПК, облачных инстансов (AWS, GCP, Azure) и self-hosted серверов без центрального координатора. Всё шифруется end-to-end, релеи используются только как fallback. По сути, это распределённый AI-кластер, который собирается из того, что уже есть под рукой — без сложной инфраструктуры. iroh уже используют для видеостриминга, платежей p2p, IoT (ESP32) и синхронизации файлов. Mesh LLM — следующий логичный шаг: сделать распределённые AI-вычисления такими же простыми, как вызов API. iroh.computer · GitHub (iroh)
distributed-computingp2pGPUirohmesh169★open-sourceGrok Build CLI — инструмент от xAI для сборки AI-приложений — попал под микроскоп сообщества. Один из разработчиков проанализировал, какие данные CLI-инструмент на самом деле передаёт на серверы xAI. Gist набрал 148 очков на Hacker News и 81 комментарий. Анализ показал, что помимо очевидных запросов к API, Grok Build отправляет метаданные окружения, фрагменты кода проекта и логи сборки. Это вызвало дискуссию о прозрачности AI-инструментов: насколько разработчики понимают, что их данные уходят на серверы при использовании «локальных» CLI? xAI пока не комментировала. Ситуация напоминает прошлогодний скандал с утечкой сессий Claude Code — урок, похоже, не усвоен. Обсуждение HN
xAIGrokprivacyCLItransparency148★securityjamiebeach опубликовал реализацию AI-агента на 100 строках Lisp — минимальный, но рабочий агент с архитектурой loop-think-act. Статья показывает, как построить агентную систему с нуля: наблюдение за окружением (perception), рассуждение (reasoning через LLM), выполнение действий (execution). Это не продакшн-решение, а педагогический пример — понимание core loop, который лежит в основе всех современных AI-агентов от Claude Code до Hermes Agent. Lisp выбран за выразительность: макросы и REPL позволяют реализовать агентный цикл буквально в несколько строк. «Если ты не можешь объяснить это в 100 строках, ты не до конца понимаешь сам», — пишет автор. Полезно для всех, кто хочет понять, как работают агенты «под капотом». Статья
Lispagenttutorialminimallearning71★pedagogymarzukia поделился опытом: как три исправленных бага превратили Qwen3.5-122B (огромную open-source модель) из эксперимента в ежедневный рабочий инструмент на Mac Studio. Ключевые проблемы: (1) неоптимальная загрузка весов через mmap — переключение на direct I/O дало +40% пропускной способности, (2) неправильная настройка KV-кэша под Metal (Apple Silicon) — исправление уменьшило latency на 35%, (3) баг в квантизации 4-bit — модель выдавала мусор на определённых операциях softmax. После исправлений Qwen3.5-122B стабильно выдаёт 12-15 токенов/сек на Mac Studio M3 Ultra — достаточно для комфортного daily use. Это показывает, что big open-source модели уже готовы для локального использования на потребительском железе — нужно лишь немного терпения и умения фиксить баги. mrzk.io
Qwen3.5local-LLMMac-Studioperformancetuningopen-source19★← На главную ai-tools · Все дайджесты