Запускаем LLM локально на майнинг ферме из 4 GPU
В последнее время становится все более популярным локальный запуск LLM. У каждогг свои причины, но основные это: проблемы с западными сервисами, нестабильный интернет и утечка данных в открытый доступ (преценденты уже были).В этой статье я расскажу как запускал LLM локально на майнинговом железе, какие тонкости есть при запуске. Расскажу архитектуру моей сборки и примерную стоимость железа. Также протестирую скорость работы с некоторыми наиболее популярными MoE LLM, включая модели от гугла и ChatGPT. По поводу целесообразности подобных сборок решение каждый примет сам исходя из своих задач и финансовых ресурсов.
Житель Калифорнии обвинил ChatGPT в доведении до самоубийства
Житель Калифорнии Майкл Лайнс подал в суд на компанию OpenAI и её генерального директора Сэма Альтмана. Мужчина утверждает, что чат-бот компании ChatGPT усугубил его психическое расстройство и подтолкнул к попытке самоубийства,
Почему Минобрнауки боится ИИ и правда ли, что дипломные работы утратили смысл?
ИИ помогает студенту писать дипломную работуГлава Минобрнауки Валерий Фальков считает
В американском суде пытались использовать переписку с ChatGPT с «доказательствами» — присяжных она не убедила
Федеральный суд в Лос‑Анджелесе
Что думают ТОП-компании про перестройку на AI native
Здравствуй, Хабр!Я давно сознательно избегал трех бесячих тем: фронтир-моделей, автономных агентов ради самих агентов и разговоров про AI-native компании. Потому что вокруг них сейчас слишком много маркетинга и слишком мало инженерной конкретики.Но после доклада AWS про команды в мире агентского ИИ стало понятно, что интересный вопрос тут не какая модель победит, а какая операционная модель переживет удешевление разработки и придумали ли уже что-то по делу. Статья перед тобой разбор тысяч публикаций про то что думают всяки MAANG о том какие команды в итоге получатся.
Microsoft раскритиковали за создание суперкомпьютера для OpenAI
Газета The New York Times предложила внести поправки в свой иск о нарушении авторских прав против OpenAI и Microsoft. Издание заявляет, что IT-гигант активно поощряет OpenAI к краже работ NYT, создав собственную суперкомпьютерную систему.
Утечка GPT-5.6 Pro: Клон «The Sims» одним промптом за 48 минут и революция в генерации 3D
Пока индустрия ждала планового релиза, OpenAI, похоже, втихую запустила A/B-тестирование GPT-5.6 Pro для части пользователей. Никаких анонсов, только внезапно возросшее время генерации (до 20-40 минут) и результаты, которые заставляют переосмыслить возможности LLM. Как насчет полностью функционального симулятора жизни со сложным стейт-менеджментом, NPC и системой профессий, сгенерированного в одном HTML-файле без использования IDE и сторонних фреймворков? Спойлер: модель теперь понимает не только код, но и физику 3D-пространства.

