Основы парсинга сайтов: от HTML до готового датасета для NLP
Вы освоили машинное обучение, знаете, чем transformer отличается от LSTM, но где брать данные для своих проектов? Готовые датасеты — это хорошо, но они общие. А если вам нужны посты из конкретного Telegram‑канала, отзывы с узкопрофильного форума или корпус текстов по редкой теме?Парсинг сайтов — это навык, который превращает интернет в вашу персональную фабрику данных. Без него даже самая умная модель останется без «топлива». В этой статье мы рассмотрим весь путь: от первого запроса к сайту до готового датасета, пригодного для обучения.
Эффект «галлюцинаций»: когда ИИ врет уверенным голосом
Статья подготовлена в рамках курса «Машинное обучение для начинающих».Недавно в «беседе» с умной колонкой я задал ей вопрос относительно исполнителя одной музыкальной композиции. Колонка уверенно ответила, однако, так как у меня были сомнения в правильности, я переспросил ее и на этот раз она назвала другое имя. Также, при работе с различными языковыми моделями мне приходилось неоднократно сталкиваться с ситуациями, когда, к примеру, нейросеть неверно указывала нормативные документы, статьи законов и так далее
Жизнь сквозь призму LLM. Часть 1 — почему мы будем платить не за сервис, а за доступ к мышлению
Разговор про большие языковые модели до сих пор слишком часто ведётся по одной из двух схем. Либо восторг: «смотрите, нейросеть уже пишет код и тексты», либо скепсис: «она всё равно галлюцинирует». Ни то, ни другое уже не отражает масштаб происходящего.Всем привет! Меня зовут Дмитрий Фырнин, я управляющий партнёр и технический директор в SENSE, и собрал серию материалов-рассуждений о том, как LLM меняют нашу жизнь — а где-то уже изменили — на уровне среды, в которой мы работаем и принимаем решения.
OpenAI выпустили GPT-5.5: пишет код дешевле предшественника
GPT-5.5 — это следующая модель после GPT-5.4, ориентированная прежде всего на агентную работу: многошаговые задачи, где модель планирует, использует инструменты и доводит работу до конца без постоянного участия пользователя.На Terminal-Bench 2.0 (сложные командно-строковые сценарии с планированием и итерациями) модель показала 82.7% против 75.1% у GPT-5.4. На SWE-Bench Pro, который оценивает решение реальных GitHub-задач, — 58.6%. Примечательно, что этих результатов GPT-5.5 достигает при меньшем количестве токенов, чем предшественник.
Оптимизация параметров языковой модели на основе графа со-встречаемости слов: когда больше — не значит лучше
В последние годы мы привыкли, что прогресс в NLP измеряется гига- и терабайтами параметров. Кажется, единственный путь к улучшению качества модели — увеличение ее размера. Но так ли это для специализированных задач?Мы решили пойти от обратного: можно ли заранее, еще до обучения, понять, насколько большой должна быть модель, чтобы эффективно решать конкретную задачу классификации?
Почему ваш LLM-сервис ведёт себя как хочет, а не как вы просите
Вы пишете промпт. Подробно, вдумчиво, с примерами. Деплоите в сервис. Запускаете — и получаете markdown-обёртку вокруг JSON, который вы просили.
Бесплатная Stealth-модель оказалась в топе OpenRouter за 72 часа
13 апреля на OpenRouter появилась Elephant Alpha — 100-миллиардная языковая модель без имени автора, пресс-релиза и маркетинга. Через несколько дней она заняла первое место в Trending-ранкинге платформы, обойдя платные модели по реальному потреблению токенов.
Ваш любимый ИИ не умеет считать. Что ещё скрывает текстовая модель?
Технократический разбор для инженеров и бизнес-аналитиков. Без преувеличений и продающих лозунгов.Данная статья представляет собой результат кабинетного исследования об основных особенностях работы ИИ (LLM, модель). Здесь в систематизированном виде относительно простым языком описано, как реализуется вся та “магия” про ИИ, с которой мы сталкиваемся сами или слышим в восторженно-продающих материалах.Сразу уточню, что под ИИ тут понимается именно публичная Большая языковая (текстовая) модель (LLM), вроде ЧатаГПТ, ГигаЧата, Дипсика и др.В этой статье мы:
