парсинг. - страница 3

Умная афиша концертов Золотого кольца России: Python + LLM

Содержание: 1. Знакомство с сервисом 2. Архитектура 3. Важные нюансы 4. Развёртывание в PROD1. Знакомство с сервисомКак это работает? Представим, что «Знаток концертов» — Ваш умный библиотекарь 📚. Он настоящий специалист в своём деле, и по каждой книге (концерту) у него есть заметка с кратким содержанием 📝Вы приходите к библиотекарю с мыслью "что-то этакое почитать"

продолжить чтение

Cloudflare заблокировала 416 млрд запросов ИИ-ботов на парсинг за пять месяцев

Генеральный директор Cloudflare Мэтью Принс заявил, что компания заблокировала более 416 млрд запросов от ИИ-ботов с июля этого года. Такую работу провели в рамках инициативы «День независимости контента». Функция Cloudflare позволяет владельцам веб-сайтов блокировать ИИ-ботов по умолчанию, если их владелец не заплатит за доступ к контенту.

продолжить чтение

TOON: новый формат на смену JSON для более эффективного взаимодействия с LLM?

TOON — это ещё один способ записать те же самые JSON-данные, но компактнее и понятнее для моделей. Вместо  "key": "value" он использует отступы как YAML и табличную запись для массивов объектов: шапка с названиями полей, дальше строки с данными.

продолжить чтение

«Википедия» призывает компании в сфере разработки ИИ использовать её платный API и прекратить парсинг данных

Фонд «Викимедиа» представил план, который позволит обеспечить дальнейшую поддержку «Википедии» в эпоху искусственного интеллекта, несмотря на снижение трафика. Организация призвала разработчиков ИИ использовать контент её энциклопедии ответственно, обеспечив при этом правильное указание авторства и доступ к материалам через платный проект фонда — платформу Wikimedia Enterprise.

продолжить чтение

DSL против универсальных языков: когда стоит создавать собственный доменный язык и как избежать ошибок

Мир разработки полон соблазнов изобретать собственные решения. Один из самых ярких соблазнов — создать свой DSL (Domain-Specific Language). Это звучит красиво: язык, который идеально отражает задачи конкретной предметной области. Но где заканчивается здравый смысл и начинается велосипедостроение? В статье я попробую на примерах показать, когда DSL — это спасение, а когда лучше взять старый добрый Python, C# или даже Bash.

продолжить чтение

Запускаем личный АИ-инфоконвейер: как я строю систему смыслового мониторинга с YAML и GPT

Отслеживаем новости, документы и тендерыRostral.io размышляет над ответом вместо вас

продолжить чтение

Сверхспособность LLM в понимании документа, сконвертированного в текст с ошибками — или почему наш RAG работает

Недавно я столкнулся с интересным поведением языковой модели, которое меня по-настоящему удивило, и хочу поделиться этим наблюдением с сообществом.

продолжить чтение

Обратная сторона Babel: как микроскопические языки помогают в изучении больших

В этой статье рассказывается, как крошечные, экспериментальные языки программирования, размером порой меньше 100 строк, могут неожиданным образом углубить понимание сложных промышленных языков. Будет показано, как микроязыки раскрывают суть концепций, скрытых в слоистых абстракциях Java, Rust или C++. Много примеров, кода и немного лирики.

продолжить чтение

Топ парсеров и API-сервисов сбора данных: сравнение скорости, масштабируемости и обхода защит — парсеры на максималках

Автоматический сбор данных (парсинг сайтов, или web scraping) стал неотъемлемой практикой для разработчиков, аналитиков и автоматизаторов. С его помощью получают массовую информацию с сайтов – от цен конкурентов и отзывов до контента соцсетей​. Для этого разработано множество “парсеров” – библиотек, фреймворков и облачных сервисов, которые позволяют извлекать веб-данные программно. Одни решения требуются для быстрого парсинга статичных страниц, другие – для обхода сложной JavaScript-навигации, третьи – для получения данных через API. В этой статье я рассмотрю топ инструментов для парсинга сайтов

продолжить чтение

123