17 тысяч замеров и один FreeStyle Libre: год данных о диабете у кошек
Привет, Хабр!Почти год назад я рассказывал, как за 5 дней написал приложение Diabnostic для мониторинга диабета у своей кошки. В марте делился первым датасетом: 6 773 замера от 121 питомца. С тех пор произошло три вещи.
Из хаоса закладок — в галерею визуализаций: история создания DataDrops
Если вы работаете с данными или просто любите графики и карты, то наверняка знаете то самое чувство. Увидели классную визуализацию, захотели сохранить, кинули в закладки или переслали себе в чат. А через пару недель она либо потерялась, либо вы уже не помните, зачем вообще её сохраняли.У меня было ровно так же. Моя личная коллекция датавиза выглядела как хаос из закладок в браузере, сохранённых постов в LinkedIn и случайных ссылок в Notion Obsidian. Найти что-то конкретное спустя время было почти невозможно.Поэтому в какой-то момент из всего этого хаоса появился DataDrops
46 критериев и модель Jev: как устроен открытый индекс риска глобального конфликта
Привет, Хабр!Мы тонем в новостях: тут говорят одно, там — противоположное, а где правда — непонятно. Информации слишком много. Не хватает инструмента, который показывал бы, как риск меняется во времени: по открытым данным, а не по громкости заголовка. Такого инструмента я не нашёл. Пришлось собрать самому.Получился Индекс Кассандры — еженедельный сервис про уровень и направление риска глобального конфликта. Без регистрации, трекеров и подписок. Код, методика, данные и тесты открыты на GitHub, сайт статический (GitHub Pages).
Период полураспада бенчмарка ИИ сократился вдвое: 19 месяцев вместо 38
В мае я подал OenoBench, винный бенчмарк для языковых моделей, на NeurIPS. В дискуссии с ревьюерами всплыл вопрос, на который ни у меня, ни у них не было опоры: какой результат на релизе считать достаточным для нового бенчмарка и сколько он вообще проживёт.
Кто будет работать в России в 2032 и 2040 годах: считаю по демографическому прогнозу Росстата
Решил, значится, посчитать, сколько людей вообще примерно может работать в России в 2032 и 2040 годах и для этого я обратился к данным Росстата и отдельно еще учел пенсионную реформу, которая заканчивается в 2028 году, плюс еще использовал некоторые данные по ИИ от ВШЭ. Тема очень обширная и тут будет приличный такой лонгрид с графиками, так как хочется детально и последовательно подойти к вопросу демографии. При этом, это отнюдь не исчерпывающее исследование, так как и ежу понятно, что факторов слишком много. Но надеюсь, материал вам понравится и вы найдете в нем что-то полезное.
Как я собрал винный бенчмарк на 3 266 вопросов руками LLM и где они меня подвели
В феврале я решил измерить, сколько языковые модели на самом деле знают про вино. Умеют ли они поддержать разговор о Бордо, мне было неинтересно. Меня интересовало, знают ли они, сколько месяцев Бароло обязано провести в бочке и в каком округе штата Вашингтон лежит AVA Beverly. К сентябрю из этого вышел бенчмарк OenoBench: 38 104 факта, собранных 35 скраперами из открытых источников, 3 266 вопросов с выбором ответа и прогон шестнадцати моделей. Почти всю работу сделали агенты: вопросы генерировали пять моделей, проверяли их десять агентов аудита. Я был единственным человеком в этой схеме и отвечал за то, что агенты проверить не могут: за вино.
DataGov 2.0: куда смотреть, чтобы ИИ-агенты не сожгли ваш бюджет
Искусственный интеллект стал неотъемлемой частью нашей жизни и в том или ином виде внедряется практически в любой крупной компании. Все это порождает новые объекты управления, которые уже не укладываются в классический DataGov. Поэтому DataGov 2.0 — это эволюционное развитие. Data Governance остается фундаментом, но к нему добавляются Model Governance, AI Risk Management и слой, который поставляет AI-ready данные в ИИ-системы.
Система экстренных оповещений на 15 тысяч пользователей: LLM, PostGIS, Qdrant и Telegram
В нашем телеграм-боте — системе экстренных оповещений «Мигалка» — нужно в реальном времени обрабатывать сообщения примерно из тысячи телеграм-каналов и доставлять релевантные события пользователям в конкретных локациях.Официальные предупреждения о прилетах дронов и ракетных ударах часто приходят
Пересмотрел свое отношение к Obsidian когда сделал второй мозг на 219 тысяч файлов
Уже полтора года я строю себе цифрового двойника: базу знаний, где лежит вся моя жизнь за десять лет, и агента, который этой базой пользуется вместо меня.Начинал я как все, со связки Obsidian и Claude.Первые свои выводы начал делать после того, как загружено было 219 353 файла. Я не знаю как для вас, но для меня Obsidian теперь - это просто программа для просмотра, а не то что я раньше про него думал. Вся ценность всего этого массива моих данных - в трёх вещах: обычные текстовые файлы на диске, ссылки, перелинковки между ними и агент, который читает и пишет их напрямую.Как это у меня устроено сейчас и сколько токенов на это потрачено
