Где ещё дают LLM API бесплатно: проверяю очередные находки
Проверил малоизвестные LLM API с бесплатными моделями, лимитами и реальными запросами. Вот что получилось:AtriaСайт: https://api.atria-asi.ai/Документация: https://api.atria-asi.ai/docsAPI: https://api.atria-asi.ai/v1Сразу после регистрации мне начислили 100 000 000 токенов.
Почему LLMProvider недостаточно: проектируем AI Gateway для SaaS на Go
Когда начинаешь делать AI-фичу в backend-приложении, первая архитектурная идея обычно выглядит очень здраво: спрятать конкретного провайдера за интерфейсом.Что-то вроде:type LLMProvider interface { Generate(ctx context.Context, req Request) (Response, error) }Сегодня за ним OpenAI-compatible API, завтра другой провайдер, послезавтра локальная модель. Код бизнес-логики от конкретного SDK не зависит, значит архитектурная задача вроде бы решена.
6 бесплатных AI API‑шлюзов: модели, лимиты и реальные RPM
Я проверил бесплатные AI API‑шлюзы реальными запросами: доступные модели, стартовые бонусы и ограничения RPM. Ниже — результаты тестов на момент публикации. VyceAIСайт: https://vyceai.comAPI: OpenAI‑compatibleBase URL: https://vyceai.comСписок моделей: GET /v1/modelsChat: POST /v1/chat/completionsПосле регистрации сервис начислил $40 внутреннего API‑баланса. Для доступа к моделям нужно привязать Discord.
Как превратить LLM‑разметку в универсальный Spark‑пайплайн
TL;DR: мы сделали llm_markup — Spark‑приложение для массовой обработки данных через LLM API в существующем Airflow‑контуре. Источник данных, промпт, формат ответа, лимиты и целевая таблица задаются конфигурацией. Инструмент берет на себя батчинг, распределение запросов, контроль нагрузки на API, валидацию ответов и сопоставление результата с исходными строками.Меня зовут Дима Иванов, я дата‑инженер в Lamoda Tech. Я работал над llm_markup
Как я сделал локальный RAG-сервис для SRE: ищем по документации, ранбукам и коду через Ollama
Недавно я делал учебный проект про автоматизацию документирования инцидентов. Поначалу планы были грандиозными: инциденты, таймлайны, интеграции с мониторингами, чатами, постмортемы, подсказки дежурным инженерам.Но довольно быстро стало понятно, что с временными и ресурсными ограничениями лучше не пытаться написать маленький PagerDuty. Поэтому я сузил задачу до более реалистичного ядра: локального RAG-сервиса, который ищет по документации, ранбукам и коду, а затем передаёт найденный контекст в LLM.Так появился llmortem — FastAPI-сервис, который можно подключить к OpenWebUI как OpenAI-compatible backend.
