Как я искал идеальный промпт для сопроводительных писем (и что оказалось важнее модели)
Моё приложение пишет сопроводительные письма к вакансиям на hh либо локальной моделью через Ollama, либо облачным API. Акцент в разработке я хотел сделать на локальную модель, потому что это просто-напросто бесплатно. Один вопрос портит красивую картину: а маленькая локальная модель вообще умеет писать так, чтобы не стыдно отправить работодателю?Я по умолчанию считал, что качество упирается в мощность модели и большая облачная всегда обгонит маленькую локальную. Чтобы проверить это на цифрах, а не на ощущениях, я собрал слепую оценку. За несколько заходов она показала, что рычаг, за который я тянул, был вообще не тот.
«Свой» уходит в опенсорс: вайб-темы, RAG поверх шифра и объектив, который знает контекст
Прошлая статья про «Свой» заканчивалась вопросом: что вообще делать с этим проектом — добивать и выкладывать в опенсорс, тянуть в «серую зону» на зарубежных моделях, или забыть. В итоге: я разобрался с 152-ФЗ, зарегистрировал все необходимые документы на обработку ПДн и трансграничную передачу и выложил проект в OpenSource.- основное приложение: https://github.com/Zazza/svoi-oss - внешний RAG (про него ниже — отдельная история): https://github.com/Zazza/svoi-oss-rag Лицензия — AGPL-3.0.
Теги реакций и собираемый промпт: как удержать характер ИИ-персонажа по ходу диалога
ПредысторияПоследние полгода с лишним я занимаюсь работой с LLM и созданием ИИ-персонажа. За это время я столкнулся с множеством проблем, решением которых хотел бы поделиться и, возможно, посоветоваться.Кому подойдёт эта статьяТем, кто хочет создавать прописанных персонажей для RP или ИИ-компаньоновЭнтузиастам, что хотят оживлять популярных персонажей из игр/комиксов/анимеИИ-энтузиастамНачало опытовКогда я только начал попытки создания своего пет-проекта с ИИ, я столкнулся с проблемой — вектор диалога меняется каждый ход и в конце концов становится неуправляемым.
Написал локального ИИ-ассистента для зумов: диаризация, граф знаний и ноль облаков
Полгода назад я прикинул, сколько рабочих созвонов ежедневно улетает на чужие сервера через модные ИИ-ноутейкеры. Стало как-то неуютно. Otter, Granola, Fireflies — все льют разговоры в облако. Granola в этом году вообще отличилась: The Verge раскопали, что заметки по дефолту доступны любому по ссылке, а на пользовательских данных крутят модели (opt-out ожидаемо зарыт в Enterprise-тарифе).Решил проверить, можно ли собрать ассистента целиком на своём железе. Спойлер: можно. Работает каждый день на M1 Max под Apache 2.0.Что получилось
Открытые LLM в продакшене: 8 выводов о llama.cpp, Gemma и Qwen
Об открытых языковых моделях написано много — и почти все статьи посвящены знакомству, в лучшем случае — «медовому месяцу» использования. Бенчмарки, рейтинги «лучших моделей года», полевые тесты на одной задаче, руководства. Гораздо реже говорят, что происходит потом: как ведет себя модель спустя месяцы непрерывной работы, где и почему начинает сбоить, что ломается под нагрузкой и какие инженерные решения постепенно вытесняют первоначальные представления о том, «как надо». В WB-Tech
От стримов к вебсокетам: как я боролся с буферизацией и наконец победил
Перефразируя Эдгара Дега:«Искусство — это не то, что ты делаешь, а то, что ты заставляешь машину сделать».Привет. Меня зовут Николай Пискунов, я руководитель направления Big Data и эксперт курса Cloud DevSecOps по безопасной разработке от Академии вАЙТИ Beeline Cloud. Продолжаю цикл статей о клиенте для облачного сервиса Ollama. В первой части я рассказал о начале работы над клиентом и оставил пасхалку про сломанный стриминг. Во второй
Сотрудники сливают данные в чужой ИИ. Разбираемся чем это грозит
Дисклеймер: это не юридическая консультация. Я айтишник, к.т.н. и преподаватель ИТ-дисциплин, а не юрист. Ниже — взгляд практика, который учит сотрудников компаний работать с нейросетями и постоянно натыкается на эти вопросы вживую.За последний год я провёл серию корпоративных тренингов по использованию ИИ для рабочих офисных задач — в разных по размеру компаниях. И очень часто в перерыве кто-нибудь из участников подходит и вполголоса спрашивает — «а ничего, что я договор с клиентом закидывал в ChatGPT, чтобы он мне выжимку сделал?»
Как я хакнул рынок труда: пишем свой ИИ-комбайн для автооткликов на HH.ru
Всем привет! Если вы хоть раз искали работу в IT за последний год, то знаете, что рынок не любит новичков без опыта. Вы откликаетесь на сотни вакансий, получаете отказы от скриптов-автоответчиков, а чтобы пробиться через фильтры HR, нужно под каждую вакансию писать уникальное сопроводительное письмо.На просторах интернета можно найти сервисы-автоотклики, которые просят за свои услуги от 3 000 до 5 000 рублей в месяц. Зачем платить за то, что можно написать самому?
