SRE в инженерии данных: профессия и ее перспективы
Всем привет! Меня зовут Александр Андреев, я SRE дата-инженер. Сегодня я хочу рассказать о необычной, но набирающей обороты роли в области обработки данных - SRE Data Engineer: кто это такой, чем занимается, как им стать, куда развиваться и какие перспективы у этой профессии. ВведениеПредставьте ситуацию: пайплайн данных, который должен готовить критически важные отчеты, внезапно сломался. Есть всего несколько часов (в самом лучшем случае - дней), чтобы понять, что произошло, исправить проблему и убедиться, что данные будут готовы вовремя. А затем нужно автоматизировать процесс так, чтобы эта проблема больше не повторялась.
Как Supabase внезапно стал фундаментом вайб-кодинга
Supabase переживает настоящий взлёт, получив инвестиции в 200 миллионов долларов от фонда Accel и оценку в 2 миллиарда. Насколько это серьёзно? Достаточно серьёзно, чтобы инвестор из Accel решился на 17-часовой перелёт для встречи с генеральным директором Полом Коплстоуном в одном из самых отдалённых уголков Новой Зеландии. Коплстоун потом шутил, что так и не понял, прилетел ли инвестор из-за сделки или просто хотел потом рассказывать "эпическую историю", но в любом случае был впечатлён таким подходом.
Эра Big Data: новые возможности в принятии решений
Что такое Big Data?Big Data - это огромные объёмы данных, которые невозможно обработать с помощью традиционных методов.Они могут быть структурированными (например, данные из баз данных) или неструктурированными (например, текстовые данные из социальных сетей).Большие данные представляют собой колоссальные массивы информации, генерируемые в процессе повседневной деятельности индивидов и организаций.Эти данные аккумулируются, подвергаются обработке и анализу с применением специализированных технологий и методологий, что позволяет извлекать из них ценные инсайты и прогнозировать будущие тенденции.
Оценивание LLM в RAG на клиентских и синтетических датасетах: методология и результаты
Привет, Хабр! Меня зовут Таня, я аналитик качества в команде Базы Знаний Just AI. Наша команда занимается разработкой продукта для клиентских баз знаний на основе RAG и созданием таких баз под ключ.Одной из ключевых задач POC для наших заказчиков является оценка качества и точности ответов системы, а также выбор модели, которая обеспечит эти показатели. Чем точнее ответы, тем больше доверия к системе со стороны сотрудников/клиентов и меньше ручного труда по поиску доп.информации. 90% точности ответов — одно из основных требований большинства наших клиентов при выборе Базы Знаний
В Великобритании создают инструмент «предсказания убийств» для выявления будущих подозреваемых
Министерство юстиции Великобритании заявило, что оно разрабатывает алгоритм «предсказания убийств», чтобы выявлять людей, которые уже нарушали закон и могут в будущем решиться на убийство.
SQL и нейросети: изучаем логику моделей через анализ и визуализацию весов
SQL — это не только про базы данных. В машинном обучении его используют для анализа весов, поиска аномалий, сравнения моделей и визуализации их логики. SQL помогает определить значимость признаков, заметить переобучение и оценить работу модели.
Что будет интересного в pg_probackup 3
Сейчас, когда pg_probackup 3 активно готовится к релизу, но ещё не стал доступен для всех желающих, настал отличный момент обстоятельно поговорить о тех новшествах, которые будут нас ждать в релизе. Благо их более чем достаточно: начиная от полностью переосмысленной архитектуры самого приложения до долгожданных фич и возможности интеграции с другими приложениями.
Книги по базам данных, которые стоит прочитать в 2025 году
Всем привет! Это Миша Степнов, руководитель центра R&D Big Data в МТС Диджитал.Сегодня все говорят о цифровой трансформации и внедрении искусственного интеллекта в бизнес-процессы. Но многие забывают, что ИИ без данных не бывает
