Топ вопросов по математике для ML и Data Science собесов: линейная алгебра и матан

Математикой ^[1] часто пугают новичков ML и Data Science. В этой статье разберем, что спрашивают и до какой глубины изучать математику для собеседований.

Статья не рассчитана на изучение математики до уровня вышмата в вузе – но для трудоустройства это и не является обязательным критерием. Тем не менее материал может послужить отправной точкой изучения математики и неким роадмапом, что важно, а что нет.

Содержание:

• Линейная алгебра
  вектора, матрицы, операции над ними и др

• Математический анализ
  пространство, градиент, апроксимация и др

• Полезные материалы

Статьи серии

Математика: линейная алгебра и математический анализ [эта часть]

Математика: теория вероятностей, статистика и оптимизация [Soon… Stay fine-tuned…]

classic ML: основы мл, линейные модели, метрики классификации и регресии ^[2]

classic ML: Деревья и ансамбли, кластеризация, метрические модели ^[3]

NLP: трансформеры и внимание ^[4]

NLP: GPT, LLM, Alignment и оптимизации [Soon… Stay fine-tuned…]

NLP: LLM и RAG ^[5]

NLP: LLM и агенты [Soon… Stay fine-tuned…]

Чтобы не пропустить выход статей и видео по ML, DS, DL, подпишись на мои соц. сети:

• В Telegram канале ^[6] – регулярный контент по ML и Data Science

• На Ютуб канале ^[7] – видеоразборы вопросов с собеседований (и по этой статье)

• На Boosty ^[8] – разборы задач по математике, реальных собеседований и еще больше обучающих материалов

• Полная карта ^[9] со всем моим контентом

• Вкат с нуля или повышение грейда в ML – менторство ^[10]

Линейная алгебра

В статье встречаются различные математические обозначения, если вы не знаете или подзабыли, что они значат, я подготовил небольшую шпаргалку ^[11] по обозначениям.

Что такое вектор и какие операции с ним можно делать?

Операции и свойства

• У вектора есть направление и длина

• Вектора можно складывать

• свойства сложения:

  • Коммутативность: u+v=v+u

  • Ассоциативность: (u+v)+w=u+(v+w)

  • Существование нулевого вектора: u+0=u

  • Существование противоположного вектора: u+(−u)=0

• Вектор можно умножать на число

• Свойства умножения на скаляр:

  • (λ+μ)u=λu+μu

  • λ(u+v)=λu+λv

  • (λμ)v=λ(μv)

  • 1⋅v=v

• Скалярное произведение 2х векторов

• Свойства скалярного произведения:

  • ⟨u,v⟩=⟨v,u⟩

  • ⟨v,v⟩≥0 и ⟨v,v⟩=0  ⟺  v=0

  • ⟨λu,v⟩=λ⟨u,v⟩

  • ⟨u+v,w⟩=⟨u,w⟩+⟨v,w⟩

С помощью скалярного произведения можно определить такие понятия как норма вектора и косинусная близость.

Что такое норма вектора?

Простыми словами норма – это мера длины вектора.

Более формально, то:

Норма – это функция 

∥⋅∥: V→R, обладающая следующими свойствами:

1. Неотрицательность: ∥x∥≥0

2. Обращение в нуль: ∥x∥=0  ⟺  x=0

3. Неравенство треугольника: ∥x+y∥≤∥x∥+∥y∥,∀x,y∈V

4. Однородность: ∥αx∥=∣α∣ ∥x∥,∀ α∈R  (или C),  ∀ x∈V

Где в машинном обучении применяется норма вектора?

Норма помогает нам в машинном обучении ^[12] определить размер вектора (объекта), а также измерить расстояние между векторами (объектами)

Есть разные виды норм:

Что такое косинусная близость? Зачем она нужна?

Что такое матрица?

Где в мл пригождается матрица?

Для дальнейшего понимания важно отметить, в линейной алгебре матрица задает линейное преобразование, которое мы часто будем использовать в машинном обучении.

Какие операции можно делать с матрицами?

Матричное произведение используется очень много где в мл, и в особенности в глубоком обучении, например:

Какие виды матрицы существуют?

Что такое линейная комбинация векторов?

Простыми словами: это сумма векторов, умноженных на число:

На выходе получаем снова вектор.

Что такое линейная зависимость / независимость?

Если вектор из линейной комбинации можно выразить через комбинацию других векторов, то вектора линейно зависимы.

Более формально: Система векторов линейна зависима, если существует такая линейная комбинация векторов, что она равно нулевому вектору, при этом не все веса перед векторами в системе не равны нулю

Система векторов линейно независима, если получить нулевой вектор в линейной комбинации возможно только когда все коэффициенты равны 0.

Где в мл используется линейная зависимость / независимость?

В машинном обучении у нас система векторов это столбцы признаков. и мы хотим понять, это является ли эта система линейно независимой

Что такое пространство?

Что такое базис?

Базис векторного пространства — это система линейно независимых векторов, которые порождают все пространство. Базисные векторы имеют единичную длину. Любой вектор v из V можно выразить в виде линейной комбинации базисных векторов

Примером базиса могут быть вектора (1, 0) и (0, 1) в R^2

кстати, это еще называется каноническим базисом

Что такое размерность пространства?

Размерность векторного пространства V – это число векторов в базисе этого пространства. Обозначается как dim(V). Размерность показывает минимальное число векторов, достаточное для порождения пространства.

Пример:

В R^n: размерность равна n, то есть в пространстве находятся векторы размерности n

Что такое ранг матрицы и как его интерпретировать?

Ранг матрицы – это максимальное число линейно независимых строк или столбцов.

Грубо говоря, он показывает, сколько полезной, не повторяющейся информации содержит матрица.

Что такое обратная матрица и обратимая?

Когда мы работаем с числами, то на операцию деления можно смотреть как на операцию умножения на обратный элемент.

Например: a/b = a*b^-1

но b^-1 такой, что b*b^-1 = 1

В матрицах похожая история:

матрица B^-1 обратная, если B*B^-1 = E

где E – единичная матрица

и вот B – уже будет называется обратимой

Но в отличие от чисел, обратная матрица не всегда существует

Что такое определитель и как его интерпретировать?

Определитель – это скаляр, который показывает, во сколько раз линейное преобразование, заданное матрицей, изменяет объём нашего пространства, в котором мы действуем этой матрицей.

Нам не особо интересно, как он считается, самое главное, что, если определитель матрицы равен 0, то матрица вырожденная, то есть необратимая, потому что матрица с определителем, равным нулю, превращает все векторы пространства и само пространство в тыкву – оно вырождается в 0. Поэтому и название такое – вырожденная матрица.

В мл вырожденные, или близкие к такому состоянию, матрицы опасны, поскольку могут породить проблемы при обучении, ведь ее строки или столбцы линейно зависимы, а, значит, будет мультиколлинеарность, неустойчивость обучения и, как следствие, переобучение.

Что такое собственные значения и собственные векторы?

Применяя матрицу к вектору, последний может повернуться на какой-то градус в пространстве, а также растянуться или сжаться в какое-то число раз.

Если мы применим матрицу А к вектору v и окажется, что последний только растянулся или сжался в lambda раз, то есть

то этот вектор v – собственный вектор матрицы А, а скаляр lambda – собственное, или сингулярное, число. 

Эти вещи часто используются в методах понижения размерности: например в сингулярном разложении матриц (SVD).

Что такое число обусловленности?

Оно показывает, насколько решение Ax=b чувствительно к небольшим изменениям. 

Большое число обусловленности – это признак нестабильности (плохой обусловленности), особенно опасной при решении систем, в которых матрица X^TX близка к вырожденной. Если матрица плохо обусловлена, то даже небольшие погрешности в матрице признаков X или целевой переменной y могут привести к большим ошибкам в предсказанных весах w. Такое может случиться, если:

• Признаки сильно коррелированы (мультиколлинеарность). 

• Признаки на разных масштабах.

• Слишком много признаков

Математический анализ

Что такое функция одной переменной?

Функция – это правило, по которому каждому значению независимой переменной x из множества Х ставится в соответствие единственное значение y из Y: f(x) = y, x -> y

X – область определения

Y – область значений

Что такое функция нескольких переменных?

Функция нескольких переменных это тоже правило, по которому мы каждому x ставим в соответствие y

но x это уже вектор значений (x1, x2, …, xn)

y = f(x) = f(x1, x2, …, xn)

Функции особенно важны в анализе данных и машинном обучении, поскольку они:

• Позволяют моделировать зависимость между входными признаками и целевой переменной.

• Помогают оценить качество модели (через функцию потерь).

• Лежат в основе алгоритмов оптимизации, которые настраивают параметры моделей, чтобы добиться их наилучшего функционирования.

Что такое предел последовательности?

Начнем с последовательности

Ну а предел это то число L, к которому стремится xn при n→∞

Предел последовательности – фундаментальная вещь в матанализе, на основе которой строится понятие непрерывности.

Что такое непрерывность тогда?

Если функция непрерывна, то это нам обеспечивает стабильность и предсказуемость поведения ^[13]. Позволяет понять, как малейшие изменения входных данных отражаются на результате.

Если говорить более формально, то

функция f(x) называется непрерывной в точке x0 если выполняются два условия:

• Существует значение f(x0).

• Существует предел lim x→x 0f(x), и он равен значению функции в этой точке:

  lim x→x0 f(x)=f(x0).

Если функция непрерывна, то у нее нет неожиданных скачков и разрывом в точке х0

Что такое производная?

Производная функции f(x) в точке x0 определяется как предел отношения приращения функции к приращению аргумента, если этот предел существует:

• Δx — малое изменение (приращение) аргумента функции,

• f(x 0 +Δx)−f(x0) — соответствующее изменение (приращение) значения функции.

Функция f(x) называется дифференцируемой в точке x0, если её производная f′(x0) существует. Это означает, что предел, представленный в формальном определении, существует и конечен.

Если функция дифференцируема в каждой точке некоторого интервала, она называется дифференцируемой на этом интервале.

Важно отметить, что если функция дифференцируема в точке x0, то она обязательно непрерывна в этой точке. Однако обратное не всегда верно: непрерывность функции не гарантирует её дифференцируемость.

Какой геометрический смысл производной?

Геометрический смысл производной – это касательная к функции в точке х0

а почему?

Также важным свойством производной является то, что она показывает скорость роста функции f(x) в точке х

Что такое гладкая функция?

Гладкая функция f(x) означает, что

• функция f(x) непрерывная

• у нее есть производная f’(x)

• и сама производная f’(x) непрерывная

Как раз поэтому в машинном обучении и в частности в методах оптимизации мы хотим, чтобы рассматриваемые нами функции были непрерывными, дифференцируемыми и гладенькими!

Что такое частная производная?

Частная производная – это производная функции многих переменных по одной из координат:

В формуле выше у нас функция имеет несколько переменных (x_1,…,x_n), и мы взяли производную по переменной x_k. Все остальные переменные фиксируются, а производную рассматриваем только относительно выбранной переменной x_k.

Частные производные потом используются в понятии градиента.

Что такое градиент?

Вспоминая свойство производной, градиент похожим образом показывает нам направление наискорейшего возрастания функции.

В ML градиенты просто везде и всюду

например градиент нужен в методе оптимизации нейронных сетей, который называется градиентный спуск

и градиент на каждом шаге оптимизации показывает нам в какую сторону идти, чтобы сойтись в оптимальное значение функции потерь

Что такое максимум и минимум?

Локальный экстремум —-максимум или минимум в окрестности точки.

Глобальный экстремум – максимум или минимум на всей области определения.

Что такое аппроксимация / интерполяция / экстраполяция функций?

Аппроксимация функции – это приближение одной функции другой, более простой.

Допустим, у нас есть сложная закономерность и мы ее не знаем, но можем делать наблюдения x и получать значения в этих точках y

изначально мы ничего не знаем про истинную зависимость y от x, но может приблизить ее через фукнцию f(x)

это будет грубое иногда не совсем точное приближение, но с ним уже можно что-то делать

Интерполяция простыми словами – это нахождение неизвестных промежуточных значений с помощью нескольких известных. Интерполировать – это, по сути, вставить дополнительные значения в ряд.

Экстраполяция – это метод нахождения значений за пределами интервала.

Какие-то модели МЛ умеют и интерполировать и экстраполировать, но вот например деревья в экстраполяцию не умеют.

Полезные материалы

Учебник Яндекса по математике ^[14] | реально классный хабропост ^[15] по математике | 3blue1brown на русском ^[16]

• В Telegram канале ^[6] – регулярный контент по ML и Data Science

• На Ютуб канале ^[7] – видеоразборы вопросов с собеседований (и по этой статье)

• На Boosty ^[8] – разборы задач по математике, реальных собеседований и еще больше обучающих материалов

• Полная карта ^[9] со всем моим контентом

• Вкат с нуля или повышение грейда в ML – менторство ^[10]