Дифференцирование матрицы: разбираем формулы

Обновление: 8 января 2020
Обновление: 16 февраля 2020

Вместо введения

С момента прошлой заметки по данной теме прошло много времени, но интерес к изложенному в ней не утихал. Разобравшись с основной проблемой (как, собственно, реализовать дифференцирование) читатели стали задавать вопросы о двух приведённых в тексте формулах. На этих формулах построен весь вывод, но сами они не выводятся, а сопровождены комментарием о простоте их получения при должной внимательности. Настало время.

Замечание о качестве

Мне никогда не попадался вывод этих формул. Обычно, если у вас проблемы с матрицей, то надо обращаться либо к Нео, либо к Гантмахеру    [?]

Ф.Р. Гантмахер "ТЕОРИЯ МАТРИЦ"

. Но в этот раз - мне никто не помог. Так что, не обессудьте: вывел как умею.

Технология

Подобные формулы ("Нагромождение из матриц" - "знак равенства" - "некоторая функция от матриц") выводятся стандартно: вы опускаетесь на уровень ниже - до компонент объектов (разбирая что там "под капотом" происходит), аккуратно (я бы даже сказал "осторожно") проделываете все преобразования с позиции компонент, получаете некий, более-менее конечный, результат и поднимаетесь на уровень выше (пытаясь интерпретировать формулы из компонент с позиции исходных объектов).

Первая формула

Отмечу, что это частный случай для симметричной матрицы A. В более же общем случае, формула имеет вид:
Для того, чтобы выражение в скобках можно было вычислить, необходимо, чтобы объекты имели следующие размеры:
Так как x - вектор, то min(m,n) = 1.

Зададимся конкретикой: пусть x - вектор-столбец, тогда n=1.

Объекты, таким образом, будут иметь вид:

Теперь, наконец-то, можно приступить к выводу. Здесь главное ничего не потерять, поэтому сперва аккуратно проделаем умножение x^TA, а затем домножим результат на x.


Ожидаемо, мы получаем скаляр, зависящий от вектора. Возьмём производную скалярной функции от векторного аргумента:


Чтобы получить данное выражение, необходимо найти общий вид производной по k-ой компоненте вектора. Попробуем сгруппировать слагаемые дифференцируемого выражения по компонентам вектора, опираясь на выражение для x^TAx, полученное ранее:


Очевидно, что раскрытие первых скобок даст нам x₁ в квадрате с множителем a₁₁ плюс сумму произведений x₁ со всеми остальными слагаемыми внутри первых скобок. Также, x₁ входит в остальные скобки по одному разу, что образует ещё слагаемые вида x₁*a_...*x_....

Таким образом:


Если присмотреться, можно заметить закономерность (приведены множители x_k: оставшаяся часть выражения скрыта за многоточием):


Теперь найти производную не составит труда:


В преобразованиях выше мы сначала объединили две сумму в одну (т.к. индексы, по которым идёт суммирование совпадают), затем первое слагаемое внесли как частный случай суммы под знак суммирования (в соответствии с индексом при x). Последняя операция изменяет условия суммирования: теперь сумма определена для всех возможных значений индекса j.

Наконец, можно заметить, что (a_jk+a_kj) при выполнении j=k соответствует (a_kk+a_kk) = 2a_kk. Таким образом, выражение для первого условия покрывает и выражение для второго условия - сумму можно переписать без ветвления. Для всех компонент вектора x формула коэффициента оказалась одинакова.

Теперь несложно продолжить дифференцирование:


Осталось заметить, что левый множитель представляет собой специфическое суммирование элементов матрицы. Несложно догадаться, что компонент jk складывается с kj при сложении матрицы с её транспонированным вариантом:


Оставляя начальное и конечное выражения, получаем:

Вторая формула

Формула (особенно, по сравнению с предыдущей) достаточна проста для восприятия и объясняется "на пальцах". x^Tb и b^Tx - это просто сумма попарного произведения компонент двух векторов (первый вектор приходится транспонировать для существования соответствующего матричного произведения). Ну и, не менее очевидное - скорость изменения от x каждой компоненты результирующего вектора определяется соответствующей компонентой вектора b.

Вместо выводов