Калькулятор сингулярного разложения SVD

Добро пожаловать в Калькулятор сингулярного разложения (SVD) — мощный инструмент линейной алгебры, который разлагает любую матрицу на её фундаментальные компоненты. SVD факторизует матрицу A = UΣVᵀ и предоставляет пошаговые решения, интерактивные визуализации, анализ ранга, число обусловленности, качество аппроксимации низкого ранга и вычисление псевдообратной матрицы. Независимо от того, изучаете ли вы линейную алгебру, работаете в области машинного обучения или анализируете данные, этот калькулятор обеспечивает профессиональное разложение матриц.

Что такое сингулярное разложение?

Сингулярное разложение (SVD) — это факторизация любой m×n матрицы A на три матрицы:

Где:

• A — исходная m×n матрица
• U — ортогональная m×m матрица (левые сингулярные векторы, собственные векторы AAᵀ)
• Σ (Sigma) — диагональная m×n матрица с неотрицательными сингулярными числами σ₁ ≥ σ₂ ≥ ... ≥ 0
• Vᵀ — ортогональная n×n матрица (правые сингулярные векторы, собственные векторы AᵀA)

В отличие от собственного разложения, SVD существует всегда для любой матрицы, включая прямоугольные и вырожденные матрицы. Эта универсальность делает его одним из самых важных разложений в прикладной математике.

Как вычисляется SVD

1. Формирование AᵀA: Вычисляется симметричная n×n матрица AᵀA
2. Поиск собственных значений: Решается det(AᵀA − λI) = 0 для получения собственных значений λ₁ ≥ λ₂ ≥ ... ≥ 0
3. Сингулярные числа: σᵢ = √λᵢ (квадратные корни из собственных значений)
4. Правые сингулярные векторы (V): Поиск собственных векторов AᵀA, их ортонормирование для получения столбцов V
5. Левые сингулярные векторы (U): Вычисление uᵢ = Avᵢ/σᵢ для каждого ненулевого сингулярного числа, расширение до полного ортонормированного базиса

Ключевые свойства

Ранг матрицы

Ранг матрицы A равен количеству ненулевых сингулярных чисел. Это наиболее численно стабильный способ определения ранга, гораздо более надежный, чем метод исключения Гаусса, который чувствителен к ошибкам округления.

Число обусловленности

Число обусловленности измеряет чувствительность линейной системы Ax = b к возмущениям. Большое κ указывает на плохо обусловленную матрицу; κ = 1 — идеальный случай (ортогональные матрицы).

Нормы матрицы через SVD

• Спектральная норма (2-норма): \(\|A\|_2 = \sigma_1\) — наибольшее сингулярное число
• Норма Фробениуса: \(\|A\|_F = \sqrt{\sigma_1^2 + \sigma_2^2 + \cdots}\)
• Ядерная норма: \(\|A\|_* = \sigma_1 + \sigma_2 + \cdots\) — сумма всех сингулярных чисел

Применения SVD

Аппроксимация низкого ранга (Теорема Эккарта–Янга)

Теорема Эккарта–Янга–Мирского утверждает, что наилучшая аппроксимация ранга k матрицы A (в норме Фробениуса или спектральной норме) получается путем сохранения только k самых больших сингулярных чисел:

Ошибка аппроксимации составляет: \(\|A - A_k\|_F = \sqrt{\sigma_{k+1}^2 + \cdots + \sigma_r^2}\)

SVD против собственного разложения

Часто задаваемые вопросы

Что такое сингулярное разложение (SVD)?

Сингулярное разложение (SVD) — это разложение любой вещественной матрицы A размера m×n на три матрицы: A = UΣVᵀ, где U — ортогональная матрица m×m левых сингулярных векторов, Σ — диагональная матрица m×n сингулярных чисел, а Vᵀ — ортогональная матрица n×n правых сингулярных векторов. SVD существует для любой матрицы.

Для чего используются сингулярные числа?

Сингулярные числа раскрывают фундаментальные свойства матрицы: ранг (количество ненулевых сингулярных чисел), число обусловленности (отношение наибольшего к наименьшему) и нормы матрицы. Они широко используются в сжатии данных, анализе главных компонентов (PCA), шумоподавлении, рекомендательных системах и решении задач наименьших квадратов.

В чем разница между SVD и собственным разложением?

Собственное разложение работает только для квадратных матриц. SVD работает для любой матрицы m×n (включая прямоугольные) и всегда существует. Для симметричной положительно полуопределенной матрицы SVD и собственное разложение совпадают. SVD использует два разных ортогональных базиса, а собственное разложение — один.

Как SVD связано с PCA?

PCA напрямую вычисляется с помощью SVD центрированной матрицы данных. Столбцы матрицы V являются главными компонентами, а сингулярные числа отражают дисперсию данных по этим компонентам. Для N центрированных наблюдений (N > 1): Var(PCᵢ) = σᵢ²/(N−1), SD(PCᵢ) = σᵢ/√(N−1).

Что такое аппроксимация низкого ранга?

Это замена исходной матрицы матрицей меньшего ранга, которая максимально близка к оригиналу. Это достигается путем обнуления всех сингулярных чисел, кроме k самых больших. Это основа сжатия данных.

Что такое число обусловленности матрицы?

Это отношение максимального сингулярного числа к минимальному. Оно показывает, насколько надежны численные решения уравнений с данной матрицей. Чем ближе число к 1, тем лучше.

Дополнительные ресурсы

• Сингулярное разложение — Википедия
• Аппроксимация низкого ранга — Википедия (англ.)
• Псевдообратная матрица Мура-Пенроуза — Википедия