Классическое решение для таких проблем — минимизация нормы L 2 {\displaystyle L_{2}} — то есть, минимизировать количество энергии в системе...
Условие:
Классическое решение для таких проблем — минимизация нормы L 2 {\displaystyle L_{2}} — то есть, минимизировать количество энергии в системе. Это обычно простая математика (включающая только перемножение матриц с помощью псевдообратного базиса выборки). Однако это приводит к плохим результатам для большинства практических приложений, так как неизвестные (отсутствующие в выборке) коэффициенты редко имеют нулевую энергию. Более привлекательным решением было бы минимизировать норму L 0 {\displaystyle L_{0}}, или эквивалентно максимизировать число нулевых коэффициентов в новом базисе. Однако это NP-сложная задача (она включает проблемы суммы подмножества) и также в вычислительном отношении неосуществима для всех, кроме самых крошечных наборов данных. Таким образом, согласно идеям Тао Теренса et al., принято минимизировать аппроксимирующую L 1 {\displaystyle L_{1}}-норму, или сумму в абсолютных значениях. Задача минимума L 1 {\displaystyle L_{1}}-нормы формулируется в виде задачи линейного программирования, для которой существуют эффективные методы решения. Это приводит к сопоставимым результатам использования L 0 {\displaystyle L_{0}} нормы, часто приводя к результатам, когда многие коэффициенты равны нулю. Что можно представить в виде следующих формул:
Решение:
Исследования показывают, что классическое решение для решения проблемы минимизации нормы L2, которое основано на минимизации количества энергии в системе, может давать плохие результаты для большинства практических приложений. Это связано с тем, что неизвестные коэффициенты, которые отсутствуют в выборке, редко имеют нулевую энергию.
Более привлекательным решением является минимизация нормы L0, что эквивалентно максимизации числа нулевых коэффициентов в новом базисе. Однако эта задача является NP-сложной и неосуществимой для больших наборов данных.
Согласно идеям Тао Теренса и др., предпочтительным решением является минимизация аппроксимирующей L1-нормы, то есть суммы абсолютных значений. Эта задача может быть сформулирована как задача линейного программирования, для которой существуют эффективные методы решения. Исследования показывают, что такой подход приводит к результатам, сопоставимым с использованием L0-нормы, часто приводя к тому, что многие коэффициенты равны нулю.
Математически это можно представить следующим образом:
minimize ||x||1 subject to Ax = b
где x - вектор неизвестных коэффициентов, A - матрица, представляющая базис выборки, b - вектор наблюдаемых данных.
Таким образом, использование L1-нормы позволяет эффективно решать проблему выбора наиболее релевантных признаков или коэффициентов в задачах аппроксимации и регрессии. Этот подход находит широкое применение в различных областях, включая машинное обучение, обработку сигналов и компьютерное зрение.
