Линейный дискриминантный анализ
В научной литературе, описывающий дискриминантный анализ, существует некоторая путаница в терминологии. Описывая Линейный Дискриминант Фишера и Линейный Дискриминантный Анализ, часть исследователей говорят о них, как о разных названиях одного и того же метода, другие описывают их как существенно различающиеся методики.
Цель обоих методов одинакова - поиск проекции пространства векторов признаков R" в некоторое подпространство Rm (обычно т«п) таким образом, чтобы максимально упростить процедуру классификации. Под упрощением в данном случае понимается получение пространства, в котором проекции векторов признаков различных классов максимально возможно удалены друг от друга и «несмешаны» друг с другом.
Линейный дискриминант Фишера был первоначально разработан для решения проблемы классификации для случая двух классов. Основная идея метода заключается в проекции векторов признаков на прямую, что эквивалентно вычислению линейной комбинации (Ж) их компонент. Прямая (коэффициенты Ж) выбирается таким образом, чтобы отношение расстояния между проекциями средних векторов различаемых классов к сумме разброса проекций векторов внутри каждого класса было максимально.
Таким образом, линейный дискриминант Фишера переводит многомерное пространство признаков в одномерное, в котором проведение классификации возможно путем оценки значения линейной комбинации компонент тестового вектора (эта линейная комбинация называется простой решающей функцией).
В случае нормально распределенных наборов векторов классов с одина-ковыми ковариациями, линейный дискриминант Фишера вычисляет проекцию, оптимальную с точки зрения минимизации ошибки классификации.Задача в более общей постановке (количество классов > 2, проекция в пространство размерности >1) решается методикой, называемой в различных источниках каноническим дискриминантным анализом, или линейным дискри- минантным анализом. Линейный дискриминантный анализ вычисляет проекцию в подпространство признаков таким образом, чтобы минимизировать внутриклассовый и максимизировать межклассовый разброс проекций векторов. Применение линейного дискриминантного анализа позволяет существенно понизить размерность пространства признаков, избегая нежелательного перемешивания векторов, принадлежащих различным классам.
С помощью линейного дискриминантного анализа удается получить подпространство небольшой размерности, в котором кластеры изображений лиц и нелиц пересекаются минимально. Производить классификацию в таком пространстве значительно проще.