WWW.PDF.KNIGI-X.RU
БЕСПЛАТНАЯ  ИНТЕРНЕТ  БИБЛИОТЕКА - Разные материалы
 

«Оптимальный байесовский классификатор Непараметрическое восстановление плотности Параметрическое восстановление плотности ...»

Оптимальный байесовский классификатор

Непараметрическое восстановление плотности

Параметрическое восстановление плотности

Восстановление смеси распределений

Статистические (байесовские)

методы классификации

К. В. Воронцов

vokov@forecsys.ru

Этот курс доступен на странице вики-ресурса

http://www.MachineLearning.ru/wiki

Машинное обучение (курс лекций, К.В.Воронцов)

февраль 2011

К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации

Оптимальный байесовский классификатор Непараметрическое восстановление плотности Параметрическое восстановление плотности Восстановление смеси распределений Содержание 1 Оптимальный байесовский классификатор Вероятностная постановка задачи классификации Оптимальный байесовский классификатор Задача восстановления плотности распределения Наивный байесовский классификатор 2 Непараметрическое восстановление плотности Одномерный случай Многомерный случай Метод парзеновского окна Выбор метрики, ядра, ширины окна 3 Параметрическое восстановление плотности Принцип максимума правдоподобия Нормальный дискриминантный анализ Линейный дискриминант Фишера Проблемы мультиколлинеарности и переобучения 4 Восстановление смеси распределений Модель смеси распределений EM-алгоритм Некоторые модификации ЕМ-алгоритма Сеть радиальных базисных функций К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации Оптимальный байесовский классификатор Вероятностная постановка задачи классификации Непараметрическое восстановление плотности Оптимальный байесовский классификатор Параметрическое восстановление плотности Задача восстановления плотности распределения Восстановление смеси распределений Наивный байесовский классификатор Постановка задачи ответы, X Y объекты, Y в.п. с плотностью p(x, y );

X

Дано:

X = (xi, yi ) простая выборка;

i=1

Найти:

классификатор a : X Y с минимальной вероятностью ошибки.

Временное допущение: пусть известна совместная плотность p(x, y ) = p(x) P(y |x) = P(y )p(x|y ).

P(y ) Py априорная вероятность класса y ;

p(x|y ) py (x) функция правдоподобия класса y ;

P(y |x) апостериорная вероятность класса y ;

Принцип максимума апостериорной вероятности:

a(x) = arg max P(y |x).

y Y К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации Оптимальный байесовский классификатор Вероятностная постановка задачи классификации Непараметрическое восстановление плотности Оптимальный байесовский классификатор Параметрическое восстановление плотности Задача восстановления плотности распределения Восстановление смеси распределений Наивный байесовский классификатор Функционал среднего риска

a : X Y разбивает X на непересекающиеся области:

–  –  –

К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации Оптимальный байесовский классификатор Вероятностная постановка задачи классификации Непараметрическое восстановление плотности Оптимальный байесовский классификатор Параметрическое восстановление плотности Задача восстановления плотности распределения Восстановление смеси распределений Наивный байесовский классификатор Две теоремы об оптимальности байесовского классификатора Теорема Если известны Py = P(y ) и py (x) = p(x|y ), то минимум среднего риска R(a) достигается при

–  –  –

К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации Оптимальный байесовский классификатор Вероятностная постановка задачи классификации Непараметрическое восстановление плотности Оптимальный байесовский классификатор Параметрическое восстановление плотности Задача восстановления плотности распределения Восстановление смеси распределений Наивный байесовский классификатор При чём тут Байес?

Апостериорная вероятность по формуле Байеса:

–  –  –

К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации Оптимальный байесовский классификатор Вероятностная постановка задачи классификации Непараметрическое восстановление плотности Оптимальный байесовский классификатор Параметрическое восстановление плотности Задача восстановления плотности распределения Восстановление смеси распределений Наивный байесовский классификатор Итак, есть две подзадачи, причём вторую мы уже решили!

–  –  –

априорные вероятности Py, функции правдоподобия py (x), y Y.

Найти:

классификатор a : X Y, минимизирующий R(a).

Ехидное замечание: Когда вместо Py и py (x) подставляются их эмпирические оценки, байесовский классификатор перестаёт быть оптимальным.

К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации Оптимальный байесовский классификатор Вероятностная постановка задачи классификации Непараметрическое восстановление плотности Оптимальный байесовский классификатор Параметрическое восстановление плотности Задача восстановления плотности распределения Восстановление смеси распределений Наивный байесовский классификатор Задачи эмпирического оценивания

–  –  –

К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации Оптимальный байесовский классификатор Вероятностная постановка задачи классификации Непараметрическое восстановление плотности Оптимальный байесовский классификатор Параметрическое восстановление плотности Задача восстановления плотности распределения Восстановление смеси распределений Наивный байесовский классификатор Анонс: три подхода к оцениванию плотностей

Параметрическое оценивание плотности:

–  –  –

К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации Оптимальный байесовский классификатор Вероятностная постановка задачи классификации Непараметрическое восстановление плотности Оптимальный байесовский классификатор Параметрическое восстановление плотности Задача восстановления плотности распределения Восстановление смеси распределений Наивный байесовский классификатор Наивный байесовский классификатор

Допущение (наивное):

Признаки fj : X Dj независимые случайные величины с плотностями распределения, py,j (), y Y, j = 1,..., n.

–  –  –

Восстановление n одномерных плотностей намного более простая задача, чем одной n-мерной.

К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации Оптимальный байесовский классификатор Одномерный случай Непараметрическое восстановление плотности Многомерный случай Параметрическое восстановление плотности Метод парзеновского окна Восстановление смеси распределений Выбор метрики, ядра, ширины окна Начнём с определения плотности вероятности

–  –  –

К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации Оптимальный байесовский классификатор Одномерный случай Непараметрическое восстановление плотности Многомерный случай Параметрическое восстановление плотности Метод парзеновского окна Восстановление смеси распределений Выбор метрики, ядра, ширины окна Локальная непараметрическая оценка Парзена-Розенблатта

–  –  –

К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации Оптимальный байесовский классификатор Одномерный случай Непараметрическое восстановление плотности Многомерный случай Параметрическое восстановление плотности Метод парзеновского окна Восстановление смеси распределений Выбор метрики, ядра, ширины окна Обоснование оценки Парзена-Розенблатта

–  –  –

А как быть в многомерном случае, когда X = Rn ?

К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации Оптимальный байесовский классификатор Одномерный случай Непараметрическое восстановление плотности Многомерный случай Параметрическое восстановление плотности Метод парзеновского окна Восстановление смеси распределений Выбор метрики, ядра, ширины окна Два варианта обобщения на многомерный случай

–  –  –

Замечание: V (h) не должен зависеть от xi (однородность X, ).

Упражнение: Приведите примеры таких K и, чтобы варианты 1 и 2 оказались эквивалентными.

К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации Оптимальный байесовский классификатор Одномерный случай Непараметрическое восстановление плотности Многомерный случай Параметрическое восстановление плотности Метод парзеновского окна Восстановление смеси распределений Выбор метрики, ядра, ширины окна Метод парзеновского окна

Парзеновская оценка плотности для каждого класса y Y :

–  –  –

Остаются вопросы:

1) на что влияет ядро K (r ) и как его выбрать?

2) на что влияет ширина окна h и как её выбрать?

3) откуда взять функцию расстояния (x, x )?

К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации Оптимальный байесовский классификатор Одномерный случай Непараметрическое восстановление плотности Многомерный случай Параметрическое восстановление плотности Метод парзеновского окна Восстановление смеси распределений Выбор метрики, ядра, ширины окна Выбор метрики (функция расстояния)

–  –  –

где wj неотрицательные веса признаков, p 0.

В частности, если wj 1 и p = 2, то имеем евклидову метрику.

Роль весов wj :

1) нормировка признаков;

2) степень важности признаков;

3) отбор признаков (какие wj = 0?);

К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации Оптимальный байесовский классификатор Одномерный случай Непараметрическое восстановление плотности Многомерный случай Параметрическое восстановление плотности Метод парзеновского окна Восстановление смеси распределений Выбор метрики, ядра, ширины окна Часто используемые ядра

–  –  –

К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации Оптимальный байесовский классификатор Одномерный случай Непараметрическое восстановление плотности Многомерный случай Параметрическое восстановление плотности Метод парзеновского окна Восстановление смеси распределений Выбор метрики, ядра, ширины окна Выбор ядра почти не влияет на качество восстановления

–  –  –

К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации Оптимальный байесовский классификатор Непараметрическое восстановление плотности Параметрическое восстановление плотности Восстановление смеси распределений Резюме в конце лекции эту формулу надо помнить.

a(x) = arg max y Py py (x) y Y Наивный байесовский классификатор основан на драконовском предположении о независимости признаков. Как ни странно, иногда это работает.

Три основных подхода к восстановлению функций правдоподобия py (x) по выборке: параметрический, непараметрический и смесь распределений.

Непараметрический подход наиболее прост и приводит к методу парзеновского окна.

Проблемы непараметрического подхода:

выбор ширины окна h или числа соседей k;

выбор сглаживающего ядра K ;

выбор метрики.

К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации Оптимальный байесовский классификатор Принцип максимума правдоподобия Непараметрическое восстановление плотности Нормальный дискриминантный анализ Параметрическое восстановление плотности Линейный дискриминант Фишера Восстановление смеси распределений Проблемы мультиколлинеарности и переобучения Принцип максимума правдоподобия

–  –  –

К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации Оптимальный байесовский классификатор Принцип максимума правдоподобия Непараметрическое восстановление плотности Нормальный дискриминантный анализ Параметрическое восстановление плотности Линейный дискриминант Фишера Восстановление смеси распределений Проблемы мультиколлинеарности и переобучения Квадратичный дискриминант

–  –  –

К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации Оптимальный байесовский классификатор Принцип максимума правдоподобия Непараметрическое восстановление плотности Нормальный дискриминантный анализ Параметрическое восстановление плотности Линейный дискриминант Фишера Восстановление смеси распределений Проблемы мультиколлинеарности и переобучения Квадратичный дискриминант

–  –  –

К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации Оптимальный байесовский классификатор Принцип максимума правдоподобия Непараметрическое восстановление плотности Нормальный дискриминантный анализ Параметрическое восстановление плотности Линейный дискриминант Фишера Восстановление смеси распределений Проблемы мультиколлинеарности и переобучения Линейный дискриминант Фишера

–  –  –

К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации Оптимальный байесовский классификатор Принцип максимума правдоподобия Непараметрическое восстановление плотности Нормальный дискриминантный анализ Параметрическое восстановление плотности Линейный дискриминант Фишера Восстановление смеси распределений Проблемы мультиколлинеарности и переобучения Проблема мулитиколлинеарности

–  –  –

К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации Оптимальный байесовский классификатор Принцип максимума правдоподобия Непараметрическое восстановление плотности Нормальный дискриминантный анализ Параметрическое восстановление плотности Линейный дискриминант Фишера Восстановление смеси распределений Проблемы мультиколлинеарности и переобучения Пути повышения качества классификации Регуляризация ковариационной матрицы Обнуление элементов ковариационной матрицы Диагонализация ковариационной матрицы Понижение размерности Редукция размерности по А.М.Шурыгину Цензурирование выборки (отсев шума) Усложнение модели (смесь нормальных распределений) К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации Оптимальный байесовский классификатор Принцип максимума правдоподобия Непараметрическое восстановление плотности Нормальный дискриминантный анализ Параметрическое восстановление плотности Линейный дискриминант Фишера Восстановление смеси распределений Проблемы мультиколлинеарности и переобучения Регуляризация ковариационной матрицы

–  –  –

К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации Оптимальный байесовский классификатор Принцип максимума правдоподобия Непараметрическое восстановление плотности Нормальный дискриминантный анализ Параметрическое восстановление плотности Линейный дискриминант Фишера Восстановление смеси распределений Проблемы мультиколлинеарности и переобучения Обнуление элементов ковариационной матрицы

–  –  –

К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации Оптимальный байесовский классификатор Принцип максимума правдоподобия Непараметрическое восстановление плотности Нормальный дискриминантный анализ Параметрическое восстановление плотности Линейный дискриминант Фишера Восстановление смеси распределений Проблемы мультиколлинеарности и переобучения Диагонализация ковариационной матрицы Идея: пусть признаки некоррелированы: ij = 0, i = j.

Замечание: для нормального распределения некоррелированность независимость

Получаем наивный байесовский классификатор:

–  –  –

К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации Оптимальный байесовский классификатор Принцип максимума правдоподобия Непараметрическое восстановление плотности Нормальный дискриминантный анализ Параметрическое восстановление плотности Линейный дискриминант Фишера Восстановление смеси распределений Проблемы мультиколлинеарности и переобучения Понижение размерности

Идея 1:

отбор признаков (features selection)

Идея 2:

преобразование n признаков в m n признаков (PCA) Эти подходы будут разбираться в следующих лекциях.

К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации Оптимальный байесовский классификатор Принцип максимума правдоподобия Непараметрическое восстановление плотности Нормальный дискриминантный анализ Параметрическое восстановление плотности Линейный дискриминант Фишера Восстановление смеси распределений Проблемы мультиколлинеарности и переобучения

Редукция размерности по А. М. Шурыгину

Идея:

сведение n-мерной задачи к серии двумерных задач путём подключения признаков по одному.

Набросок алгоритма:

1) найти два признака, в подпространстве которых классы наилучшим образом разделимы;

2) новый признак: (x) = x т y проекция на нормаль к разделяющей прямой в пространстве двух признаков;

3) выбрать из оставшихся признаков тот, который в паре с (x) даёт наилучшую разделимость;

4) если разделимость не улучшилась, прекратить;

5) иначе GOTO 2);

–  –  –

К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации Оптимальный байесовский классификатор Непараметрическое восстановление плотности Параметрическое восстановление плотности Восстановление смеси распределений Резюме в конце лекции Параметрический подход = модель плотности распределения + принцип максимума правдоподобия.

Модель гауссовских плотностей приводит к квадратичному или линейному дискриминанту.

Их основная проблема неустойчивость обращения ковариационной матрицы.

Способы решения:

регуляризация;

диагонализация;

обнуление незначимых ковариаций;

снижение размерности путём отбора признаков;

жадное добавление признаков (метод Шурыгина);

снижение размерности путём преобразования признаков.

К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации Оптимальный байесовский классификатор Модель смеси распределений Непараметрическое восстановление плотности EM-алгоритм Параметрическое восстановление плотности Некоторые модификации ЕМ-алгоритма Восстановление смеси распределений Сеть радиальных базисных функций Модель смеси распределений

–  –  –

Задача 2: оценить ещё и k.

К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации Оптимальный байесовский классификатор Модель смеси распределений Непараметрическое восстановление плотности EM-алгоритм Параметрическое восстановление плотности Некоторые модификации ЕМ-алгоритма Восстановление смеси распределений Сеть радиальных базисных функций

Общая схема EM-алгоритма

Проблема:

попытка применить принцип максимума правдоподобия в лоб приводит к очень сложной многоэкстремальной задаче оптимизации Идея: вводятся скрытые переменные G.

Итерационный алгоритм Expectation–Maximization:

1: начальное приближение вектора параметров ;

2: повторять G := Е-шаг ();

3:

:= М-шаг (, G );

4:

5: пока и G не стабилизируются.

К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации Оптимальный байесовский классификатор Модель смеси распределений Непараметрическое восстановление плотности EM-алгоритм Параметрическое восстановление плотности Некоторые модификации ЕМ-алгоритма Восстановление смеси распределений Сеть радиальных базисных функций Задача Е-шага По формуле условной вероятности

–  –  –

К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации Оптимальный байесовский классификатор Модель смеси распределений Непараметрическое восстановление плотности EM-алгоритм Параметрическое восстановление плотности Некоторые модификации ЕМ-алгоритма Восстановление смеси распределений Сеть радиальных базисных функций Задача М-шага

–  –  –

К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации Оптимальный байесовский классификатор Модель смеси распределений Непараметрическое восстановление плотности EM-алгоритм Параметрическое восстановление плотности Некоторые модификации ЕМ-алгоритма Восстановление смеси распределений Сеть радиальных базисных функций ЕМ-алгоритм

–  –  –

К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации Оптимальный байесовский классификатор Модель смеси распределений Непараметрическое восстановление плотности EM-алгоритм Параметрическое восстановление плотности Некоторые модификации ЕМ-алгоритма Восстановление смеси распределений Сеть радиальных базисных функций Базовый вариант ЕМ-алгоритма

–  –  –

К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации Оптимальный байесовский классификатор Модель смеси распределений Непараметрическое восстановление плотности EM-алгоритм Параметрическое восстановление плотности Некоторые модификации ЕМ-алгоритма Восстановление смеси распределений Сеть радиальных базисных функций Проблемы базового варианта ЕМ-алгоритма Как выбирать начальное приближение?

Какой выбрать критерий останова?

Как определять число компонент?

Как ускорить сходимость?

Решение сразу многих проблем:

EM-алгоритм с последовательным добавлением компонент К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации Оптимальный байесовский классификатор Модель смеси распределений Непараметрическое восстановление плотности EM-алгоритм Параметрическое восстановление плотности Некоторые модификации ЕМ-алгоритма Восстановление смеси распределений Сеть радиальных базисных функций EM-алгоритм с последовательным добавлением компонент

–  –  –

К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации Оптимальный байесовский классификатор Модель смеси распределений Непараметрическое восстановление плотности EM-алгоритм Параметрическое восстановление плотности Некоторые модификации ЕМ-алгоритма Восстановление смеси распределений Сеть радиальных базисных функций EM-алгоритм с последовательным добавлением компонент

–  –  –

К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации Оптимальный байесовский классификатор Модель смеси распределений Непараметрическое восстановление плотности EM-алгоритм Параметрическое восстановление плотности Некоторые модификации ЕМ-алгоритма Восстановление смеси распределений Сеть радиальных базисных функций GEM обобщённый ЕМ-алгоритм

Идея:

Не обязательно добиваться высокой точности на М-шаге.

Достаточно лишь сместиться в направлении максимума, сделав одну или несколько итераций, и затем выполнить E-шаг.

Преимущество:

уменьшение времени работы при сопоставимом качестве решения.

К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации Оптимальный байесовский классификатор Модель смеси распределений Непараметрическое восстановление плотности EM-алгоритм Параметрическое восстановление плотности Некоторые модификации ЕМ-алгоритма Восстановление смеси распределений Сеть радиальных базисных функций SEM стохастический ЕМ-алгоритм

–  –  –

выборки Xj строятся путём стохастического моделирования:

для каждого i = 1,..., m генерируется j(i) {1,..., k}:

P j(i) = s = gis, и объект xi помещается в Xj(i).

Преимущества:

ускорение сходимости, предотвращение зацикливаний.

К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации Оптимальный байесовский классификатор Модель смеси распределений Непараметрическое восстановление плотности EM-алгоритм Параметрическое восстановление плотности Некоторые модификации ЕМ-алгоритма Восстановление смеси распределений Сеть радиальных базисных функций HEM иерархический ЕМ-алгоритм

Идея:

Плохо описанные компоненты расщепляются на две или более дочерних компонент.

Преимущество:

автоматически выявляется иерархическая структура каждого класса, которую затем можно интерпретировать содержательно.

К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации Оптимальный байесовский классификатор Модель смеси распределений Непараметрическое восстановление плотности EM-алгоритм Параметрическое восстановление плотности Некоторые модификации ЕМ-алгоритма Восстановление смеси распределений Сеть радиальных базисных функций Гауссовская смесь c диагональными матрицами ковариации

Допущения:

1. Функции правдоподобия классов py (x) представимы в виде смесей ky компонент, y Y = {1,..., M}.

2. Компоненты имеют n-мерные гауссовские плотности с некоррелированными признаками:

µyj = (µyj1,..., µyjn ), yj = diag(yj1,..., yjn ), j = 1,..., ky :

–  –  –

К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации Оптимальный байесовский классификатор Модель смеси распределений Непараметрическое восстановление плотности EM-алгоритм Параметрическое восстановление плотности Некоторые модификации ЕМ-алгоритма Восстановление смеси распределений Сеть радиальных базисных функций Эмпирические оценки средних и дисперсий

–  –  –

Замечание: компоненты наивны, но смесь не наивна.

К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации Оптимальный байесовский классификатор Модель смеси распределений Непараметрическое восстановление плотности EM-алгоритм Параметрическое восстановление плотности Некоторые модификации ЕМ-алгоритма Восстановление смеси распределений Сеть радиальных базисных функций Алгоритм классификации

–  –  –

К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации Оптимальный байесовский классификатор Модель смеси распределений Непараметрическое восстановление плотности EM-алгоритм Параметрическое восстановление плотности Некоторые модификации ЕМ-алгоритма Восстановление смеси распределений Сеть радиальных базисных функций Сеть радиальных базисных функций

–  –  –

К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации Оптимальный байесовский классификатор Модель смеси распределений Непараметрическое восстановление плотности EM-алгоритм Параметрическое восстановление плотности Некоторые модификации ЕМ-алгоритма Восстановление смеси распределений Сеть радиальных базисных функций Преимущества EM-RBF EM один из лучших алгоритмов обучения радиальных сетей.

Преимущества ЕМ-алгоритма:

ЕМ-алгоритм легко сделать устойчивым к шуму ЕМ-алгоритм довольно быстро сходится автоматически строится структурное описание каждого класса в виде совокупности компонент кластеров

Недостатки ЕМ-алгоритма:

ЕМ-алгоритм чувствителен к начальному приближению К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации Оптимальный байесовский классификатор Непараметрическое восстановление плотности Параметрическое восстановление плотности Восстановление смеси распределений Резюме в конце лекции Восстановление смеси наиболее мощный подход к оцениванию плотности распределения по выборке.

EM алгоритм сводит сложную многоэкстремальную задачу к серии стандартных подзадач максимизации правдоподобия для отдельных компонент смеси.

EM алгоритм очень мощная штука.

Он применяется не только для восстановления смесей.

У него есть масса обобщений: GEM, SEM, HEM,...

Предполагая, что компоненты смеси гауссовские с диагональными матрицами ковариации, получили метод обучения радиальных базисных функций К. В. Воронцов (www.ccas.ru/voron) Статистические методы классификации Оптимальный байесовский классификатор Непараметрическое восстановление плотности Параметрическое восстановление плотности Восстановление смеси распределений Общее резюме по байесовским классификаторам Эту формулу надо помнить: a(x) = arg maxy Y y Py py (x).

Три основных подхода к восстановлению функций правдоподобия py (x) по выборке: параметрический, непараметрический и смесь распределений.

Наивный байесовский классификатор основан на драконовском предположении о независимости признаков. Как ни странно, иногда это работает.

Непараметрический подход наиболее прост, но возникает проблема выбора метрики.

Параметрический подход требует задания вида распределения.

Для примера мы ограничились гауссовскими.

Восстановление смеси наиболее гибкий подход.

В случае гауссовских распределений он приводит к сильному методу RBF (радиальных базисных функций).

Похожие работы:

«XXV Съезд по спектроскопии, Октябрь 3-7, 2016 Низкоэнергетические методы молекулярного лазерного разделения изотопов с участием кластеров и наночастиц В.М. Апатин, В.Н. Лохман, Г.Н. Макаров, А.Л. Малиновский, Н.-Д. Д. Огурок, А.Н. Петин, Е.А. Рябов Институт спектроскопии РАН г. Троицк Обоснование (мотивация...»

«Б А К А Л А В Р И А Т А.Ю. Александрова МеждунАродный туризМ Допущено Министерством образования и науки Российской Федерации в качестве учебника для студентов высших учебных заведений, обучающихся по специальности «География» Второе издание, переработанное и дополненное КНОРУС • МОСКВА • 2016 УДК...»

«РЕ П О ЗИ ТО РИ Й БГ П У ПОЯСНИТЕЛЬНАЯ ЗАПИСКА Учебно-методический комплекс по учебной дисциплине «Социальная виктимология» предназначен для научно-методического обеспечения профессиональной подготовки специалистов по социально...»

«ЛЕНИНГРАДСКИЙ ОБЛАСТНОЙ КОМИТЕТ ПО УПРАВЛЕНИЮ ГОСУДАРСТВЕННЫМ ИМУЩЕСТВОМ (ЛЕНОБЛКОМИМУЩЕСТВО) ПРИКАЗ 30 сентября 2016 года № _ 31 _ Санкт-Петербург Об утверждении Администрати...»

«УТВЕРЖДЕНО Общим собранием акционеров Открытого акционерного общества Московская городская телефонная сеть «19 » мая 2011 года, Протокол от « » 2011 г. ПОЛОЖЕНИЕ О РЕВИЗИОННОЙ КОМИССИИ Открытого акционерного общества «Московская городская телефонная сеть» Москва 201...»

«МИНИСТЕРСТВО ЗДРАВООХРАНЕНИЯ РЕСПУБЛИКИ БЕЛАРУСЬ УТВЕРЖДАЮ Первый заместитель министра Р.А. Часнойть 12 февраля 2010 г. Регистрационный № 007-0110 МЕТОД УДАЛЕНИЯ АДЕНОМ ГИПОФИЗА ТРАНССФЕНОИДАЛЬНЫМ ДОСТУПОМ инструкция по применению УЧРЕЖДЕН...»

«А Албасов Петр Федорович, с. Становка. Проп. б/в в 1943. Абрамов Василий Никитович,р. 1906, д. Александров Александр Алексеевич погиб Любинка. Рядовой 112 сб; проп. б/в 17.12.41, похор. в г. Красногорске 22.08.42. Московской обл. Августинов Алексей Евсеевич, д. Александров Григорий Алексеевич, р. 191...»

«79 Страны Европы 2000.02.011. ПЕРСОНАЛИСТСКИЙ ФЕДЕРАЛИЗМ У ИСТОКОВ БУДУЩЕЙ ЕВРОПЫ.LE FEDERALISME PERSONNALISTE AUX SOURCES DE L'EUROPE DE DEMAIN = Der personnalistische Foderalismus und die Zukunft Europas: Hommage a Alexandre Marc/ Kinsky F., K...»

«Дмитрий Иванович Виноградов изобретатель русского фарфора (1720-1758 гг.) Фарфор, как известно, придумали китайцы, и многие сотни лет стойко хранили секрет производства этого удивительного материала белого, полупрозрачного, звенящего. В Европе точно не зна...»

«ГРУЗИНЫ – потомки Давида-строителя Справедливый сказ в Китае на скале начертан так: Кто себе друзей не ищет – самому себе он враг! Стал шафраном тот, с кем роза не сравнилась бы никак, Ты к соцветному с тобою должен свой направить шаг. Шота Руставели Грузины (самоназвание «картвелы») – один из древних народов мира. В рукописях IX – V...»





















 
2017 www.pdf.knigi-x.ru - «Бесплатная электронная библиотека - разные матриалы»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.