WWW.PDF.KNIGI-X.RU
БЕСПЛАТНАЯ  ИНТЕРНЕТ  БИБЛИОТЕКА - Разные материалы
 

«К.А. Астапов Анализ градиента для нейронных сетей с вейвлет-разложением целевого вектора В данной статье предлагается анализ градиента для некоторых случаев нейронных сетей с ...»

К.А. Астапов

Анализ градиента для нейронных сетей с вейвлет-разложением целевого вектора

В данной статье предлагается анализ градиента для некоторых случаев нейронных сетей с

вейвлет и вейвлет-подобным разложением целевого вектора - нового типа нейронной сети,

специализированного на распознавании речи и преобразовании сигнала, и позволяющего

увеличить скорость и качество обучения по сравнению со стандартным перцептроном.

Посредством этого анализа показывается, что в достаточно широких рамках нейронные сети с вейвлет-разложением целевого вектора эффективнее стандартного многослойного перцептрона.

Ключевые слова: НСВЦ, НСВПЦ, нейронные сети с вейвлет-подобным преобразованием целевого вектора, нейронные сети с вейвлет преобразованием целевого вектора, эффективность нейронных сетей, распознавание речи Актуальность. Искусственные нейронные сети (ИНС) с вейвлет-разложением целевого вектора (НСВЦ) созданы авторами для задач распознавания речи и используются в этой области, хотя могут быть применены для широкого круга задач, подразумевающих преобразование одного сигнала (в значении – система отсчётов некоторой функции) в другой сигнал (другую систему отсчётов некоторой функции). На эффективность применения нейросетей, и особенно нейрогибридов, указывали многие авторы, например, [1,2]. Так же существует множество работ, обсуждающих и доказывающих высокую эффективность вейвлет-методов для фонемного распознавания [3], особенно следует упомянуть биологическую аналогию вейвлет-обработки звукового сигнала, описанную у Добеши[4].



Таким образом, многочисленные источники подтверждают актуальность использования нейровейвлетных гибридов для задач распознавания речи.

Нейронные сети с вейвлет-разложением целевого вектора. НСВЦ являются специализированным типом нейронных сетей, преобразующих один сигнал (под сигналом здесь и далее имеется в виду система отсчётов некоторой функции, удовлетворяющая условию теоремы Котельникова) в другой сигнал. Их практическая эффективность обусловлена тем, что рассматривая множество выходных сигналов обучающей выборки (далее будем называть их целевыми векторами) с помощью вейвлет-разложения находятся спектральные диапазоны, в которых локализован сигнал, и спектральные области, не значащие для решения, исключаются из области поиска [5]. Исключение производится с помощью проецирования значений нейросети на области спектральной локализации нейронной сети, причём сам процесс проецирования производится за счёт модуля обратного вейвлет-разложения выходного сигнала многослойного перцептрона автоматически. Следует отметить, что вейвлет-разложение целевого вектора многослойного перцептрона и обратное данному вейвлет-разложению преобразование фактических выходных значений многослойного перцептрона являются взаимозаменяемыми операциями.

Так как модуль обратного вейвлет-разложения реализован в нейронном базисе, это позволяет говорить о новой нейронной структуре на базе перцептрона - НСВЦ. Более подробно об этих ИНС можно прочитать в работах авторов ([5,6]). Здесь отметим лишь, что данная структура построена по предложенному авторами принципу локализации решения, в соответствии с которым подбирается преобразование выходных векторов выборки, которое позволяет обнаружить и использовать диапазоны локализации данных векторов (фактически это означает построение грубой модели целевых значений выборки) и выходные значения ИНС проецируются на данные диапазоны, что позволяет сузить область поиска решения, а значит, уменьшить вероятность попадания в локальные максимумы, скорость и точность обучения.





Анализ градиента нейронных сетей с вейвлет-разложением целевых значений. Пусть модуль обратной вейвлет-декомпозиции осуществляет преобразование, обратное вейвлетпреобразованию, заданному двумя зеркльно-квадратурными FIR фильтрами G и H, определяемыми коффициентами hi и gi.

–  –  –

Выводы. Нами показано, что при нахождении областей частотной локализации и проецировании значений нейронной сети на область локализации решения, в достаточно широких рамках можно добиться увеличения градиента (по сравнению с той же ИНС без частотной локализации и модуля обратной вейвлет-проекции), а следовательно, скорости сходимости нейронной сети.

Литература

1. Tebelskis, J. Speech Recognition using Neural Networks: PhD thesis … Doctor of Philosophy in Computer Science/ Joe Tebelskis; School of Computer Science, Carnegie Mellon University.– Pittsburgh, Pennsylvania, 1995.– 179 c.

2. Handbook of neural network signal processing/ Edited by Yu Hen Hu, Jenq-Neng Hwang.– Boca Raton; London; New York, Washington D.C.: CRC press, 2001.– 384c.

3. Ф.Г. Бойков Применение вейвлет-анализа в задачах автоматического распознавания речи: Дис. … кандидата физико-математических наук: 05.13.18/ Фёдор Геннадьевич Бойков.– М, 2003.– 111 с.

4. Добеши И. Десять лекций по вейвлетам.– Ижевск: НИЦ «Регулярная и хаотическая динамика», 2001.– 464 с.

5. Астапов К.А. Применение вейвлет-преобразования для сокращения области значения искусственных нейронных сетей на примере задачи распознавания речи// Астапов Константин Андреевич. // Электронный научно-инновационный журнал «Инженерный вестник Дона: электронное научное издание № ГОС. РЕГИСТРАЦИИ 0420900096, Ростовна-Дону:. – 2009. – №1. – регистрационный номер статьи.

6. Червяков Н.И., Астапов К.А. Использование вейвлетов для улучшения параметров нейронных сетей в задачах распознавания речи. // Червяков Николай Иванович; Астапов

Константин Андреевич. //Инфокоммуникационные технологии – N° 4. – 2008. – Самара:



Похожие работы:

«Могилевский институт МВД УДК 355.233.22 Л. В. Марищук1, С. В. Архипенко2 L. V. Marischuk, S. V. Arhipenko Институт национальной безопасности Республики Беларусь «Следственный изолятор № 5» УДИН МВД Республики Беларусь по Могилевской области ЕЩЕ РАЗ К ВОП...»

«Указатель терминов Аморай правильнее амора (арам, «докладчик») мудрец Торы, принявший участие в разработке и систематизации Устной Торы (см. ТОРА в Указателе названий книг) в эпоху создания...»

«Память – кладовая знаний. Цели: пробудить у детей интерес к самопознанию, самовоспитанию; формировать положительную оценку способствовать самоорганизации, самодисциплине детей. Подготовительная работа с детьми Выбрать ученицу на роль Мнемозины, прочитать с ней е реплики.Оборудование: 1. Положить на стол каждому ученику тетр...»

«О. В. Захарова DOI 10.15393/j9.art.2015.3441 УДК 821.161.1.09’’17’’ Ольга Владимировна Захарова Петрозаводский государственный университет (Петрозаводск, Российская Федерация) ovzakh05@yandex.ru АЛЕША ПОПОВИЧ КАК ЛИТЕРАТУРНЫЙ ГЕРОЙ В «РУССКИХ СКАЗКАХ» В. А. ЛЕВШИНА* Аннотация. В русской литературе XVIII в...»

«Ицхак Пинтосевич Будь эффективным! Эффективность от А до Я Текст предоставлен издательством http://www.litres.ru/pages/biblio_book/?art=6658363 Ицхак Пинтосевич. Будь эффективным! Эффективность от А до Я: Эксмо; Москва; 2014 ISBN 978-5-699-69420-4 Аннотация Ицхак Пинтосевич – тренер успеха № 1 н...»

«ВІСНИК Донбаської державної машинобудівної академії № 2 (23), 2011 15 УДК 621.791.92 Бережная Е. В., Малыгина С. В., Кассов В. Д. ИНФОРМАЦИОННАЯ МОДЕЛЬ СИСТЕМЫ АВТОМАТИЗИРОВАННОГО ПРОЕКТИРОВАНИЯ ТЕХНОЛОГИИ ВОССТАНОВЛЕНИЯ ДЕТАЛЕ...»

«Цена на нефть и плата за выбросы углерода Рабах Арецки и Морис Обстфелд 2 декабря 2015 года “Влияние человека на климатическую систему является очевидным и проявляется в повышении концентрации парниковых газов в атмосфере, положительном радиационном прогреве, наблюдаемом потеплен...»

«Алексеева М. Д., зав. сектором отдела информационных технологий Национальной библиотеки Чувашской Республики АВТОМАТИЗИРОВАННЫЕ ТЕХНОЛОГИИ В ОБСЛУЖИВАНИИ ЧИТАТЕЛЕЙ (АРМ ЧИТАТЕЛЬ И АРМ КНИГОВЫДАЧА, ШТРИХКОДИРОВАНИЕ) Оглавление Внедрение новых автоматизированных технологий в обслуживании...»

«Утвержден «13» мая 2015 г. Правлением АО ЮниКредит Банк Решение № 13/2015 от «13» мая 2015 г. ЕЖЕКВАРТАЛЬНЫЙ ОТЧЕТ Акционерное общество «ЮниКредит Банк» Код кредитной организации эмитента: 00001-В за 1 квартал 2015 года Место нахождения кредитной 119034, Москва, Пречистенская наб. д. 9 организации эмитента: Информация, сод...»








 
2017 www.pdf.knigi-x.ru - «Бесплатная электронная библиотека - разные матриалы»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.