Структура курса «Основы теории нейронных сетей»



Скачать 49.75 Kb.
Дата07.07.2013
Размер49.75 Kb.
ТипРешение
Структура курса

«Основы теории нейронных сетей»
Глава I: Введение в нейронные сети

  1. Биологический и искусственный нейрон

    1. Ключевая идея. Нейроны человеческого мозга.

    2. Математическая модель нейрона

    3. Основные функции активации нейронов

  2. Основные вехи в развитии теории нейронных сетей

  3. Парадигмы работы нейронных сетей

  4. Преимущества нейронных сетей. Сопоставление традиционных ЭВМ и нейрокомпьютеров.

  5. Области применения и решаемые задачи

  6. Основные направления развития нейрокомпьютинга

  7. Классификации нейронных сетей


Глава II: Однослойный персептрон

  1. Персептрон Розенблата

  2. Алгоритм обучения персептрона и правило Хебба

  3. Теорема о сходимости алгоритма обучения персептрона для линейно-разделимых множеств

  4. Проблема исключающего «или»


Глава III: Многослойный персептрон и его вычислительные возможности

  1. Определение. Структура сети и её особенности.


  2. Решение проблемы исключающего «или»

  3. Представимость булевых функций

  4. Преодоление ограничения линейной разделимости

  5. 13-ая проблема Гильберта и теорема Колмогорова-Арнольда

  6. О теореме Хехт-Нильсена

  7. Нейронные сети как универсальные аппроксиматоры (теорема Стоуна-Вейерштрасса)


Глава IV: Градиентные методы обучения персептронов

  1. Общая идея градиентных методов решения задач безусловной оптимизации

  2. Метод наискорейшего спуска

  3. Метод Ньютона-Рафсона

  4. Функции потерь, сети типа ADALINE и дельта-правило Видроу-Хопфа

  5. Алгоритм обратного распространения ошибки

  6. Достоинства и недостатки алгоритма обратного распространения ошибки

  7. Введение инерциальной поправки (обобщенное дельта-правило)

    1. Проблема овражности поверхности функционала ошибки

    2. Частичное решение проблемы овражности за счет введения момента

    3. Физические аналогии и частичное решение проблемы застревания в локальных минимумах

  8. Улучшение сходимости и качества градиентного обучения

    1. Нормализация входов

    2. Выбор функции активации с целью ускорения сходимости и недопущения паралича сети

    3. Выбор начальных значений синаптических весов

    4. Порядок предъявления обучающих примеров

    5. Объём обучающей выборки

    6. Выбор величины шага обучения

    7. Методы сокращения синаптических весов

    8. Выбивание из локальных минимумов

    9. Валидация выборки с целью преодоления проблемы переобучения

    10. Общие принципы обучения нейронных сетей

  9. Методы упрощения структуры нейронной сети

    1. Выбор числа слоев

    2. Выбор числа нейронов и синаптических весов


Глава V: Методы очистки и предобработки данных

  1. Постановка задачи и этапы нейросетевого анализа

  2. Кодирование категориальных данных

  3. Кодирование ординальных данных

  4. Нормализация

    1. Десятичное масштабирование

    2. Минимаксная нормализация

    3. Статистическая нормализация

    4. Нормализация с помощью элементарных функций

  5. Восстановление пропусков в данных

    1. Метод сглаживания

    2. Метод одномерной регрессии

    3. Метод множественной регрессии

    4. Метод ближайшего соседа

    5. Метод аппроксимации

    6. Метод экспертных оценок

  6. Обработка дубликатов и противоречий

  7. Выявление аномальных значений

    1. Анализ графиков и гистограмм

    2. Ящиковые диаграммы

    3. Статистический тест

    4. Критерий Титьена-Мура

    5. Критерий Хи-квадрат для многомерных данных

    6. Вычисление расстояний в многомерном пространстве признаков

    7. Методы выявления аномальных значений для временных рядов


Глава VI: Анализ и прогнозирование временных рядов

  1. Актуальность задачи прогнозирования и возможность прогнозирования временных рядов

  2. Хаотические временные ряды и теорема Такенса

    1. Примеры возникновения хаоса в динамических системах

    2. Показатели Ляпунова и их связь с максимальным горизонтом прогноза

    3. Погружение временного ряда в лаговое пространство

    4. Теорема Такенса

    5. Фрактальная размерность Хаусдорфа-Безиковича и её связь с теоремой Такенса

  3. Информационный подход Шеннона к вычислению максимального горизонта прогноза

  4. Скользящее окно

  5. Аддитивная и мультипликативная модели временных рядов

  6. Компоненты временного ряда

    1. Покомпонентное разложение временного ряда

    2. Тренд

    3. Сезонная компонента

    4. Циклическая компонента

  7. Исследование временных рядов на основе коррелограммы

  8. Специфика прогнозирования финансовых временных рядов

    1. Выбор входных сигналов

    2. Метод искусственных примеров (хинтов) для увеличения объёма обучающей выборки

    3. Выбор функционала ошибки и оценка величины капитала игрока

  9. Использование комитетов нейронных сетей


Глава VII: Модели конкурентного обучения

  1. Идея обучения без учителя, важность решаемых задач

  2. Идея метода главных компонент

  3. Задачи кластеризации

    1. Понятие кластеризации и сложность задачи

    2. Примеры задач, решаемых методами кластерного анализа

  4. Введение метрики

    1. Понятие метрики

    2. Метрики для числовых переменных

    3. Метрики для категориальных и ординальных переменных

  5. Сети Кохонена для решения задачи кластеризации

    1. Правило жесткой конкуренции «победитель получает все»

    2. Структура сети Кохонена и алгоритм её обучения

    3. Проблема «мертвых» нейронов и правило справедливой конкуренции

    4. Правило мягкой конкуренции (введение ядра)

    5. Идея нейронного газа для расщепления кластеров

    6. Постановка и решение задачи квантования данных с помощью сетей Кохонена

  6. Самоорганизующиеся карты Кохонена

    1. Задача многомерной визуализации

    2. Построение самоорганизующихся карт Кохонена

    3. Искусство интерпретации карт Кохонена

    4. Недостатки карт Кохонена


Основная литература по главам:

Глава 1: [3] и др.

Глава 2: [2], [10], [8], [9], [1]

Глава 3: [2], [5], [1] и др.

Глава 4: [1], [2], [3], [4], [5], [6], [8], [9]

Глава 5: [4], [3], [7]

Глава 6: [3], [4], [8], [6]

Глава 7: [2], [4], [3] и др.

Основная литература:

  1. Хайкин С. Нейронные сети: полный курс, 2-е издание. Пер. с англ. – М.: Издательский дом «Вильямс», 2006. – 1104 с.: ил.

  2. Воронцов К.В. Лекции по искусственным нейронным сетям. Материалы с сайта www.machinelearning.ru

  3. Ежов А.А., Шумский С.А. Нейрокомпьютинг и его применения в экономике и бизнесе. – М.: 1998.

  4. Паклин Н.Б., Орешков В.И. Бизнес-аналитика: от данных к знаниям: учеб. пособие. 2-е изд., перераб. и доп. – СПб.: Питер, 2010. – 704 с.: ил.


Дополнительная литература:

  1. Яхъяева Г.Э. Основы теории нейронных сетей. Материалы с сайта www.intuit.ru

  2. Кричевский М.Л. Интеллектуальные методы в менеджменте. – СПб.: Питер, 2005. – 304 с.: ил.

  3. Большаков А.А., Каримов Р.Н. Методы обработки многомерных данных и временных рядов: учебное пособие для вузов. – М.: Горячая линия – Телеком, 2007.

  4. Ширяев В.И. Финансовые рынки и нейронные сети: учебное пособие. – М.: Издательство ЛКИ, 2007. – 224 с.

  5. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. – 2-е изд., стереотип.. – М.: Горячая линия – Телеком, 2002. – 382 с.: ил.

  6. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере. Новосибирск: Наука, 1996.

Похожие:

Структура курса «Основы теории нейронных сетей» iconНейрокомпьютерная техника: Теория и практика
В книге американского автора в общедоступной форме излагаются основы построения нейрокомпьютеров. Описаны структура нейронных сетей...
Структура курса «Основы теории нейронных сетей» iconНейрокомпьютерная техника: Теория и практика
В книге американского автора в общедоступной форме излагаются основы построения нейрокомпьютеров. Описаны структура нейронных сетей...
Структура курса «Основы теории нейронных сетей» iconСтруктурный синтез Быстрых нейронных сетей
В данной статье разделе рассматривается процедура синтеза нейронных сетей, которые структурно подобны алгоритмам быстрого преобразования...
Структура курса «Основы теории нейронных сетей» iconПрименение искусственных нейронных сетей в сетевых технологиях и интеллектуальном анализе данных
Данная работа иллюстрирует одно из широко распространенных на сегодняшний день практических применений искусственных нейронных сетей...
Структура курса «Основы теории нейронных сетей» iconОператорозначная логика
Полученные результаты могут быть полезными для представления нечеткой информации, в частности информации о квантовых системах, а...
Структура курса «Основы теории нейронных сетей» iconПластичность многослойных нейронных сетей
В работе выполнен анализ пластичности многослойных нейронных сетей. Получены точные формулы расчета степени пластичности по структурным...
Структура курса «Основы теории нейронных сетей» iconКонцепция структурного моделирования нейронных сетей
Информационная структура внешнего сигнала первична и поэтому необходима для выработки кодированной мозговой структуры (инструкционная...
Структура курса «Основы теории нейронных сетей» iconМетод анализа рюкзачных криптосистем с использованием искусственных нейронных сетей
Ых асимметричных криптосистем. В работе предложен новый метод анализа данной криптосистемы с использованием наращиваемого набора...
Структура курса «Основы теории нейронных сетей» iconПрименимость компактно поддерживаемых нейронных сетей для решения дифференциальных уравнений в частных
В работе рассматриваются численные методы решения дифференциальных уравнений в частных производных (дучп). Предложено использование...
Структура курса «Основы теории нейронных сетей» iconТехнология извлечения знаний из нейронных сетей: апробация, проектирование по, использование в психолингвистике
Приобретение знаний, обучение и обобщение по примерам в теории классических экспертных систем 11
Разместите кнопку на своём сайте:
ru.convdocs.org


База данных защищена авторским правом ©ru.convdocs.org 2016
обратиться к администрации
ru.convdocs.org