Краткие теоретические сведения

Информатика и вычислительная техника

Профиль «Автоматизированные системы обработки информации

и управление»

Методические указания рассмотрены на заседании

кафедры СТ «01» марта 2016 года, протокол № 8

Допущено к использованию в учебном процессе

Зав. кафедрой _____________/Томашевский Ю.Б./

Саратов 2016

Цель работы – изучение методов синтеза линейных нейронных сетей и их практическое применение.

Линейные нейронные сети по своей структуре аналогичны персептрону и отличаются лишь функцией активации; которая является линейной. Выход линейной сети может принимать любое значение, в то время как выход персептрона ограничен значениями 0 или 1. Линейные сети, как и персептроны, способны решать только линейно отделимые задачи классификации, однако в них используется другое правило обучения, основанное на методе наименьших квадратов, которое является более мощным, чем правило обучения персептрона. Настройка параметров выполняется таким образом, чтобы обеспечить минимум ошибки. Поверхность ошибки как функция входов имеет единственный минимум, и определение этого минимума не вызывает трудностей. В отличие от персептрона настройка линейной сети может быть выполнена с помощью как процедуры адаптации, так и процедуры обучения; в последнем случае используется правило обучения WH (Widrow - Hoff).

Рассматриваются адаптируемые линейные нейронные сети ADALINE (ADAptive Linear Neuron networks), которые позволяют корректировать веса и смещения при поступлении на вход каждого нового элемента обучающего множества. Такие сети широко применяются при решении задач обработки сигналов и в системах управления. Основополагающей работой в этой области является книга [Widrow B., Sterns S. D. Adaptive Signal Processing. New York: Prentice-Hall, 1985.], в которой введено сокращение ADALINE для адаптируемых линейных нейронов.

По команде help linnet можно получить следующую информацию об М-функциях, входящих в состав ППП Neural Network Toolbox и относящихся к построению линейных нейронных сетей:

Архитектура линейной сети

Модель нейрона. На рис. 1 показан линейный нейрон с двумя входами. Он имеет структуру, сходную со структурой персептрона; единственное отличие состоит в том, что используется линейная функция активации purelin.

Весовая матрица W в этом случае имеет только одну строку, и выход сети определяется выражением

а = purelin(n) = purelin(Wp + b) = Wp + b = w₁₁p₁ + w₁₂p₂ +b.

a =purelin(Wp +b)

Рис. 1

Подобно персептрону, линейная сеть задает в пространстве входов разделяющую линию, на которой функция активации п равна 0 (рис. 2).

Рис. 2

Векторы входа, расположенные выше этой линии, соответствуют положительным значениям выхода, а расположенные ниже - отрицательным. Это означает, что линейная сеть может быть применена для решения задач классификации. Однако такая классификация может быть выполнена только для класса линейно отделимых объектов. Таким образом, линейные сети имеют то же самое ограничение, что и персептрон.

Архитектура линейной сети показана на рис. 3, а и включает S нейронов, размещенных в одном слое и связанных с R входами через матрицу весов W.

Рис. 3

На рис. 3, б показана укрупненная структурная схема этой сети, вектор выхода а которой имеет размер Sх1.

Создание модели линейной сети

Линейную сеть с одним нейроном, показанную на рис. 1, можно создать следующим образом:

net = newlin([-1 1;-1 1],1);

Первый входной аргумент задает диапазон изменения элементов вектора входа; второй аргумент указывает, что сеть имеет единственный выход. Начальные веса и смещение по умолчанию равны 0.

Присвоим весам и смещению следующие значения:

net.IW{1,1} = [2 3];

net.b{1} = [-4];

Теперь можно промоделировать линейную сеть для следующего предъявленного вектора входа:

р = [5; 6];

а = sim(net,p)

Получаем

а = 24

Обучение линейной сети

Для заданной линейной сети и соответствующего множества векторов входа и целей можно вычислить вектор выхода сети и сформировать разность между вектором выхода и целевым вектором, которая определит некоторую погрешность. В процессе обучения сети требуется найти такие значения весов и смещений, чтобы сумма квадратов соответствующих погрешностей была минимальной. Эта задача разрешима, потому что для линейных систем функция квадратичной ошибки является унимодальной.

Как и для персептрона, применяется процедура обучения с учителем, которая использует обучающее множество вида:

{p₁ t₁}, {p₂ t₂},..., {p _Q t _Q }, (1)

где р₁,р₂,...,р _Q - входы сети; t₁, t₂,..,t _Q - соответствующие целевые выходы.

Требуется минимизировать следующую функцию средней квадратичной ошибки:

(2)

Процедура настройки

В отличие от многих других сетей настройка линейной сети для заданного обучающего множества может быть выполнена посредством прямого расчета с использованием М-функции newlind.

Предположим, что заданы следующие векторы, принадлежащие обучающему множеству:

Р = [1 -1.2]; T = [0.5 1];

Построим линейную сеть и промоделируем ее:

net = newlind(Р,Т);

Y = sim{net, Р);

Y = 0.5 1

net.IW{1, 1}

ans = -0.2273

Дата добавления: 2017-02-01; Просмотров: 68; Нарушение авторских прав?; Мы поможем в написании вашей работы!