W 1949 r. Donald Hebb odkrył, że informacja może być przechowywana w strukturze połączeń między neuronami i zaproponował metodę uczenia sieci neuronowych (reguła Hebba).
Donald HebbLiniowym modelem neuronu jest model ADALINE (ADAptive LINear Element). W odróżnieniu do modelu podstawowego potrafi on się adaptować oraz uczyć. Aby to było możliwe podstawowy model neuronu uzupełniono o dodatkowe elementy, takie jak: moduł zmiany wag oraz moduł wyznaczania błędów.
Nauka z nauczycielem.
Do nauki neuronu ADALINE stosuje się metodę nauki zwaną regułą delta. Jest to metoda nauki z nauczycielem, ponieważ do nauki używa się wzorców uczących. Ogólną zasadę nauki przedstawia rysunek poniżej:
Wzorce uczące składają się z dwóch składników:
- danych wejściowych,
- żądanej wartości wyjścia dla tych danych wejściowych.
{eblogads left}
Aby proces uczenia przebiegał prawidłowo, wagi muszą być tak dobrane, aby sygnał wyjściowy jak najbardziej pokrywał się z wartością żądaną na wyjściu.
W regule tej uaktualnianie wag następuje po każdej prezentacji jednego wzorca uczącego. Zadanie polega na tym aby tak dobrać wagę neuronu liniowego, aby na zadany sygnał wejściowy odpowiedź neuronu była możliwie jak najbliższa wartości oczekiwanej.
Zgodnie z tą regułą, po prezentacji wzorca następuje modyfikacja wag poprzez korektę wagi poprzedniej o iloczyn różnicy między żądaną wartością na wejściu, a otrzymaną wartością na wyjściu neuronu oraz wartość wejścia, z którym powiązana jest ta waga.
Im większa różnica między żądaną wartością na wejściu, a otrzymaną wartością na wyjściu neuronu, tym korekta wag jest większa. Dla różnicy tej równej zeru nie ma żadnej korekty!
Ponieważ pojedynczy neuron ma ograniczenia, dlatego w praktycznych zastosowaniach występuje w grupie tworząc sieć MADALINE (Multi ADAptive LINear Element). W takiej sieci każdy neuron podlega uczeniu zgodnie z regułą delta.
Sieci tego typu wykorzystuje się do eliminacji zakłóceń, filtracji dolno – i górnoprzepustowej sygnałów.
Nauka bez nauczyciela.
Ponieważ reguła delta wymaga nie tylko wybrania wzorców do nauki, ale także oczekiwanej odpowiedzi, proces ten jest często niewygodny.
Inną metodą uczenia sieci MADALINE jest reguła Hebba. W metodzie tej, podczas uczenia, pożądana odpowiedz nie jest znana. Ze względu na brak informacji o poprawności, czy niepoprawności odpowiedzi, sieć musi się uczyć poprzez analizę reakcji na pobudzenia, o których naturze wie mało lub nic. W trakcie analizy parametry sieci podlegają zmianom, co nazywamy samoorganizacją. Ogólną zasadę nauki przedstawia rysunek poniżej:
Zgodnie z wzorem reguły Hebba, waga powiązań między dwoma neuronami wzrasta przy jednoczesnym stanie pobudzenia obu neuronów, w przeciwnym wypadku maleje, natomiast sygnałem uczącym jest sygnał wyjściowy neuronu.
Uważasz, że artykuł był ciekawy i chcesz otrzymywać powiadomienia o moich kolejnych wpisach lub projektach?
Wpisz swoje imię oraz adres e-mail a następnie kliknij "ZAPISZ MNIE"