Metody uczenia liniowych sieci neuronowych

metody uczenia liniowych sieci neuronowychW 1949 r. Donald Hebb odkrył, że informacja może być przechowywana w strukturze połączeń między neuronami i zaproponował metodę uczenia sieci neuronowych (reguła Hebba).

Donald HebbLiniowym modelem neuronu jest model ADALINE (ADAptive LINear Element). W odróżnieniu do modelu podstawowego potrafi on się adaptować oraz uczyć. Aby to było możliwe podstawowy model neuronu uzupełniono o dodatkowe elementy, takie jak: moduł zmiany wag oraz moduł wyznaczania błędów.

Nauka z nauczycielem.

Do nauki neuronu ADALINE stosuje się metodę nauki zwaną regułą delta. Jest to metoda nauki z nauczycielem, ponieważ do nauki używa się wzorców uczących. Ogólną zasadę nauki przedstawia rysunek poniżej:

Uczenie sieci liniowych - rysunek 1
Wzorce uczące składają się z dwóch składników:

  • danych wejściowych,
  • żądanej wartości wyjścia dla tych danych wejściowych.

Aby proces uczenia przebiegał prawidłowo, wagi muszą być tak dobrane, aby sygnał wyjściowy jak najbardziej pokrywał się z wartością żądaną na wyjściu.
W regule tej uaktualnianie wag następuje po każdej prezentacji jednego wzorca uczącego. Zadanie polega na tym aby tak dobrać wagę neuronu liniowego, aby na zadany sygnał wejściowy odpowiedź neuronu była możliwie jak najbliższa wartości oczekiwanej.
Zgodnie z tą regułą, po prezentacji wzorca następuje modyfikacja wag poprzez korektę wagi poprzedniej o iloczyn różnicy między żądaną wartością na wejściu, a otrzymaną wartością na wyjściu neuronu oraz wartość wejścia, z którym powiązana jest ta waga.
Im większa różnica między żądaną wartością na wejściu, a otrzymaną wartością na wyjściu neuronu, tym korekta wag jest większa. Dla różnicy tej równej zeru nie ma żadnej korekty!

Ponieważ pojedynczy neuron ma ograniczenia, dlatego w praktycznych zastosowaniach występuje w grupie tworząc sieć MADALINE (Multi ADAptive LINear Element). W takiej sieci każdy neuron podlega uczeniu zgodnie z regułą delta.

Sieci tego typu wykorzystuje się do eliminacji zakłóceń, filtracji dolno – i górnoprzepustowej sygnałów.

Nauka bez nauczyciela.

Ponieważ reguła delta wymaga nie tylko wybrania wzorców do nauki, ale także oczekiwanej odpowiedzi, proces ten jest często niewygodny.

Inną metodą uczenia sieci MADALINE jest reguła Hebba. W metodzie tej, podczas uczenia, pożądana odpowiedz nie jest znana. Ze względu na brak informacji o poprawności, czy niepoprawności odpowiedzi, sieć musi się uczyć poprzez analizę reakcji na pobudzenia, o których naturze wie mało lub nic. W trakcie analizy parametry sieci podlegają zmianom, co nazywamy samoorganizacją. Ogólną zasadę nauki przedstawia rysunek poniżej:


uczenie_sieci_liniowe_rys_2

Zgodnie z wzorem reguły Hebba, waga powiązań między dwoma neuronami wzrasta przy jednoczesnym stanie pobudzenia obu neuronów, w przeciwnym wypadku maleje, natomiast sygnałem uczącym jest sygnał wyjściowy neuronu.


 

Uważasz, że artykuł był ciekawy i chcesz otrzymywać powiadomienia o moich kolejnych wpisach lub projektach?
Wpisz swoje imię oraz adres e-mail a następnie kliknij "ZAPISZ MNIE"

Twoje imię:


Adres email:


Algorytmy genetyczne
Sieci neuronowe

Podobne wpisy

 

    By accepting you will be accessing a service provided by a third-party external to https://www.slawop.net/

    Najnowsze komentarze

    Gość - Studio Jak wybrać hosting dla Joomla!?
    13 wrzesień 2019
    Warto jeszcze dopisać punkt, żeby przy wyborze wybrać panel między DirectAdmin/cPanel. Niektóre hostingi mają swoje własne rozwiązania - czasami bardzo specyficzne, co niekoniecznie jest dobrą rzeczą
    Gość - Marek Szyfrowanie symetryczne a niesymetryczne
    09 czerwiec 2019
    "Klucz przekazany do publicznej wiadomości, nazywany jest kluczem publicznym lub jawnym. Może on być stosowany do szyfrowania lub deszyfrowania informacji otrzymanych od osoby, która go wygenerowała. ...
    Gość - Marek Tworzenie szablonów dla Joomla! Helix Ultimate
    10 maj 2019
    Witam, napotkałem problem pojawiający się przy zmianie kolorów tła czy czcionek oraz importowaniem ustawień. W pierwszym przypadku, po zmianie kolorów i ich zapisaniem, panel podglądu strony przeładow...
    Gość - Andy SSL i Joomla! w Smarthost
    03 styczeń 2019
    Dzięki, jak zwykle dobra robota! Warto dodać, że instalacja certyfikatu SSL nie zapewnia bezpieczeństwa transmisji danych. To jest możliwe po wdrożeniu polityki bezpieczeństwa w firmie. Co do SSL - to...
    Gość - Henryk Jak utworzyć menu poziome w szablonie protostar?
    02 styczeń 2019
    Robię punkt po punkcie i nie wyświetla się poziome menu Nie wiem gdzie tkwi błąd i co robię źle?Jeśli to możliwe to proszę o pomocps. posiadam książkę "Joomla! 3x" i tu również niema pomocy Pozdrawiam...