W 1949 r. Donald Hebb odkrył, że informacja może być przechowywana w strukturze połączeń między neuronami i zaproponował metodę uczenia sieci neuronowych (reguła Hebba).

Donald HebbLiniowym modelem neuronu jest model ADALINE (ADAptive LINear Element). W odróżnieniu do modelu podstawowego potrafi on się adaptować oraz uczyć. Aby to było możliwe podstawowy model neuronu uzupełniono o dodatkowe elementy, takie jak: moduł zmiany wag oraz moduł wyznaczania błędów.

Koncepcja działania sztucznych sieci neuronowych oraz komputerów jest zupełnie inna. Mówiąc w uproszczeniu, komputery wykonują obliczenia korzystając z mocy obliczeniowej procesora oraz pamięci. Przy czym procesor oraz pamięć są od siebie niezależne. Sieć neuronowa, podobnie jak mózg, wykonuje obliczenia nie sięgając do odrębnych "modułów" pamięci - wykorzystuje zdobytą wcześniej wiedzę, bez konieczności korzystania z innych zasobów - potrafi przechować informacje w swojej strukturze.