Naukowcy ulepszają metodę głębokiego uczenia sieci neuronowych

Peak States, Psycho-Immunology, and Fast Trauma Clearing - Grant McFetridge (Lipiec 2019).

Anonim

Naukowcy z Instytutu Systemów Inteligencji Cybernetycznej przy Narodowym Uniwersytecie Badań Jądrowych MEPhI (Rosja) opracowali ostatnio nowy model uczenia ograniczonej maszyny Boltzmanna (sieć neuronowa), która optymalizuje procesy semantycznego kodowania, wizualizacji i rozpoznawania danych. Wyniki tych badań opublikowano w czasopiśmie Optical Memory and Neural Networks.

Obecnie coraz popularniejszym obszarem badań stają się głębokie sieci neuronowe o różnych architekturach, takie jak sieci splotowe, rekurencyjne i autoenodererowe. Wiele firm zaawansowanych technologicznie, w tym Microsoft i Google, wykorzystuje głębokie sieci neuronowe do projektowania inteligentnych systemów.

W systemach głębokiego uczenia się procesy wyboru i konfiguracji cech są zautomatyzowane, co oznacza, że ​​sieci mogą samodzielnie wybierać pomiędzy najbardziej efektywnymi algorytmami hierarchicznego wyodrębniania cech. Głębokie uczenie się charakteryzuje uczenie się za pomocą dużych próbek przy użyciu jednego algorytmu optymalizacji. Typowe algorytmy optymalizacji konfigurują parametry wszystkich operacji jednocześnie i efektywnie szacują wpływ każdego parametru sieci neuronowej na błąd za pomocą tak zwanej metody wstecznej propagacji.

"Zdolność uczenia się w sieciach neuronowych jest jedną z ich najbardziej intrygujących właściwości" - wyjaśnił Vladimir Golovko, profesor Instytutu Systemów Wywiadowczych MEPhI. "Podobnie jak systemy biologiczne, sieci neuronowe mogą modelować się, starając się wypracować jak najlepszy model zachowania".

W 2006 roku sfera treningu sieci neuronowych stała się przełomem, kiedy Geoffrey Hinton opublikował dokument badawczy na temat przedtreningowych sieci neuronowych. Stwierdził, że wielowarstwowe sieci neuronowe mogą być wcześniej przeszkolone poprzez trenowanie jednej warstwy na raz przy pomocy ograniczonej maszyny Boltzmanna, a następnie precyzyjne dostrojenie ich za pomocą wstecznej propagacji. Sieci te zostały nazwane głębokimi sieciami przekonań lub DBN.

Golovko przeanalizował główne problemy i paradygmaty głębokiego uczenia maszynowego i zaproponował nową metodę uczenia ograniczonej maszyny Boltzmanna. Badacz wykazał, że klasyczna reguła szkolenia tej sieci neuronowej jest szczególnym przypadkiem opracowanej przez niego metody.

"Amerykańscy naukowcy Minsky i Papert wykazali kiedyś, że z punktu widzenia klasyfikacji wzoru perceptron pojedynczej warstwy z progową funkcją aktywacji tworzy liniową powierzchnię oddzielającą, co jest przyczyną, dla której nie może rozwiązać problemu" wyłącznego lub ", " Golovko znakomity. "Doprowadziło to do pesymistycznych wniosków co do dalszego rozwoju sieci neuronowych, jednak ostatnie stwierdzenie dotyczy tylko perceptronu jednowarstwowego z progową lub monotoniczną funkcją ciągłej aktywacji, na przykład, sigmoidalnej funkcji. funkcja perceptron pojedynczej warstwy może rozwiązać problem "wyłączny lub", ponieważ może dzielić obszar zer i jedynek na klasy za pomocą dwóch prostych linii. "

Badanie obejmowało również analizę perspektyw wykorzystania głębokich sieci neuronowych do kompresji, wizualizacji i rozpoznawania danych. Co więcej, Golovko zasugerował także nowe podejście do implementacji semantycznego kodowania lub mieszania, które opiera się na wykorzystaniu głębokich auto-asocjacyjnych sieci neuronowych.

Ta metoda głębokiego uczenia się może być bardzo przydatna do szkolenia sieci neuronowych wyszukiwarek, twierdzi autor, ponieważ poprawi to szybkość wyszukiwania odpowiednich obrazów.

Odkrycia te mają dużą wartość praktyczną: znalazły już zastosowanie w dziedzinie wizji komputerowej, rozpoznawania mowy i bioinformatyki.

menu
menu