Zastosowanie głębokiego uczenia się do przechwytywania ruchu za pomocą DeepLabCut

Anonim

Zespół naukowców zrzeszonych w kilku instytucjach w Niemczech i USA opracował algorytm głębokiego uczenia się, który może być wykorzystywany do przechwytywania wszelkiego rodzaju zwierząt. W swoim artykule opublikowanym w czasopiśmie Nature Neuroscience grupa opisuje narzędzie do śledzenia o nazwie DeepLabCut, jak to działa i jak z niego korzystać. Kunlin Wei i Konrad Kording z University of Peking i University of Pennsylvania przedstawiają artykuł "News & Views" na temat pracy wykonanej przez grupę w tym samym numerze czasopisma.

Jak zauważają Wei i Kording, naukowcy próbowali zastosować przechwytywanie ruchu przez ludzi i zwierzęta przez ponad sto lat - chodzi o uchwycenie zawiłości wszystkich drobnych ruchów, które razem tworzą większy, bardziej zauważalny ruch, taki jak krok pojedynczego tańca. Możliwość śledzenia ruchów zwierząt dostarcza wskazówek dotyczących ich biomechaniki i sposobu działania ich mózgu. Być w stanie to zrobić z ludźmi może pomóc w wysiłkach fizjoterapii lub poprawy wyników sportowych. Obecny proces obejmuje nagrywanie wideo obiektu i wykonywanie żmudnego procesu znakowania obrazów klatka po klatce. W tym nowym wysiłku naukowcy opracowali technikę automatyzacji komputerowej, aby przeprowadzić ten proces, dzięki czemu jest on znacznie szybszy i łatwiejszy.

Aby utworzyć DeepLabCut, grupa przeszkoliła sieć neuronową, wykorzystując informacje z bazy danych o nazwie Imagenet, która zawiera ogromną liczbę obrazów i powiązanych metadanych. Następnie opracowali algorytm optymalizujący estymacje pozy. Trzecia część to oprogramowanie, które uruchamia algorytm, wchodzi w interakcje z użytkownikami i oferuje wyniki wyników. Rezultatem jest narzędzie, które może być użyte do wykonywania przechwytywania ruchu na ludziach i praktycznie każdym innym stworzeniu. Wystarczy, że użytkownik prześle próbki tego, na co patrzy, powiedzmy, zdjęcia wiewiórki z jej znacznymi częściami i kilka filmów pokazujących, jak się porusza. Następnie użytkownik przesyła wideo z podmiotu wykonującego czynności będące przedmiotem zainteresowania - np. Wiewiórka otwierająca orzech. Oprogramowanie robi resztę, tworząc przechwytywanie ruchu z aktywności.

Zespół udostępnił nowe narzędzie swobodnie dostępnemu każdemu, kto chce go użyć w dowolnym celu. Wei i Kording sugerują, że narzędzie może zrewolucjonizować przechwytywanie ruchu, dzięki czemu będzie łatwo dostępne dla profesjonalistów i początkujących.

menu
menu