Sny z YouTube

Fotony, wystrzelone z przeraźliwą prędkością wprost z reakcji jądrowej pobliskiej gwiazdy odbijają się od wszystkiego, co stanie im na drodze. Część z nich, niejako przy okazji, wpada do ludzkiego oka. Mózg analizuje to, co otrzymał za pośrednictwem wzroku i tworzy kolorowy, otaczający nas świat. Tak, w uproszczeniu, widzimy wszyscy. Swojego obrazu rzeczywistości jesteśmy pewni, jednak możemy się tylko domyślać, jak inni radzą sobie z odbieraniem barwnych bodźców. Naturalnym wydaje się więc pytanie, czy istnieje jakiś sposób na sprawdzenie tego, co widzą inni? Pomaga nam empatia, ale na bogów, nie lepiej by było mieć obraz w HD?

Czytanie w myślach to marzenie wielu ludzi (i instytucji państwowych). Mamy na tym polu już dość niebywałe sukcesy. Nasz mózg sam generuje bardzo dużo sygnałów. Wystarczy nauczyć się je interpretować. Możemy na ten przykład definiując częstotliwość odebranych fal mózgowych zmieniać siłą woli przerzutki w rowerze:

Czy też okazywać nasz nastrój odpowiednim ułożeniem wielkich kocich uszu:

Im bardziej wyszukana technologia, tym więcej możemy zrobić z tak otrzymanymi informacjami. Czepek EEG podłączony do odpowiedniego oprogramowania pomoże nam myślami kierować wózkiem inwalidzkim. Im głębiej jednak w czaszkę, tym możliwości większe. Zwłaszcza, jeśli chodzi o bodźce natury wizualnej. Udowadniają to badacze z Kalifornijskiego uniwersytetu w Berkeley.

Wymieniony powyżej wózek dla niepełnosprawnych jest kierowany zapamiętanym przez komputer układem aktywności neuronalnej. Innymi słowy ochotnik myśli o skręcaniu w lewo, a czepek zapisuje charakterystyczny dla tej chwili układ pobudzenia komórek nerwowych przypisując mu właśnie tę komendę. Gdy będąc już na chodniku programowi ukaże się ów specyficzny rozkład roziskrzonych synaps ten z chęcią, po przemyśleniu poprawnej drogi, wykona rozkaz. Mając do dyspozycji takie maszyny jak fMRI, możemy posunąć się dalej. Pracujące komórki nerwowe potrzebują tlenu — a ten dostarczany jest przez krew. Śšledząc zmiany w przepływie życiodajnego płynu jesteśmy więc w stanie dostrzec które rejony mózgu nad czymś pracują. Kierując celownik rezonansu w korę wzrokową możemy próbować wychwycić charakterystyczne wzorce pobudzenia, które towarzyszą przeglądanym zdjęciom czy napisom. I rzeczywiście się to udaje — naukowcy są w stanie z dużym prawdopodobieństwem powiedzieć na które czarno-białe zdjęcie ochotnik się akurat patrzy. Szkopuł w tym, że najpierw trzeba było za każdym razem zbierać układy pobudzenia tak, by można je było do porównać do określonego bodźca. Do czasu.

Nishimoto razem ze współpracownikami podeszli do sprawy bardzo ambitnie. Mając już za sobą pierwsze próby z rozpoznawaniem statycznych obrazów zajęli się obrazem ruchomym. Ponieważ procedura eksperymentu wymagała wielogodzinnych sesji, w których badany musiałby leżeć nieruchomo, pierwszymi i ostatnimi ochotnikami byli trzej autorzy. Maszyna do fMRI mierzyła przepływ krwi podczas gdy oni oglądali różne filmy. Nagrana aktywizacja voxeli (które to punkty rozśmieszały nas w przeszłości) została wprowadzona do komputera, który poświęcając swój wolny czas zajął się różnymi obliczeniami. Zdołał on skonstruować model aktywności neuronów, który teoretycznie mógłby przewidywać, jak dany obraz będzie przetwarzany przez korę wzrokową. Drużyna z Berkeley nie osiadła na laurach — znowu pewnym krokiem wkroczyła do fMRI po następną dawkę filmików. Tym razem jednak chciano, żeby program mógł z czymś porównać otrzymane dane. Zastanówmy się — gdzie można za darmo otrzymać dużo próbek różnych filmów?

Nie wiem czy torrenty i Redtube przewinęły się jako możliwe źródła danych na spotkaniu badaczy, jednak zdecydowali się oni pobrać 18 milionów jednosekundowych próbek z losowych filmów umieszczonych w serwisie YouTube. Co ważne, nie było wśród nich produkcji, które oglądali unieruchomieni w fMRI badani. Program mógł więc ocenić jaka aktywizacja kory wzrokowej mogłaby wystąpić w przypadku oglądania tych sekund śmiesznych kotków i satanistycznych teledysków, oraz jak wygląda aktywizacja ochotników. Pora więc na prace ręczne.

Komputer ocenił, które jednosekundowe urywki najbardziej odpowiadają aktywizacji wzbudzonej przez oglądany film i ze 100 najbardziej zbliżonych wyników stworzył jeden, rozmyty, niedokładny, ale jednak ruchomy obraz. Jak mu to wyszło? Oceńcie sami:

Składanie krótkich filmików w jeden cały możecie obejrzeć poniżej. Lewy górny róg zarezerwowany jest dla oglądniętego filmu. Poniżej są trzej badani, a konkretniej obraz, który został stworzony na podstawie ich aktywizacji neuronalnej. Na prawo od każdego ochotnika próbki filmów, które posłużyły do stworzenia rozmytej wizji.

Autorzy publikacji mówią, że metoda jest jeszcze ułomna. Nie sposób ocenić, jak program poradzi sobie z obrazami tworzonymi przez samą wyobraźnię, nie tymi, które mózg analizuje przez wzrok. Oczywiście można się jeszcze przyczepić, że obrazowi daleko od doskonałości, a w 2. minucie słychać strzały, ale zwróćcie uwagę jak przełomowy jest to eksperyment. “Berkeleyowcy” już chcą nakarmić komputer większa ilością danych, by ten miał bogatszą paletę i więcej możliwości konstruowania swoich wizji. Odsłanianie kolejnych tajemnic kory wzrokowej i rozwój technologii obrazowania sprawi, że już niedługo komputerowo składana mara nabierze ostrości. A co wtedy? Może puszczane w Internecie na żywo sny? A może sprzedaż zapisanych w ten sposób wzrokowych wspomnień? Chwila… chyba był już taki film science fiction…

Shinji Nishimoto, An T. Vu, Thomas Naselaris, Yuval Benjamini, Bin Yu, Jack L. Gallant, Reconstructing Visual Experiences from Brain Activity Evoked by Natural Movies, Current Biology, Available online 22 September 2011, ISSN 0960-9822, 10.1016/j.cub.2011.08.031.
(http://www.sciencedirect.com/science/article/pii/S0960982211009377)

Przy okazji informuję, że nastąpiła mała zmiana w opisie bloga. Z “Jestem studentem psychologii” zrobiło się “Jestem psychologiem”. Powodów zmiany możecie się domyślać ;)

Jednocześnie przypominam, że toczy się małe losowanie na G+. Jeśli masz tam konto wystarczy, że udostępnisz ten wpis a masz szansę zgarnąć książki. Google Plus jest już otwarty dla wszystkich, także zachęcam do zakładania profili i dodawania mnie do kręgów ;)