• Naukowcy od lat próbują różnymi sposobami odtworzyć obraz z ludzkiego mózgu i zaprezentować go jako krótki film.
• Teraz chińscy badacze uzyskali obraz bardzo dobrej jakości, a wszystko dzięki najnowszym zdobyczom technologicznym.
• W opracowaniu krótkich materiałów pomogła im sztuczna inteligencja, która podkresliła wrażliwe części naszego mózgu.
• Zobacz także: Polska samotną wyspą ws. Fit for 55. Ziobro: Będziemy blokować. Ekspert: Wycofując się z negocjacji przestaliśmy się liczyć

Chińscy naukowcy wykorzystali sztuczną inteligencję do rekonstrukcji wysokiej jakości filmów z aktywności mózgu. Badacze Jiaxin Qing, Zijiao Chen i Juan Helen Zhou z National University of Singapore i The Chinese University of Hong Kong wykorzystali dane z fMRI oraz model AI tekst-na-obraz Stable Diffusion do stworzenia modelu o nazwie MinD-Video, który generuje filmy na podstawie odczytów mózgu.

Ich demonstracja pokazuje równoległość między filmami, które pokazywano badanym, a filmami generowanymi przez AI na podstawie ich aktywności mózgowej. Różnice między obiema sekwencjami filmowymi są niewielkie i w większości zawierają podobne tematy oraz palety kolorów - podaje Petros Tovmasyan.

Badacze wykorzystali AI do rekonstrukcji wysokiej jakości filmów z aktywności mózgu.

Badacze Jiaxin Qing, Zijiao Chen i Juan Helen Zhou z National University of Singapore i The Chinese University of Hong Kong wykorzystali dane z fMRI oraz model AI tekst-na-obraz Stable Diffusion… — Petros Tovmasyan (@PetrosTovmasyan) May 27, 2023

Filmy opublikowane przez naukowców pokazują oryginalne wideo przedstawiające konie na polu, a następnie zrekonstruowane wideo przedstawiające bardziej żywą wersję koni. W innym filmie samochód jedzie przez zalesiony obszar, a zrekonstruowane wideo pokazuje osobę jadącą krętą drogą z perspektywy pierwszej osoby. Naukowcy odkryli, że zrekonstruowane filmy były wysokiej jakości, zgodnie z definicją ruchu i dynamiki sceny. Poinformowali również, że filmy miały dokładność 85 procent, co stanowi poprawę w stosunku do poprzednich podejść.

Uważamy, że ta dziedzina ma obiecujące zastosowania w miarę rozwoju dużych modeli, od neuronauki po interfejsy mózg-komputer - napisali autorzy.

W szczególności powiedzieli, że wyniki te rzucają światło na trzy główne odkrycia. Jednym z nich jest dominacja kory wzrokowej, ujawniająca, że ta część mózgu jest głównym składnikiem percepcji wzrokowej. Innym jest to, że koder fMRI działa w sposób hierarchiczny, który zaczyna się od informacji strukturalnych, a następnie przechodzi do bardziej abstrakcyjnych i wizualnych funkcji na głębszych warstwach. Na koniec autorzy stwierdzili, że koder fMRI ewoluował na każdym etapie uczenia się, pokazując jego zdolność do przyjmowania bardziej szczegółowych informacji w miarę kontynuowania szkolenia.

Czytaj więcej: Neuralink odniosło pierwszy sukces na drodze do postępu. Jest ważna zgoda Federalnej Agencji Żywności i Leków. Ludzkość gotowa na kolejny etap rozwoju?

AI pozwoli na czytanie ludzkich myśli?

To badanie stanowi kolejny postęp w dziedzinie czytania ludzkich myśli za pomocą sztucznej inteligencji. Wcześniej naukowcy z Uniwersytetu w Osace odkryli, że mogą zrekonstruować obrazy aktywności mózgu w wysokiej rozdzielczości za pomocą techniki, która wykorzystywała również dane fMRI i stabilną dyfuzję.

Rozszerzony model stabilnej dyfuzji w tym nowym badaniu pozwala na dokładniejszą wizualizację.

Jedną z kluczowych zalet naszego stabilnego modelu rozpowszechniania w porównaniu z innymi modelami generatywnymi, takimi jak GAN, jest jego zdolność do tworzenia filmów o wyższej jakości. Wykorzystuje reprezentacje wyuczone przez koder fMRI i wykorzystuje swój unikalny proces dyfuzji do generowania filmów, które są nie tylko najwyższej jakości, ale także lepiej dopasowane do oryginalnej aktywności neuronowej - podkreślili chińscy naukowcy.