Eye tracking (po polsku zwany również okulografią) jest zbiorem technik badawczych pozwalających na uzyskanie informacji odnośnie ruchu oka – położenia w danym przedziale czasowym oraz (ewentualnym) punkcie fiksacji wzroku. Dane pozyskane w ten sposób mogą zostać wykorzystane np. podczas prowadzenia badań z zakresu:
- użyteczności interfejsów,
- czytania tekstu,
- skuteczności przekazu reklamowego.
Poniżej postaram się przedstawić podział aparatury do przeprowadzania tego rodzaju badań w odniesieniu do:
- położenia urządzenia względem głowy,
- rodzaju uzyskiwanych danych,
- metody wyznaczania punktu fiksacji (lub samego ruchu oka).
Podczas tworzenia wpisu korzystałem głównie z tekstów anglojęzycznych. Niestety, nie udało mi się odszukać wszystkich polskich odpowiedników odnoszących się do terminów w języku angielskim. Proszę zatem o wyrozumiałość i ewentualną korektę w przypadku najbardziej rażących błędów ;)
“Mobilność” urządzenia
Eye trackery można podzielić z grubsza na dwa rodzaje:
- mobilne (zwane często nagłownymi),
- niemobilne.
Należy zaznaczyć, że nie każdy nagłowny system do eye trackingu jest również mobilnym. Zbierając informacje na potrzeby tego wpisu, trafiłem na ciekawą “hybrydę” obu typów urządzeń nazwaną nagłownym systemem stacjonarnym, którą zaprezentowano na obrazku poniżej.
Nagłowny eye tracking stacjonarny.
Istnieje kilka odmian urządzeń, zarówno mobilnych jak i niemobilnych.
Np. eye trackery mobilne mogą zostać przytwierdzone do specjalnego kasku, czapki z daszkiem lub nałożone w postaci okularów lub gogli.
Eye trackery niemobilne są najczęściej zintegrowane z monitorem na którym prezentuje się bodźce. Kolejną odmianą urządzeń niemobilnych są te, zamontowane na stojaku umieszczanym na wprost osoby badanej (niektóre z nich, dzięki silniczkom, są w stanie “śledzić” ruch głowy w celu minimalizacji utraty sygnału). Większość produkowanych obecnie eye trackerów, dzięki coraz powszechniejszemu użyciu odbiorników podczerwieni, cechuje się dość sporą tolerancją na ruchy głową.
Istnieją również specjalne eye trackery przeznaczone do celów chirurgicznych (o czym w dalszej części wpisu), są one urządzeniami o charakterze niemobilnym.
Rodzaj uzyskiwanych danych
(2 wymiary, bezwzględny punkt odniesienia)
Niektórzy badacze zajmujący się eye trackingiem są zainteresowani wyłącznie informacją o ruchu oka, ale nie w odniesieniu do punktu padania fiksacji w przestrzeni (punkt fiksacji jest miejscem w polu widzenia osoby badanej, na który patrzy się ona w danym momencie). Dla tego rodzaju badań najważniejsza jest informacja o położeniu oka w odniesieniu do punktu startowego. Takie dane mają charakter wartości bezwzględnych (ang. “absolute values“). Technika znana jest również pod nazwą eye trackingiu oczodołowego (ang. “orbital eye tracking“).
Przykładem ww. urządzenia jest polski wynalazek JAZZ-novo, powstały przy współpracy Instytutu Biocybernetyki i Inżynierii Biomedycznej PAN oraz firmy Ober Consulting Poland.
System pomiarowy JAZZ-novo.
Informacje zebrane tą metodą są często wykorzystywane w badaniach narządu przedsionkowego (ang. “vestibular research“), neurologicznych badaniach nad wzrokiem (ang. “neurological visual research“) oraz w diagnozowaniu dysleksji. Praktyczne zastosowanie znajdują również w lotnictwie wojskowym, dostarczając informacji o interakcji pilota z kokpitem samolotu.
(2 wymiary, względny punkt odniesienia)
Jednakże większość badaczy korzystających z urządzeń tego rodzaju jest zainteresowana danymi o względnym położeniu (ang. “relative position“) oka, czyli w odniesieniu do punktu padania fiksacji na monitorze bądź przestrzeni (chodzi tutaj głównie o badaczy zajmujących się użytecznością interfejsów czy percepcją przekazu reklamowego). Wyniki testów są zazwyczaj prezentowane w postaci map ciepłych miejsc (ang. “heat maps”).
"Stare" Allegro - heatmapa.
Jest to możliwe dzięki zastosowaniu zaawansowanych algorytmów, które są w stanie monitorować położenie oka, łącząc następnie punkt fiksacji osoby badanej z daną sceną wzrokową. Wszystkie środowiska dedykowane owemu zadaniu (ang. “gaze tracking systems“) muszą zostać wcześniej skalibrowane.
W naszym kraju najpopularniejszym eye trackerem dostarczającym takich danych jest Tobii.
Eye tracker firmy Tobii z serii T (T60/T120).
Urządzenia tego rodzaju są dostępne również w wersji mobilnej. Przykładem takowego jest niemiecki system Dikablis. Jako ciekawostkę podam, że dzięki rozmieszczeniu specjalnych markerów w obszarze badanej sceny wzrokowej, urządzenie pozwala na wyznaczenie ruchomych obszarów zainteresowania (ang. “mobile areas of interest“).
(3 wymiary, względny punkt odniesienia)
Trzeci rodzajem eye trackingu jest tak zwana “okulografia 3D”. Oprócz danych o stopniu horyzontalnego i wertykalnego odchylenia oka dostarcza informacji o stopniu rotacji/skrętu gałki ocznej wokół własnej osi. Niektóre urządzenia pozwalają nawet na monitorowanie ruchów oraz położenia głowy, co można później zestawić z danymi o rotacji oka.
Stopień rotacji oka w odniesieniu do pozycji głowy.
Rozwiązania tego rodzaju dostarcza niemiecka firma SensoMotoric Instruments GmbH. Jest nim nagłowne urządzenie 3D Video-Oculography® (3D VOG).
System 3D Video-Oculography®.
Uzyskane dane (ang. “torsional data“) są najczęściej wykorzystywane do badań nad widzeniem obuocznym (ang. “binocular vision research“) oraz wspomnianych już wcześniej badaniach narządu przedsionkowego.
(3 wymiary + 3 rodzaje przesunięcia oka, bezwzględny punkt odniesienia)
Ostatnią wyróżnioną odmianą eye trackingu, jest tak zwany eye tracking “sześciowymiarowy” (ang. “6 d eye tracking“). Urządzenia te stosuje się wyłącznie do celów medycznych (np. w dziedzinie chirurgii refrakcyjnej). Dostawcą omawianego systemu jest wspomniana wcześniej firma SMI.
Możliwy zakres przemieszczenia oka.
Informacje o trzech dodatkowych rodzajach przesunięcia gałki ocznej pozwalają zwiększyć precyzję przeprowadzanych zabiegów z użyciem lasera (w których to nie sama pozycja źrenicy czy też rąbka rogówki jest najważniejsza, lecz dokładne położenie zewnętrznej powierzchni oka).
Metody pomiaru
Pierwsze próby rejestracji ruchu oka mogą wydawać się bardzo prymitywne z dzisiejszej perspektywy, jednakże ich twórcom nie można odmówić sporej dozy kreatywności. Należy pamiętać o ograniczeniach technologicznych z którymi musieli się oni mierzyć. Oto kilka przykładów “pionierskich” metod pomiarowych:
- metoda obserwacji ruchu oka z wykorzystaniem specjalnego systemu luster (znana również pod nazwą optokinetografii),
- metoda z wykorzystaniem specjalnego rysika mechanicznie przytwierdzanego do gałki ocznej (nierzadko z zastosowaniem opiatów w roli środków znieczulających podczas operacji przytwierdzania rysika),
- metoda analizowania materiału wideo oraz wyznaczania punktu fiksacji, klatka po klatce.
Przykład pomiaru optokinetograficznego.
Badania tego rodzaju były bardzo ograniczone pod względem jakościowym.
Poniżej postaram się zaprezentować najpopularniejsze, stosowane w dzisiejszych czasach metody zbierania informacji o ruchu oka.
(1)
Elektrookulografia (ang. “electrooculography“) mierzy różnice w potencjałach bioelektrycznych mięśni położonych w okolicy ocznej. Na podstawie amplitudy sygnału oblicza się odległość pomiędzy szybkimi zmianami położenia oka (zwanymi również sakadami). Jest to możliwe dzięki temu, iż potencjał z przodu gałki ocznej różnią się od potencjału jej tylnej części.
Zmiany zachodzące w ładunku pól elektrycznych wywołane ruchem oka pozwalają monitorować jego położenie.
System do badań elektrookulograficznych.
Systemy bazujące na tej metodzie są bardzo podatne na szum wywołany aktywnością innych mięśni twarzy. Elektrookulografię wykorzystuje się najczęściej w medycynie.
By dowiedzieć się więcej na temat rejestracji ruchu oka przy użyciu elektrookulografii, warto zapoznać się również z wpisem pt. Eye tracking “nauszny”?.
(2)
System cewkowy (ang. “coil system“) śledzi ruchy oka poprzez monitorowanie położenia namagnetyzowanych pierścieni umieszczonych w, lub na powierzchni oka. Mogą one zostać zamocowane na dwa sposoby:
- nieinwazyjnie (np. wtopione w szkło kontaktowe),
- inwazyjnie (umieszczone chirurgicznie wewnątrz gałki ocznej).
Ostatnia metoda, ze względu na ryzyko związane z operacją, jest stosowana najczęściej podczas badań z udziałem zwierząt. W celu zwiększenia precyzji oraz możliwości pomiaru, do jednej gałki ocznej można wprowadzić więcej niż jedną cewkę. Każda dodatkowa cewka emituje inną częstotliwość, co pozwala na ich późniejsze rozróżnienie podczas odbioru sygnału. Umieszczenie dwóch cewek w oku pozwala uzyskać informacje o skręcie oka wokół własnej osi.
"Nieinwazyjna" metoda umieszczenia cewki w oku.
Wynalezienie systemu cewkowego umożliwiło po raz pierwszy śledzenie ruchów oka w wyszczególnionym wcześniej “trzecim wymiarze”, dostarczając informacji o skręcie oka wokół własnej osi.
(3)
Obrazowanie Purkinjego (ang. “Purkinje imaging“) jest metodą będącą w stanie zarejestrować refleksy różnych struktur gałki ocznej. Sygnały te są zwykle emitowane przez promiennik podczerwieni (analiza z zastosowaniem kamery wideo jest obecnie coraz rzadsza) a następnie analizowane ze względu na odkształcenia w odbiciu refleksu. Dzięki specjalnemu algorytmowi, możliwe jest odniesienie pozycji oka względem punktu fiksacji na monitorze.
Cztery rodzaje obrazów Purkinjego.
Eye trackery tego rodzaju wyznaczają pozycję oka rejestrując odbicie od powierzchni rogówki (tzw. pierwszego obrazu Purkinjego – P1 – zwanego również glintem) względem środka źrenicy. W celu zwiększenia dokładności pomiaru możliwe jest zwiększenie liczby rejestrowanych przez urządzenie punktów (glintów) do czterech.
(4)
Istnieją również urządzenia o większej precyzji pomiaru zwane podwójnymi trackerami Purkinjego (ang. “dual-Purkinje eye trackers“) wykorzystujące odbicia od powierzchni rogówki (czyli pierwszego obrazu Purkinjego, P1) w odniesieniu do tylnej powierzchni soczewki (zwanego czwartym obrazem Purkinjego, P4). Takie systemy cechują się znaczną dokładnością, jednakże ich największą wadą jest to, że czwarty obraz Purkinjego jest bardzo słaby, w wyniku czego badana osoba nie może poruszać głową podczas przeprowadzania eksperymentu/badania. Efekt ten osiąga się zazwyczaj dzięki zastosowaniu podpórki pod brodę lub specjalnego gryzaka (ang. “bite-bar“).
(5)
Systemy rejestrujące refleks “jasnych źrenic” (ang. “bright pupil systems“) wysyłają w kierunku oka wiązkę światła podczerwonego, która powoduje podświetlenie się rogówki (otrzymany efekt jest podobny do “efektu czerwonych oczu”).
Oświetlenie podczerwone - efekt "jasnych źrenic".
W celu zlokalizowania emitowanej przez nadajnik wiązki stosuje się sprzężenie zwrotne – wiązkę odbitą od odblasku (ang. retroreflector – obiekt transmitujący światło lub inne promieniowanie w kierunku z którego przybyło, niezależnie od kąta padania wiązki na jego płaszczyznę) umieszczonego po stronie odbiornika. Rolę “odblasku” pełni tutaj źrenica ludzkiego oka.
Zasada działania odblasku.
Śledząc ruch jasnych punkcików (po wcześniejszej kalibracji), system może przełożyć informacje dotyczące ruchu oka na koordynaty punktu padania fiksacji na monitorze.
(6)
Systemy rejestrujące refleks “ciemnych źrenic” (ang. “dark pupil systems“) są odwróceniem metody wcześniejszej. W kierunku twarzy zostaje wysłana wiązka światła podczerwonego która, po odbiciu, wędruje z powrotem do odbiornika. Na twarzy badanego tworzy się poświata, za wyjątkiem obszaru źrenic, które absorbują najwięcej światła podczerwonego, jawiąc się jako punkt o największym kontraście.
Oświetlenie podczerwone - efekt "ciemnych źrenic".
(7)
Systemy monitorujące rogówkę (ang. “limbus tracking“) śledzą pozycję oraz kształt zakończenia rogówki względem wybranej części twarzy. Bardzo często zdarza się, że część rogówki zostaje przesłonięta przez powiekę (jak zostało to zaprezentowane na poniższym obrazku), co może powodować zniekształcenie danych o wertykalnym położeniu oka.
System monitorujący rogówkę oka.
Na zdjęciu zaprezentowanym powyżej, za jeden z punktów odniesienia został obrany kącik oka (oznaczony zieloną kropką).
(8)
Systemy monitorujące źrenicę oka (ang. “pupil tracking“) działają na bardzo podobnej zasadzie. Pomniejszeniu ulega średnica monitorowanego obszaru (granica źrenicy z sąsiadującą tęczówką), co ma swoje zalety:
- obszar mogący zostać zakryty przez powiekę zmniejsza się, co poprawia jakość danych o wertykalnym położeniu oka,
- granica samej źrenicy jest często ostrzejsza w porównaniu do systemów monitorujących rogówkę, co poprawia jakość danych na wejściu.
Dla przypomnienia różnicy pomiędzy źrenicą a rogówką, zamieszczam schemat obrazujący budowę ludzkiego oka :)
Schemat budowy oka.
(9)*
Ostatnią metodą, którą chciałbym przedstawić jest system monitorujący pozycję rogówki przy wykorzystaniu sztucznych sieci neuronowych (ang. “eye image using an artificial neural network“). Obraz wideo twarzy użytkownika ze szczególnym uwzględnieniem okolicy ocznej zostaje przesłany, a następnie przetworzony przez sztuczną sieć neuronową (w skrócie SSN). W wyniku tego procesu powstaje zbiór koordynatów niezbędnych sieci do dokonania odpowiednich obliczeń.
Przykład wyekstrahowanego przez SSN obrazu oka.
Zastosowanie SNN jest bardziej czasochłonne w porównaniu metodami wymienionymi wcześniej, bowiem programowi nie wystarczy jedynie zwykła kalibracja na początku każdej sesji. Przed przystąpieniem do badania, program trzeba odpowiednio “wytrenować”, dostarczając mu odpowiednią ilość obrazów oczu i twarzy zebranych podczas ekspozycji bodźca kalibrującego. Dokładność tego typu systemów pozostawia również wiele do życzenia.
* SNN nie jest do końca oddzielną metodą, ponieważ bazuje na tych samych zasadach co (7), a jedyna różnica leży po stronie algorytmu obliczającego pozycję oka, niemniej wydała mi się na tyle ciekawa, iż postanowiłem poświęcić jej osobny, ostatni podpunkt :)
Podczas pisania tej notki, przydatne były informacje zaczerpnięte z poniższych źródeł:
www.ptbrio.pl/kongres4/prez/08.pps
Chciałbym również podziękować Marcinowi i Kamilowi, którzy pomogli mi nieco “wygładzić” tekst oraz zwrócili uwagę na kilka niedociągnięć :)
Filed under: Badania, Eye Tracking, Heat Map, Okulografia, Ruch Oka
