Sprawy ogólne BHP
RZECZYWISTOŚĆ WIRTUALNA W BHP

 

Rzeczywistość rozszerzona

 

Cechą charakterystyczną rzeczywistości rozszerzonej (AG - Augmented Reality) jest nałożenie na obraz rzeczywisty syntetycznych napisów i obrazów. Przykładem takiego działania jest system HUD (Head-Up Display) stosowany w samolotach, gdzie na obraz widziany przez pilota nakłada się najważniejsze informacje dotyczące parametrów lotu. Podobne rozwiązania zaczyna się również stosować w samochodach, gdzie na przedniej szybie wyświetlane są m.in. informacje z systemu nawigacji satelitarnej.

Początki metod rzeczywistości rozszerzonej, które nie były przeznaczone do wykorzystania w pojazdach, wiążą się z użyciem HMD, na którym zamocowane były dwie (czasem jedna) kamery. Po obraniu z kamer obraz był przetwarzany przez komputer i dopiero wtedy wyświetlany na ekranach HMD. W efekcie obraz był wyświetlany z dużym opóźnieniem, co wywoływało objawy choroby symulatorowej. Nieznacznie lepszym rozwiązaniem było zastosowanie HMD z ekranami o niezerowej transmisji światła (ekrany te przepuszczały część padającego na nie światła podobnie jak przyciemnione okulary) - wówczas nie było konieczne stosowanie kamer. Nadal jednak pozostawał problem naniesienia odpowiedniej treści na oglądany przez człowieka obraz. Najczęściej stosowano systemy wizyjne, obraz rejestrowany przez kamerę był analizowany w poszukiwaniu elementów pasujących do określonych wzorców (mniej wyrafinowana, ale częściej stosowana metoda polegała na przymocowaniu do interesującego nas elementu odpowiednich znaczników, rys. 2.) - np. kolejnego elementu, jaki powinien być zdemontowany z silnika samochodu: wówczas element ten był podświetlany. Znaczniki te muszą być przymocowane do elementów, aby te mogły być prawidłowo rozpoznane przez system.

 

 

Rys. 2. Przykładowe znaczniki stosowane w metodach rzeczywistości rozszerzonej

 

Teoretycznie dawało to taką zaletę, że pracownik był powiadamiany automatycznie przez system, jakie elementy powinien w danej chwili zdemontować (zamontować). W praktyce system ten nie działa tak jak powinien: obecnie dostępne algorytmy rozpoznawania wzorców są nadal mocno niedoskonałe i daleko nam jeszcze w tej dziedzinie do możliwości ludzkiego mózgu. Aby położenie przedmiotu było prawidłowo rozpoznane, musi być spełnionych wiele warunków, takich jak: odpowiednie natężenie oświetlenia, dostatecznie duży kontrast, niezbyt duże kąty pod jakim widziany jest obiekt (znacznik), odpowiednia odległość od obiektu (znacznika) oraz brak zabrudzeń na obiekcie (co jest często niezwykle trudne do osiągnięcia w warunkach przemysłowych).

Istotna jest też kwestia opóźnień - analiza obrazu, a następnie jego wyświetlenie zajmuje dużo czasu. W efekcie syntetyczny obraz, który powinien być nakładany na obraz rzeczywisty mocno drga oraz obraca się, o ile w ogóle jest wyświetlany. Kolejną wadą takiego podejścia jest to, że obserwowana przestrzeń jest mocno ograniczona (ze względu na niewielkie rozmiary wyświetlaczy) oraz dodatkowo przesłaniana przez elementy syntetyczne. Należy też pamiętać, że w takim przypadku konieczne jest zastosowanie odpowiedniego HMD oraz dostatecznie szybkiego komputera zdolnego do przeprowadzenia analizy obrazu rzeczywistego i wyświetlenia obrazu syntetycznego.

Ze względu na wymienione problemy w sferze praktycznej rzeczywistość rozszerzona ewoluuje w kierunku mniej wyrafinowanych, ale bardziej niezawodnych metod. Obecnie stosuje się najczęściej specjalne okulary zawierające jeden niewielki wyświetlacz (fot. 2.), który powinien wyświetlać obraz dla niedominującego oka [6]. Okulary tego typu są często wykorzystywane również do zdalnego sterowania bezzałogowymi pojazdami. Czasami zamiast ekranu stosuje się też pico-projektor wyświetlający obraz bezpośrednio na siatkówce oka. Podobne rozwiązania stosuje się też do prezentacji sygnałów alarmowych [7].

 

 

 

Fot. 2. Okulary (PirateEye - http://www. 1001copters.com/lang-en/15-monocular-video-glasses) z wyświetlaczem, na którym mogą być prezentowane filmy instruktażowe

 

 

W przypadku takich systemów treść obrazu wyświetlanego pracownikowi nie jest złożeniem obrazu rzeczywistego i syntetycznego. W okularach wyświetlany jest elektroniczny podręcznik pokazujący krok po kroku, jakie czynności powinny być wykonywane (np. podczas składania elementów). Prowadzone badania dowodzą, że takie podejście daje najlepsze rezultaty, zwłaszcza gdy w okularach wyświetlany jest kolorowy film obrazujący konieczne do wykonania czynności [6].

Pisząc o rzeczywistości rozszerzonej nie można nie wspomnieć o jednej z jej odmian, bazującej na wykorzystaniu coraz popularniejszych w ostatnich latach smartfonów, wyposażonych w kamerę i duży wyświetlacz. Urządzenia te mają wystarczającą moc obliczeniową, by wykonać prostą analizę obrazu (np. w poszukiwaniu odpowiednich znaczników lub punktów charakterystycznych) i wyświetlić na ekranie obraz z kamery wzbogacony o elementy syntetyczne. Choć obecnie zastosowania praktyczne ograniczają się głównie do rozrywki (np. wyświetlanie wirtualnych zwierząt „biegających" po rzeczywistych elementach), marketingu (na ekranie ukazują się dodatkowe informacje o produkcie, np. trójwymiarowy obraz złożonego z klocków zamku) oraz turystyki i zwiedzania (dodatkowe informacje o atrakcjach turystycznych lub obiektach muzealnych), trwają prace badawcze mające na celu zastosowanie tych metod do wspomagania i szkolenia pracowników [8].

 

„Naturalny interfejs"

 

Samo wyświetlanie obrazu jest jednakże niewystarczające, potrzebne są odpowiednie interfejsy pozwalające na zbieranie informacji o czynnościach wykonywanych przez osobę biorącą udział w szkoleniu. W szczególności aplikacja szkoleniowa powinna współpracować z urządzeniami wykorzystującymi tzw. naturalny interfejs (tzn. niewymagającymi użycia dodatkowego kontrolera), np. Microsoft Kinect lub Asus Xtion. Oba te urządzenia są kompatybilne z biblioteką OpenNI (NI - Natural Interface). Zastosowanie tych urządzeń pozwoli na przechwycenie informacji o położeniu dłoni osoby szkolonej, jak również całego szkieletu (rys. 3.), co pozwoli jej na interakcję z wirtualnym środowiskiem. Sterownik urządzenia automatycznie rozpoznaje figurę człowieka (na rys. wyróżniona kolorem niebieskim) oraz konfigurację szkieletu (białe linie oznaczają położenie poszczególnych członów ciała). Ilustracja z prawej strony przedstawia wirtualne środowisko warsztatu mechanicznego, w którym znajduje się awatar pracownika z położeniem kończyn zgodnym z tymi, jakie zarejestrował sensor.

 

 

 

 

Rys. 3. Obraz rzeczywisty (obraz górny) oraz mapa głębi (obraz dolny) uzyskane za pomocą sensora Microsoft Kinect

 

Potencjał tkwiący w tego typu interfejsach nie został jeszcze w pełni wykorzystany, głównie dlatego, że urządzenia te pojawiły się na rynku stosunkowo niedawno. Przypuszcza się, że zastosowanie naturalnego interfejsu w połączeniu z obrazem wyświetlanym za pomocą projektora pozwoli na tworzenie prostych i tanich, ale efektywnych aplikacji szkoleniowych, charakteryzujących się wysokim poczuciem obecności przestrzennej w wirtualnym środowisku.