장애인과 비장애인을 위한 메타버스 서비스

현재 기술 발달 상태의 메타버스는 이동 약자들에게 물리적 거리의 제약을 해소시켜줄 수 있다는 가능성이 있지만, 대부분의 장애인들에게는 접근이 어려운 장벽이다. 특히, 메타버스에서 중요한 기술인 VR 또는 AR의 경우 대부분의 정보 전달이 시각과 청각에 의존하기 때문에 시각·청각 장애인들은 콘텐츠 이용이 거의 불가능하다. 메타버스를 비롯한 디지털 가상환경은 코로나와 함께 관심이 증가했지만 코로나 이후에도 메타버스 관련 산업은 지속적으로 성장할 것으로 예상되기 때문에 시각·청각 장애인들을 비롯한 소외 계층을 위한 메타버스 접근성에 관한 서비스는 필요하다.
현대는 메타버스, VR, AR 등의 기술이 발전하는 만큼 그 외 지능정보 기술도 함께 발전하는 시기이므로, 적용 가능 기술 현황 조사 및 문제점 발견을 통해 장애인들이 비장애인과 공평하게 디지털 가상 공간을 이용할 수 있도록 하는 연구 및 기술 개발이 이루어져야 한다.

과연 그런 기술들은 어디까지 진행되었을까. 사례로 알아보자.

 

1. 마이크로 소프트(MS)_ Seeing AI 2017

마이크로 소프트는 스마트폰 카메라를 이용해 주변 환경을 인식해 AI로 분석한 뒤 음성으로 설명하는 어플리케이션을 개발 및 배포.이 어플리케이션은 주변 상황이나 사진을 음성으로 설명해주거나 텍스트를 읽어주는 기능에서 더 나아가 사람의 얼굴을 분석하여 얼굴 특징, 나이, 감정을 읽어주는 기능까지 적용.
국내의 LGU+는 이와 유사한 기능을 한국어로 서비스하는 ‘설리번+’를 발표 

https://www.microsoft.com/en-us/ai/seeing-ai

 

 

<Seeing AI 소개>

 

2. 마이크로 소프트(MS)_ canetroller, 2018

마이크로 소프트(MS)_ canetroller, 2018>

마이크로소프트는 가상현실 속에서의 사물을 인지하게하는 시각장애인용 지팡이 디바이스를 연구. 벽과 장벽을 견고하게 인지하게 하기 위해 가상 물체에 디바이스를 두드리는 행위를 할 경우 소리와 진동을 이용해 정보 전달.

또 시각장애인들이 물체를 밀고 나갈 경우엔 경고음이 울리도록 설계.

https://www.microsoft.com/en-us/research/publication/enabling-people-visual-impairments-navigate-virtual-reality-haptic-auditory-cane-simulation-2/

<Enabling People with Visual Impairments to Navigate Virtual Reality with a Haptic and Auditory Cane Simulation>

 

3. 삼성전자_ 약시자를 위한 VR어플리케이션 릴루미노, 2017

삼성전자는 ‘저시력자(백내장, 각막혼탁 등의 질환으로 인해 시야가 뿌옇고 빛 번짐, 굴절장애등을 가지고 있는 시각장애인)’들이 디지털 콘텐츠를 더 명확하게 인지할 수 있도록 도와주는 어플리케이션을 개발.

윤곽선 강조, 밝기/대비 조정, 반전, 화면색상필터 기능을 통해 문자나 사물을 뚜렷하게 볼 수 있도록 보조. 또한, 일부 시야가 결손된 '암점'과 시야가 줄어든 '터널시야'를 가진 시각장애인을 위한 이미지 재배치 기능도 탑재. https://m.khan.co.kr/economy/industry-trade/article/201708201158001#c2b

<릴루미노 주요기능 소개>

 

 

4. 이큐포올 : 수어 통역 서비스, 2021

국내 업체인 이큐포올은 아바타를 통해 한글 문장을 수어 영상으로 번역하는 서비스를 발표.

인공지능 학습을 통해 음성 언어에 대응하는 수어 동작을 연결하여 수어 통역사의 모습을 3D모델링한 아바타로 구현. 현재 충남대병원 등 일부 병원의 베리어프리 키오스크, 역사와 열차 내부의 긴급상황 알림 스크린에 활용중.

 

<EQ4ALL_Korea Day of Sign Language https://www.youtube.com/watch?v=W8_C8bzv_BA >

 

 

5. Google : Project Euphonia, 2019

구글은 언어 장애를 가지고 있는 상태에서의 말을 인공지능이 인식할 수 있도록 학습시키는 프로젝트를 진행. 수천 개의 샘플 음성을 녹음하기 시작했으며 어느 정도 성과를 거둔 상태이며 더 많은 샘플 수집을 위해 언어 장애가 있는 이들의 도움을 요청하고 있는 상황.

언어 장애가 있더라도 음성 인식 기술을 무리없이 사용하고 일상적 대화도 가능하게 하는 것을 목표.

 

<Project Euphonia: Helping everyone be better understood https://www.youtube.com/watch?v=OAdegPmkK-o >

 

6. Meta_ Hand tracking 2.0, 2022

메타는 기존의 기술을 발전 시킨 핸드 트래킹 2.0을 발표. 핸드 트래킹 2.0은 딥러닝을 통해 연속 추적, 제스처 인식 개선, 손 모양 인식 기능을 전반적으로 향상시키는 기술. 한 손으로 다른 손을 덮거나 손을 만지더라도 더 빠르고 정확하게 인식하고 특히 손 겹쳐짐 시 한 손이 사라지는 현상을 최소화하여 물체와의 상호작용이 더 수월하게 작동

https://www.youtube.com/watch?v=mq5Evz6_7PY&t=2s

 

<Meta quest, Hand on hand>

 

7. 마이크로 소프트(MS)_ eyecontroll software

마이크로소프트는 윈도우 10과 11에 시선 추적 기능을 기본 기능으로 탑재. 눈동자의 위치와 시선을 추적하기 위해서 머신 러닝기술과 이미지 처리, 수리 알고리즘 기술이 사용

<좌.Microsoft windows, 우.A demo of Eye Control at the 2017 Microsoft OneWeek hackathon event.>

 

8. 마이크로 소프트(MS)_ Xbox Adaptive controller, 2017

마이크로소프트는 장애인들도 Xbox를 비롯한 게임을 즐길 수 있는 게임 컨트롤러를 발표. 특정 장애를 해결하기 위한 것이 아닌, 신체 조건에 맞도록 부가적인 디바이스를 추가하여 다양하게 확장 가능.

 

 

서비스/제품	관련 장애 유형	인터페이스 유형	핵심기술	매체
Seeing AI	시각	출력	인공지능	S/W
canetroller	시각	입력/출력	VR	H/W
릴루미노	시각	출력	인공지능, AR	S/W
수어 통역 서비스	청각, 언어	출력	인공지능	S/W
Project Euphonia	언어	입력	딥러닝	S/W
Hand tracking 2.0	지체	입력	딥러닝	S/W
Eyecontroll	지체	입력	머신러닝	S/W
Xbox Adaptive controller	지체	입력	스마트디바이스	H/W

기술 사례에서 본 시사점

기술 사례에서 보면 딥러닝을 비롯한 인공지능 기술을 이용하여 접근성을 개선하려는 시도들이 진행되고 있지만, 특정 대기업을 중심으로 선도되고 있으며, 기술 수요에 비해 공급이 충분해 보이지 않는다.

 

최근의 기술들은 딥러닝을 비롯한 인공지능 기술을 적극 활용하는 것을 알 수 있다. 인공지능 기술을 활용할 경우 학습데이터의 양이 충분해야 정확성이 높아진다는 것은 자명한 것이므로, 비교적 소수인 장애인들의 학습데이터를 효과적으로 활용할 수 있는 방안, 또는 부족한 데이터를 보완하는 기술에 대한 연구도 함께 진행 되어야 할 것이다.

 

입출력 디바이스로서 하드웨어에 대한 연구개발이 상대적으로 부족해 보인다. 특히 개발된 하드웨어 디바이스들은 부피가 크거나 사용하기에 거추장스러운 장치들이 달려있어 이를 해결하기 위한 디자인 연구 및 상품 개발이 필요해 보인다.

 

언어와 청각 장애인에 대한 기술 개발이 부족해 보인다. 현재의 디지털 가상공간은 음성 입력에 대한 의사 소통도 중요하므로 가상공간에서 시각 정보와 함께 텍스트 정보(자막)를 효과적으로 전달하는 디자인연구가 필요해보인다.

 

디지털 가상공간에서 장애인도 공평한 유니버설환경을 조성하기 위해서는 디지털 가상공간에서의 기준 정립이 필요할 것이다.