안녕하세요 모션 캡처로 즐기는 실시간 1:1 테트리스 대결, 핸드트리스의 발표자 이성호입니다.
테트리스와 같은 고전 게임은 이미 많은 사람들이 익숙하게 즐기고 있는 게임입니다. 그러나 익숙한만큼 쉽게 지루하게 느껴지기도 합니다. 저희는 테트리스에 핸드모션 인식을 통한 새로운 조작 방식을 결합해, 게임의 난이도와 재미 요소에 새로운 변화를 적용하여, 유저에게 색다른 경험을 제공했습니다.
이를 통해 저희는 직관적이고 몰입감 있는 사용자 경험과 혁신적인 게임 플레이를 사용자에게 제공하고자 하였습니다.
다음으로는 저희의 핵심기능에 대해서 설명드리겠습니다.
저희의 첫 번째 핵심 기능은 실시간 테트리스 대결 게임입니다.
플레이어는 서로에게 공격을 하는 이벤트(예를 들어 특정 액션 수행시, 5초간 상대방의 블록 회전 금지)가 실시간으로 상호작용 됩니다.
이러한 상호작용을 네트워크 상에서 real time으로 제공하기 위해서, 저희는 WebRTC 기반으로 구현했습니다.
두 번째 핵심기능은 핸드 모션, 쉐이프 캡처를 사용한 테트리스 블록 조작입니다.
딥러닝 모델을 사용하여 손의 동작을 실시간으로 인식하고, 인식한 동작을 게임 조작에 반영하여, 블록의 이동과 회전, 그리고 공격을 진행할 수 있습니다.
앞서 말씀드렸던 손의 동작을 실시간으로 인식하기 위해, 각 관절이 가져야하는 값에 대한 로직을 구현했습니다.
보시는 바와 같이 손가락의 각 관절마다 위치 값이 부여되고 배열 형태로 전달하게 됩니다.
예를 들어 ㄴ자 모양을 인식하기 위해서는 엄지 손가락의 위치가 다른 손가락의 위치보다 높아야하고 검지 손가락이 뻗어있는지에 대한 검증이 필요하였습니다.
이를 토대로 저희가 구현한 시연영상을 보시겠습니다.