‘얼굴 가려도 감정 읽는 AI기술’ (그래프) [사진 전남대학교]

[프레스존] 전남대학교 인공지능융합학과 유석봉 교수팀이 촬영 영상에서 얼굴이 가려져도 감정을 읽을 수 있는 기술을 개발했다.

연구팀은 촬영된 얼굴 이미지의 중요한 정보가 가려진 상황에서도 얼굴을 복원하고 감정을 강인하게 추정할 수 있는 시각지능 알고리즘을 제안했다.

영상에서 손이나 커피잔 등 물체가 얼굴 일부를 가리면, 기존 AI 기반 감정인식 기술에서는 얼굴의 특징을 추출해 감정을 정확하게 예측하는 데 상당한 어려움이 있었다.

연구팀이 개발한 ‘레이턴트 오퍼(Latent-OFER)’는 얼굴에서 가려진 부분을 감정 라벨(label)이 변하지 않도록 복원하고 인식해 감정인식의 정확도를 높이는 기술이다. 가려진 영역은 자기지도학습 기반의 ‘폐색 패치 감지기’를 통해 마스킹 처리된다.

이후 비전 트랜스포머(Vision Transformer) 기반 하이브리드 재구성 네트워크를 사용해, 감지된 폐색 영역을 완전한 이미지로 복원하는 방식이다.

연구팀은 감정 연관 잠재 벡터 추출기를 새롭게 제안하면서, 전체 잠재 벡터 중 감정 관련 정보만을 집중해 인식을 위한 특징점으로 활용하는 기술을 사용했다.

‘Latent-OFER’ 기술은 주요 정보가 가려져도 인공지능 인식 성능 저하를 방지한다는 데 장점이 있다. 연구팀은 다양한 데이터베이스 실험을 통해 개발된 기술이 기존 방법들의 성능을 능가한다는 결과를 확보했다.

이 연구는 전남대 인공지능융합학과 시각지능미디어연구실 이이삭 석사과정 학생(1저자), 이은기 학석사연계과정 학생(2저자)로 참여했고, 유석봉 교수가 교신저자로 참여했다.

Latent-OFER 기술 관련 ICCV 2023 승인논문과 소스 코드 링크는 학술 논문 오픈액서스인 arXiv에서 확인할 수 있다.

한편, 해당 연구논문은 올해 10월 프랑스 파리에서 개최하는 IEEE International Conference on Computer Vision (ICCV) 2023 국제 컨퍼런스에서 공식적으로 발표될 예정이다.

*논문 원제: Latent-OFER: Detect, Mask, and Reconstruct with Latent Vectors for Occluded Facial Expression Recognition