인하대, 말로 찾고 AI가 추적한다… 차세대 영상인식 기술 개발

인하대 본관 전경 ⓒ 인하대 제공

인하대가 사용자가 직접 화면을 지정하지 않아도 음성이나 문장으로 설명한 대상만을 영상 속에서 찾아 추적하는 차세대 인공지능(AI) 기술을 선보인다.

인하대는 배승환 전기컴퓨터공학과 교수 연구팀이 자연어 기반 객체 추적 기술을 개발해 세계 최고 권위의 컴퓨터 비전 국제학술대회인 CVPR 2026에서 연구 성과를 발표했다고 2일 밝혔다.

기존 영상 객체 추적 시스템은 사용자가 첫 화면에서 추적 대상을 직접 지정해야 하는 방식이 일반적이었다.

이 때문에 실제 현장에서는 대상이 가려지거나 변경될 경우 정확한 추적이 어렵고 활용 범위에도 제약이 있었다.

연구팀은 이러한 문제를 개선하기 위해 사용자가 ‘빨간 옷을 입은 사람’이나 ‘검은색 가방을 든 남성’처럼 언어로 대상을 설명하면 AI가 해당 특징을 분석해 영상 속 객체를 자동으로 찾아 지속적으로 추적하는 기술을 구현했다.

특히 AI가 추적 과정에서 스스로 결과의 신뢰도를 평가하도록 설계한 것이 이번 기술의 핵심이다.

대상이 명확하게 인식될 경우에는 제한된 영역만 탐색해 효율성을 높이고, 대상이 일시적으로 가려지거나 유사한 객체가 등장하면 화면 전체를 다시 분석해 목표를 재탐색하는 방식이다.

추적 도중 사용자가 새로운 설명을 입력하면 AI는 별도의 초기화 과정 없이 새로운 대상을 즉시 인식해 추적을 이어갈 수 있도록 구현됐다.

기존처럼 기준 이미지를 다시 설정할 필요가 없어 실제 산업 현장에서의 활용성이 크게 향상됐다는 평가다.

연구팀은 다양한 국제 공개 데이터셋을 활용한 성능 검증 결과 기존 객체 추적 기법보다 정확도와 안정성이 향상된 것을 확인했다.

또한 자체 개발한 '마진 신뢰도 기반(Margin Confidence)' 추적 알고리즘의 동작 원리를 이론적으로 분석해 기술의 신뢰성과 우수성도 입증했다.

이번 기술은 스마트 CCTV를 비롯해 자율주행 로봇, 드론 관제, 영상 검색, 사람과 AI 간 상호작용(Human-AI Interaction), 온디바이스 AI 등 다양한 분야에서 활용될 것으로 기대된다.

배승환 교수는 “이번 연구는 사용자가 별도의 조작 없이 자연어만으로 원하는 대상을 영상에서 찾아 추적할 수 있다는 점을 입증한 사례”라며 “앞으로 실제 산업 현장에 적용 가능한 지능형 영상분석과 로봇 비전 기술로 발전시켜 나갈 계획”이라고 밝혔다.