내용 기반 멀티미디어 검색
더 많은 작업
내용 기반 멀티미디어 검색(Content-Based Multimedia Retrieval)은 이미지·영상·음성 같은 멀티미디어 데이터를 파일 이름이나 사람이 붙인 키워드가 아니라 색상·질감·모양·소리 같은 내용 특징으로 나타내고, 질의로 주어진 데이터와 저장된 데이터 사이의 유사도를 계산해 비슷한 데이터를 찾아 주는 검색 방식이다.
관계형 데이터베이스의 질의는 조건에 정확히 맞는 행을 돌려준다. 멀티미디어 데이터는 같은 대상을 찍은 사진이라도 화소 값이 모두 다르므로 정확한 일치로는 찾을 수 없고, "이 그림과 비슷한 그림"처럼 유사도로 묻게 된다. 그래서 데이터를 저장할 때 특징을 뽑아 수치 벡터(특징 벡터)로 바꾸어 두고, 질의가 오면 질의 데이터의 특징 벡터와 저장된 특징 벡터를 거리 함수나 유사도 함수로 비교한다.
IBM 의 QBIC(Query By Image Content) 시스템은 이 방식을 일찍 구현한 예이다. 색상 분포, 질감, 모양, 손으로 그린 스케치, 영상의 움직임을 특징으로 쓰고, 사용자가 예제 그림이나 색상 비율을 질의로 주면 특징 공간에서 가까운 순서로 결과를 보여 주었다.[1]
- 예제 질의(Query by Example) - 그림이나 음성 조각 하나를 주고 그와 비슷한 데이터를 찾는다
- 범위 질의(Range Query) - 질의와의 거리가 정해 둔 값 ε 이하인 데이터를 모두 찾는다
- k-최근접 질의(k-Nearest Neighbor Query) - 질의와 가장 가까운 k 개를 찾는다
- 스케치·특징값 질의 - 대략의 모양을 그리거나 "빨강 40%, 파랑 30%"처럼 특징값을 직접 준다
유사도 질의를 처리하는 일은 여러 단계로 나뉘며, 단계마다 쓰는 기법이 다르다.
비용이 싼 근사 특징(저차원으로 줄인 특징, 평균 색상 등)으로 먼저 명백히 다른 데이터를 걸러 내 후보를 줄이고, 남은 후보만 정밀한 거리로 다시 비교하는 기법이다. 걸러 내기와 정밀 비교의 두 단계로 나누므로 거르고 다듬기(filter and refine) 방식이라고도 한다. Faloutsos 등은 근사 공간의 거리가 원래 거리보다 항상 작거나 같으면(하한이면) 걸러 내는 단계에서 찾아야 할 데이터를 놓치지 않는다는 것을 보였다.[3] 필터링은 후보를 줄이는 단계일 뿐 최종 유사도를 정하지 않는다.
계산된 유사도를 기준으로 결과에 순위를 매겨 가장 비슷한 것부터 보여 주는 기법이다. 멀티미디어 질의의 결과는 맞다·틀리다로 갈리지 않고 정도의 차이로 나오므로 순위가 필요하다. 색상과 모양처럼 여러 특징의 점수를 합쳐 상위 k 개를 낼 때는 특징별로 정렬된 목록을 위에서부터 차례로 읽다가 상위 k 개가 확정되면 멈추는 방식으로 전체를 다 읽지 않고 답을 낸다.[4]
| 기법 | 하는 일 | 결과 |
|---|---|---|
| 매칭 기법 | 저장 데이터와 질의 데이터의 유사도를 수학 함수로 계산한다 | 데이터마다 유사도(거리) 값 |
| 인덱스 기법 | 다차원 색인으로 질의와 가까운 영역만 탐색한다 | 빨리 찾은 후보 집합 |
| 필터링 기법 | 싼 근사 비교로 명백히 다른 데이터를 먼저 걸러 낸다 | 줄어든 후보 집합 |
| 랭킹 기법 | 유사도 값으로 결과의 순위를 정한다 | 유사도 순으로 정렬된 상위 결과 |
- "유사도를 수학 함수로 계산해 유사도가 높은 데이터를 찾는다"는 매칭 기법의 설명이다
- 인덱스와 필터링은 계산할 대상을 줄이는 기법이고, 랭킹은 계산이 끝난 유사도로 순서를 정하는 기법이다
| 구분 | 텍스트(키워드) 기반 검색 | 내용 기반 검색 |
|---|---|---|
| 검색 단서 | 파일 이름, 사람이 붙인 주석·태그 | 데이터에서 뽑은 색상·질감·모양·소리 특징 |
| 질의 | 단어 | 예제 데이터, 스케치, 특징값 |
| 판정 | 단어 일치 여부 | 특징 사이의 거리·유사도 |
| 약점 | 주석을 다는 비용, 사람마다 다른 표현 | 특징이 뜻(무엇을 찍었는가)을 다 담지 못함 |
최근에는 신경망이 만든 임베딩을 특징 벡터로 쓰고 근사 최근접 탐색으로 찾는 방식이 널리 쓰인다 → 벡터 데이터베이스
- ↑ 1.0 1.1 Myron Flickner 외, 「Query by Image and Video Content: The QBIC System」, IEEE Computer 28(9), 1995, 23-32쪽, https://doi.org/10.1109/2.410146, 확인일: 2026-11-04.
- ↑ Antonin Guttman, 「R-trees: A Dynamic Index Structure for Spatial Searching」, SIGMOD 1984 논문집, 47-57쪽, https://doi.org/10.1145/602259.602266, 확인일: 2026-11-04.
- ↑ Christos Faloutsos, M. Ranganathan, Yannis Manolopoulos, 「Fast Subsequence Matching in Time-Series Databases」, SIGMOD 1994 논문집, 419-429쪽, https://doi.org/10.1145/191839.191925, 확인일: 2026-11-04.
- ↑ Ronald Fagin, 「Combining Fuzzy Information from Multiple Systems」, Journal of Computer and System Sciences 58(1), 1999, 83-99쪽, https://doi.org/10.1006/jcss.1998.1600, 확인일: 2026-11-04.