비전-언어 모델
더 많은 작업
- Vision-Language Model, VLM; 비전-언어 모델
- 이미지(와 영상)와 텍스트를 함께 입력받아 이해하고, 주로 텍스트로 답하는 인공지능 모델
비전-언어 모델(VLM)은 사진, 도표, 화면 캡처, 영상 같은 시각 입력과 자연어를 한 모델 안에서 함께 다루는 모델이다. "이 사진에서 고장 난 부분이 어디인가", "이 영수증의 합계를 표로 정리해 달라"처럼 이미지에 대한 질문에 문장으로 답한다. 대형 언어 모델(LLM)에 시각 입력을 붙인 형태가 주류라서 대형 비전-언어 모델(LVLM), 멀티모달 대형 언어 모델(MLLM)이라고도 부른다.
멀티모달 인공지능의 한 갈래로, 텍스트와 이미지 두 모달리티에 집중한다는 점이 특징이다. 이미지를 만들어 내는 확산 모델 계열의 이미지 생성 모델은 보통 VLM에 넣지 않는다. 2023년 GPT-4가 이미지 입력을 받기 시작한 뒤 상용 챗봇 대부분이 이미지 이해 기능을 갖추었고, 이 능력은 화면을 보고 마우스와 키보드를 다루는 컴퓨터 사용 에이전트와 로봇을 움직이는 비전-언어-행동 모델의 기반이 되었다.
현재 VLM 대부분은 세 부품으로 이루어진다.
| 부품 | 역할 | 대표 예 |
|---|---|---|
| 비전 인코더 | 이미지를 패치 단위 특징 벡터 열로 바꾼다 | CLIP ViT-L/14, SigLIP, InternViT-6B |
| 연결부(커넥터, 투영) | 비전 특징을 언어 모델이 받는 임베딩 공간으로 옮기고, 필요하면 개수를 줄인다 | 선형 투영(LLaVA), MLP(LLaVA-1.5), Q-Former(BLIP-2), 퍼시버 리샘플러(Flamingo) |
| 언어 모델 | 이미지 토큰과 텍스트 토큰을 함께 읽고 답을 생성한다 | Vicuna, 라마, Qwen, Chinchilla |
비전 인코더는 주로 비전 트랜스포머(ViT)다. 이미지를 14×14나 16×16 픽셀 패치로 잘라 각 패치를 토큰처럼 처리하므로, 출력은 패치 수만큼의 벡터 열이 된다. 예를 들어 336×336 이미지를 14픽셀 패치로 자르면 24×24=576개 벡터가 나온다. 인코더는 대조 학습으로 미리 학습한 CLIP이나 SigLIP 계열을 가져다 쓰는 경우가 많다.
| 방식 | 동작 | 대표 모델 | 장단점 |
|---|---|---|---|
| 입력 연결(early fusion에 가까움) | 투영한 이미지 토큰을 텍스트 토큰 앞이나 사이에 끼워 언어 모델 입력으로 넣는다 | LLaVA, MiniGPT-4, Qwen-VL, Qwen2-VL | 구조가 단순하고 기존 LLM을 거의 그대로 쓴다. 이미지 토큰이 많으면 컨텍스트 윈도우와 연산을 많이 차지한다 |
| 교차 어텐션 삽입 | 언어 모델 블록 사이에 시각 특징을 참조하는 교차 어텐션 층을 끼운다 | Flamingo | 언어 모델 입력 길이가 늘지 않는다. 언어 모델 내부를 고쳐야 한다 |
| 쿼리 기반 압축 | 학습 가능한 고정 개수의 쿼리 벡터가 시각 특징을 요약해 짧은 토큰 열로 만든다 | BLIP-2의 Q-Former, Flamingo의 퍼시버 리샘플러 | 이미지당 토큰 수가 일정하다. 세밀한 정보가 줄어들 수 있다 |
| 이중 인코더(듀얼 인코더) | 이미지와 텍스트를 따로 인코딩해 같은 벡터 공간에서 유사도만 계산한다 | CLIP, SigLIP | 검색과 제로샷 분류에 강하다. 문장을 생성하지 못한다 |
이중 인코더 모델은 엄밀히는 문장을 생성하는 VLM이 아니라 판별 모델이지만, 넓은 의미의 비전-언어 모델에 포함하고 생성형 VLM의 비전 인코더로 쓰인다.
초기 모델은 이미지를 224×224나 336×336 정사각형으로 줄여 넣었기 때문에 작은 글씨나 세로로 긴 문서를 잘 읽지 못했다. 이후 고해상도 이미지를 여러 타일로 나눠 각각 인코딩하는 방식(LLaVA-NeXT 등)과, 이미지 크기에 따라 토큰 수를 바꾸는 방식이 나왔다. Qwen2-VL은 임의 해상도 이미지를 그대로 받아 해상도에 따라 다른 개수의 시각 토큰을 만드는 동적 해상도와, 텍스트, 이미지, 영상의 위치 정보를 함께 담는 다차원 회전 위치 임베딩(M-RoPE)을 도입했다.[1]
VLM은 이미 학습된 비전 인코더와 언어 모델을 연결한 뒤, 둘이 서로를 이해하도록 맞추는 단계를 거친다. LLaVA가 보여 준 2단계 방식이 기본형이다.[2]
| 단계 | 학습하는 부분 | 데이터 | 목적 |
|---|---|---|---|
| 1. 정렬 사전학습(feature alignment) | 연결부만 학습하고 인코더와 언어 모델은 고정 | 이미지-캡션 쌍(LLaVA는 CC3M에서 고른 약 59만 쌍) | 이미지 특징을 언어 모델이 읽을 수 있는 임베딩으로 옮긴다 |
| 2. 시각 지시 튜닝(visual instruction tuning) | 연결부와 언어 모델(인코더는 보통 고정) | 이미지에 대한 질문-답, 대화, 추론 예시(LLaVA-Instruct-158K 등) | 사람의 지시를 따라 이미지에 대해 대화하게 한다 |
LLaVA는 이미지를 볼 수 없는 텍스트 전용 GPT-4에 COCO 이미지의 캡션과 객체 위치 정보를 글로 주고 질문-답 대화를 지어내게 하는 방법으로 시각 지시 데이터를 만들었다.[2] 후속작 LLaVA-1.5는 연결부를 MLP로 바꾸고 학술용 VQA 데이터를 더해, 공개 데이터 약 120만 건만으로 8장의 A100 GPU에서 하루 정도에 학습을 마쳤다.[3] 지시 튜닝은 텍스트 LLM의 지도 미세조정과 같은 발상을 시각 입력으로 넓힌 것이다.
대형 모델은 여기에 더해 이미지와 텍스트가 섞인 웹 문서, 문서 OCR, 표와 차트, 물체 위치(바운딩 박스) 데이터로 대규모 사전학습을 하고, 마지막에 인간 피드백 기반 강화 학습 같은 정렬 단계를 거친다. Qwen-VL은 이미지-캡션-박스 묶음을 학습해 물체 위치를 좌표로 답하는 그라운딩과 글자 읽기 능력을 갖추었다.[4]
VLM은 이미지 캡셔닝과 시각적 질의응답(VQA) 연구에서 나왔다. 2010년대 중반에는 합성곱 신경망으로 이미지를 인코딩하고 RNN이나 LSTM으로 문장을 생성하는 인코더-디코더 구조가 쓰였고, 이후 디코더가 트랜스포머로 바뀌었다. 이 시기 모델은 캡션 생성, VQA처럼 정해진 과제 하나를 위해 학습했다.
2021년 OpenAI의 CLIP이 인터넷에서 모은 이미지-텍스트 4억 쌍으로 이미지와 문장을 같은 벡터 공간에 놓는 법을 배우면서, 범용 시각 표현을 텍스트로 다룰 길이 열렸다.[5] 2022년부터는 고정된 비전 인코더와 고정된 언어 모델을 작은 연결부로 잇는 방식이 퍼졌다.
| 시기 | 모델 | 개발 | 의의 |
|---|---|---|---|
| 2021년 1월 | CLIP | OpenAI | 이미지-텍스트 4억 쌍 대조 학습. 이후 VLM 비전 인코더의 표준이 됨[5] |
| 2022년 4월 | Flamingo | 딥마인드 | 고정된 비전 인코더와 Chinchilla 언어 모델을 교차 어텐션으로 연결. 이미지와 텍스트가 섞인 입력으로 퓨샷 학습[6] |
| 2022년 9월 | PaLI | 구글 | 40억 매개변수 ViT-e와 100여 개 언어, 100억 건 이미지-텍스트 데이터로 비전과 언어를 함께 키움[7] |
| 2023년 1월 | BLIP-2 | 세일즈포스 | Q-Former로 고정 인코더와 고정 LLM을 연결. 학습 매개변수가 54배 적고도 Flamingo 80B보다 제로샷 VQAv2에서 8.7%p 높음[8] |
| 2023년 3월 | GPT-4 | OpenAI | 이미지와 텍스트 입력을 받아 텍스트를 출력하는 상용 모델. 구조는 공개하지 않음[9] |
| 2023년 4월 | LLaVA, MiniGPT-4 | 위스콘신-매디슨대 등, KAUST | CLIP 인코더와 Vicuna를 투영층 하나로 연결. 공개 모델 VLM의 기본형이 됨[2][10] |
| 2023년 5월 | InstructBLIP | 세일즈포스 | 공개 데이터셋 26개를 지시 형식으로 바꿔 BLIP-2를 지시 튜닝[11] |
| 2023년 8월 | Qwen-VL | 알리바바 | 그라운딩(위치 지정)과 글자 읽기, 3단계 학습[4] |
| 2023년 9월 | GPT-4V | OpenAI | GPT-4의 이미지 입력 기능을 ChatGPT 사용자에게 공개하며 시스템 카드 발표[12] |
| 2023년 12월 | 제미나이 | 구글 | 처음부터 이미지, 오디오, 영상, 텍스트를 함께 학습한 멀티모달 모델 계열[13] |
| 2023년 12월 | InternVL | 상하이 AI 연구소 등 | 비전 인코더를 60억 매개변수로 키워 LLM과 정렬[14] |
| 2024년 5월 | GPT-4o | OpenAI | 텍스트, 이미지, 음성을 한 모델에서 처리 |
| 2024년 9월 | Qwen2-VL | 알리바바 | 동적 해상도와 M-RoPE, 2B/8B/72B 공개[1] |
공개된 구조로 보면 CLIP류 비전 인코더, 기성 LLM, 그 둘을 잇는 연결부라는 설계는 대부분의 모델이 공유한다. GPT-4V, 제미나이, 클로드 같은 상용 모델은 세부 구조를 공개하지 않는다.
| 과제 | 내용 |
|---|---|
| 이미지 캡셔닝 | 이미지를 문장으로 설명한다 |
| 시각적 질의응답(VQA) | 이미지에 대한 질문에 답한다. 세부 인식("이 소스는 어떤 종류인가"), 상식 추론("안경 쓴 사람은 시력이 좋은가"), 외부 지식이 필요한 질문으로 나뉜다 |
| 문서·차트 이해 | 스캔 문서, 표, 그래프, 수식을 읽는다. 광학 문자 인식을 모델 안에서 함께 처리한다 |
| 시각 그라운딩 | "왼쪽 빨간 컵"처럼 문장이 가리키는 물체의 위치를 좌표나 상자로 답한다 |
| 제로샷 분류·검색 | 클래스 이름 문장과 이미지의 유사도로 분류하거나, 문장으로 이미지를 찾는다(주로 이중 인코더) |
| 다중 이미지·영상 이해 | 여러 장의 이미지나 영상 프레임을 비교하고 시간 흐름을 이해한다 |
| 화면 이해 | 웹 페이지나 앱 화면의 버튼, 입력란을 찾아 컴퓨터 사용 에이전트가 조작할 위치를 정한다 |
평가 벤치마크로는 VQAv2, 문서 이해용 DocVQA, 차트용 ChartQA, 대학 수준 전공 문제 11,500개로 이루어진 MMMU 등이 있다. MMMU가 나온 2023년 11월에는 GPT-4V와 Gemini Ultra의 정답률이 각각 56%, 59%에 그쳤다.[15]
- 시각 환각(visual hallucination): 이미지에 없는 물체를 있다고 답하거나 색, 개수, 위치를 틀리게 말한다. 2023년 체계적 연구에서 당시 대표 VLM 대부분이 심한 물체 환각을 보였고, 지시 데이터에 자주 나오거나 이미지 속 물체와 함께 잘 등장하는 물체일수록 환각이 잦았다. 이 연구는 "이미지에 X가 있는가"를 예/아니요로 묻는 평가법 POPE를 제안했다.[16] 언어 모델이 가진 사전 지식이 시각 증거보다 앞서는 것이 주요 원인으로 꼽힌다. 자세한 내용은 할루시네이션 (인공지능) 문서 참고.
- 세는 일과 공간 관계: 물체 개수 세기, 좌우·앞뒤 관계, 시계 읽기처럼 정밀한 공간 판단에 약하다.
- 해상도와 비용: 이미지 한 장이 수백~수천 토큰이 되므로 고해상도 이미지나 긴 영상은 연산과 KV 캐시 부담이 크다. 해상도를 낮추면 작은 글씨를 놓친다.
- 이미지를 통한 공격: 이미지 안에 숨긴 글자로 지시를 주입하는 간접 프롬프트 인젝션이나, 사람 눈에는 보이지 않는 적대적 섭동으로 모델을 속일 수 있다.
- 편향: 웹 이미지-텍스트 데이터의 편향을 그대로 배운다.
- ↑ 1.0 1.1 Peng Wang 외, 〈Qwen2-VL: Enhancing Vision-Language Model's Perception of the World at Any Resolution〉, 2024. arXiv:2409.12191
- ↑ 2.0 2.1 2.2 Haotian Liu 외, 〈Visual Instruction Tuning〉, NeurIPS 2023. arXiv:2304.08485
- ↑ Haotian Liu 외, 〈Improved Baselines with Visual Instruction Tuning〉, CVPR 2024. arXiv:2310.03744
- ↑ 4.0 4.1 Jinze Bai 외, 〈Qwen-VL: A Versatile Vision-Language Model for Understanding, Localization, Text Reading, and Beyond〉, 2023. arXiv:2308.12966
- ↑ 5.0 5.1 Alec Radford 외, 〈Learning Transferable Visual Models From Natural Language Supervision〉, ICML 2021. arXiv:2103.00020
- ↑ Jean-Baptiste Alayrac 외, 〈Flamingo: a Visual Language Model for Few-Shot Learning〉, NeurIPS 2022. arXiv:2204.14198
- ↑ Xi Chen 외, 〈PaLI: A Jointly-Scaled Multilingual Language-Image Model〉, ICLR 2023. arXiv:2209.06794
- ↑ Junnan Li 외, 〈BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models〉, 2023. arXiv:2301.12597
- ↑ OpenAI, 〈GPT-4 Technical Report〉, 2023. arXiv:2303.08774
- ↑ Deyao Zhu 외, 〈MiniGPT-4: Enhancing Vision-Language Understanding with Advanced Large Language Models〉, 2023. arXiv:2304.10592
- ↑ Wenliang Dai 외, 〈InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning〉, 2023. arXiv:2305.06500
- ↑ GPT-4V(ision) system card, OpenAI, 2023-09-25.
- ↑ Gemini Team, 〈Gemini: A Family of Highly Capable Multimodal Models〉, 2023. arXiv:2312.11805
- ↑ Zhe Chen 외, 〈InternVL: Scaling up Vision Foundation Models and Aligning for Generic Visual-Linguistic Tasks〉, CVPR 2024. arXiv:2312.14238
- ↑ Xiang Yue 외, 〈MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI〉, CVPR 2024. arXiv:2311.16502
- ↑ Yifan Li 외, 〈Evaluating Object Hallucination in Large Vision-Language Models〉, EMNLP 2023. arXiv:2305.10355
- LLaVA 프로젝트 페이지
- Shukang Yin 외, 〈A Survey on Multimodal Large Language Models〉, 2023. arXiv:2306.13549
- Zechen Bai 외, 〈Hallucination of Multimodal Large Language Models: A Survey〉, 2024. arXiv:2404.18930