Ollama (소프트웨어) 편집하기

'''Ollama'''는 로컬에서 대형 언어 모델(LLM)을 쉽게 실행·관리할 수 있도록 설계된 오픈소스 커맨드라인 도구이자 실행 엔진이다. macOS, 리눅스, 윈도우 환경에서 CPU·GPU를 사용해 양자화된 LLM 모델을 다운로드하고 실행할 수 있다.
==개요==
Ollama는 모델 가중치(예: GGUF 형식)를 '''ollama pull <모델명>''' 명령으로 로컬에 가져온 후, '''ollama run <모델명>''' 명령으로 실행 가능한 환경을 제공한다. 백그라운드 서버가 자동으로 실행되며, REST API를 통해 제어할 수 있다.<ref>Ollama 공식 문서. https://ollama.com</ref>
==설치 방법==
===macOS===
<pre>
brew install ollama
</pre>
===Ubuntu/Linux===
<pre>
curl -fsSL https://ollama.com/install.sh | sh
</pre>
===Windows===
공식 웹사이트에서 .exe 설치 파일 다운로드 후 실행
==주요 기능==
*'''간편한 모델 관리''': pull, run, list, rm, cp, serve 등의 직관적인 명령어 지원
*'''양자화된 모델 지원''': GGUF 형식 기반 모델 실행
*'''REST API 제공''': http://localhost:11434 에서 HTTP 요청으로 생성 및 채팅 가능
*'''멀티 모델 실행''': LLaMA3, Mistral, Qwen, Gemma 등 다양한 오픈소스 모델 지원
*'''모델 맞춤 설정''': Modelfile을 통해 프롬프트, 파라미터 설정 가능
*'''크로스 플랫폼''': macOS, Linux, Windows, Docker 환경에서 실행 가능
==사용 예시==
'''모델 다운로드'''<pre>
ollama pull llama3
</pre>'''모델 실행'''<pre>
ollama run llama3 "Hello!"
</pre>'''REST API 호출'''<pre>
curl -X POST http://localhost:11434/api/generate \
-d '{"model":"llama3","prompt":"Why is the sky blue?"}'
</pre>'''Modelfile 예시'''<pre>
FROM llama3
PARAMETER temperature 1
SYSTEM """You are Mario from Super Mario Bros."""
</pre>→ '''ollama create mario -f Modelfile''' 후 '''ollama run mario'''
==장단점==
===장점===
*'''로컬 자율 실행''': 인터넷 연결 없이 LLM 실행 가능
*'''양자화 모델 지원''': 저장 공간 절약 및 추론 효율 향상
*'''간단한 CLI'''와 직관적 인터페이스
*'''REST API 제공''': 외부 연동 및 자동화에 유리
===단점===
*'''서버 항상 실행''': 백그라운드 데몬 형태로 동작
*'''모델 크기 큼''': 수 기가바이트 이상 다운로드 필요
*'''지원 도구 한정''': llama.cpp 생태계 중심
==통합 생태계==
*'''프로그래밍 인터페이스''': Python(ollama-python), JavaScript(ollama-js)
*'''LangChain''' 등 에이전트 프레임워크와 연동 가능
*'''GUI 도구 연계''': SwiftChat, Enchanted, LibreChat, Chatbox 등
==같이 보기==
*[[llama.cpp]]
*[[GGUF 파일]]
*[[양자화(딥 러닝)]]
*[[로컬 AI 추론]]
*[[대형 언어 모델]]
==참고 문헌==
*Ollama 공식 문서. https://ollama.com
*GitHub - ollama/ollama
*LangChain 공식 통합 가이드
==각주==
[[분류:소프트웨어]]
[[분류:인공지능]]
[[분류:언어 모델]]
설명	입력하는 내용	문서에 나오는 결과
기울임꼴	''기울인 글씨''	기울인 글씨
굵게	'''굵은 글씨'''	굵은 글씨
굵고 기울인 글씨	'''''굵고 기울인 글씨'''''	*굵고 기울인 글씨*