익명 사용자
로그인하지 않음
토론
기여
계정 만들기
로그인
IT 위키
검색
Llama.cpp
편집하기
IT 위키
이름공간
문서
토론
더 보기
더 보기
문서 행위
읽기
편집
원본 편집
역사
경고:
로그인하지 않았습니다. 편집을 하면 IP 주소가 공개되게 됩니다.
로그인
하거나
계정을 생성하면
편집자가 사용자 이름으로 기록되고, 다른 장점도 있습니다.
스팸 방지 검사입니다. 이것을 입력하지
마세요
!
'''llama.cpp'''는 Georgi Gerganov가 개발하고 현재 오픈소스 커뮤니티에서 유지·관리하는 C/C++ 기반 경량화 대형 언어 모델(LLM) 추론 엔진이다. Meta의 LLaMA 등 다양한 모델을 로컬 환경에서 CPU 또는 GPU로 실행할 수 있도록 설계되었다. ==개요== llama.cpp는 GGML 기반의 추론 엔진으로, 외부 라이브러리 없이도 다양한 플랫폼에서 고속으로 실행된다. Apple Silicon, x86, ARM 기반 CPU는 물론 CUDA, Metal, Vulkan, SYCL을 활용한 GPU 가속도 지원한다.<ref>llama.cpp GitHub 저장소. https://github.com/ggerganov/llama.cpp</ref> ==주요 특징== *'''플랫폼 독립 실행''': macOS, Windows, Linux, Android, WebAssembly 등 지원 *'''의존성 없음''': 순수 C/C++ 기반으로 작성되어 외부 패키지 없이 빌드 가능 *'''양자화 지원''': int4, int8 등 다양한 양자화 형식을 통한 경량 모델 추론 *'''GGUF 포맷 사용''': 텐서와 메타데이터를 통합한 단일 모델 파일 포맷 *'''멀티스레딩 및 메모리 최적화''': 메모리 맵핑과 쓰레드 분산 처리로 고속 추론 ==설치 방법== ===macOS / Linux=== <pre> git clone https://github.com/ggerganov/llama.cpp cd llama.cpp make </pre> ===Windows=== *사전 컴파일 바이너리 다운로드 또는 CMake로 직접 빌드 ==실행 예시== *'''모델 실행''' <pre> ./main -m models/llama3.gguf -p "Hello, world!" </pre> *'''채팅 모드''' <pre> ./chat -m models/llama3.gguf </pre> ==통합 및 활용== *'''Python 연동''': llama-cpp-python을 통해 Python에서 추론 가능 *'''LangChain 지원''': 로컬 LLM 백엔드로 통합 가능 *'''모델 변환''': Hugging Face 모델을 GGUF로 변환하는 스크립트 제공 *'''GUI 및 서버''': Ollama, llama-rs, LocalAI 등과 연동 가능 ==장단점== ===장점=== *'''빠른 로컬 추론''': GPU 없이도 효율적 실행 가능 *'''다양한 하드웨어 지원''' 및 경량성 *'''활발한 커뮤니티와 생태계 확장성''' ===단점=== *'''일부 기능 제한''': 최신 LLM API 기능 미지원 *'''초기 설정 요구''': 모델 변환, 빌드 등 진입 장벽 존재 ==같이 보기== *[[GGUF 파일]] *[[Ollama (소프트웨어)]] *[[모델 양자화]] *[[대형 언어 모델]] ==참고 문헌== *Gerganov, G. (2023). llama.cpp GitHub 저장소. *Intel AI (2024). Run LLMs on Intel GPUs Using llama.cpp. *Codecademy (2024). How to Use llama.cpp. ==각주== <references /> [[분류:인공지능]]
요약:
IT 위키에서의 모든 기여는 크리에이티브 커먼즈 저작자표시-비영리-동일조건변경허락 라이선스로 배포된다는 점을 유의해 주세요(자세한 내용에 대해서는
IT 위키:저작권
문서를 읽어주세요). 만약 여기에 동의하지 않는다면 문서를 저장하지 말아 주세요.
또한, 직접 작성했거나 퍼블릭 도메인과 같은 자유 문서에서 가져왔다는 것을 보증해야 합니다.
저작권이 있는 내용을 허가 없이 저장하지 마세요!
취소
편집 도움말
(새 창에서 열림)
둘러보기
둘러보기
대문
최근 바뀜
광고
위키 도구
위키 도구
특수 문서 목록
문서 도구
문서 도구
사용자 문서 도구
더 보기
여기를 가리키는 문서
가리키는 글의 최근 바뀜
문서 정보
문서 기록