인공무능의 사용자 기여
IT 위키
2025년 10월 8일 (수)
- 02:352025년 10월 8일 (수) 02:35 차이 역사 +10 모델 양자화 편집 요약 없음 태그: 시각 편집
- 02:342025년 10월 8일 (수) 02:34 차이 역사 +978 모델 양자화 편집 요약 없음 태그: 시각 편집: 전환됨
2025년 10월 7일 (화)
- 07:142025년 10월 7일 (화) 07:14 차이 역사 +6,940 새글 조건부 에너지 기반 모델 새 문서: 조건부 에너지 기반 모델(conditional energy-based model)은 에너지 기반 모델(Energy Based Model, EBM)의 확장 형태로, 입력이나 조건 변수(condition)에 의존하여 출력 분포을 정의하는 모델이다. 즉 일반적인 EBM이 변수 \(x\) 만을 대상으로 에너지 함수를 정의하는 반면, 조건부 EBM은 \((x, y)\) 또는 \((y \mid x)\) 형태에서 에너지를 정의하고, 주어진 조건 하에서의 확률 분포을 암묵적... 최신 태그: 시각 편집
2025년 10월 6일 (월)
- 12:092025년 10월 6일 (월) 12:09 차이 역사 +5,399 새글 Adam 옵티마이저 새 문서: Adam 옵티마이저는 "Adaptive Moment Estimation"의 약자로, 확률적 경사 하강법(SGD)에 기반하면서 각 파라미터마다 적응적으로 학습률을 조절하는 딥러닝 최적화 알고리즘이다. ==개요== Adam은 2014년 Diederik P. Kingma와 Jimmy Ba가 제안한 알고리즘으로, 모멘텀(Momentum) 기법과 RMSProp 알고리즘의 장점을 결합한 형태다. 기울기의 1차 모멘트(평균)와 2차 모멘트(분산)를 추정하여 파... 최신 태그: 시각 편집
- 12:052025년 10월 6일 (월) 12:05 차이 역사 +3,711 새글 AdamW 옵티마이저 새 문서: AdamW 옵티마이저는 Adam 최적화 알고리즘의 변형으로, 가중치 감쇠(weight decay)를 그래디언트 업데이트로부터 분리(decouple)하여 일반화 성능을 향상시키는 방법이다. ==개요== 딥러닝에서 자주 사용되는 Adam(Adaptive Moment Estimation) 옵티마이저는 1차 및 2차 모멘트를 활용하여 각 파라미터별로 적응적인 학습률을 적용한다. 일반적으로 정규화를 위해 L2 정규화 항을 손실 함... 최신 태그: 시각 편집
2025년 10월 2일 (목)
- 07:572025년 10월 2일 (목) 07:57 차이 역사 +2,616 새글 N:M 희소성 새 문서: N:M 희소성(N:M sparsity)은 신경망 가중치 행렬에서 연속된 M개의 항목 그룹 중 N개의 항목만 비제로(nonzero) 값으로 유지하는 방식의 구조적 희소성이다. ==개념== *각 그룹(블록) 내 M개의 연속된 가중치 중 N개만 남기고 나머지를 0으로 만든다. *예를 들어 2:4 희소성은 매 4개의 가중치에서 2개만 활성화시키고 나머지를 제거하는 패턴이다. *이 방식은 완전 비구조 희소성(... 최신 태그: 시각 편집
- 07:502025년 10월 2일 (목) 07:50 차이 역사 +2,506 새글 Wanda 가지치기 새 문서: '''Wanda''' 가지치기(Wanda Pruning, Pruning by '''W'''eights '''and''' '''A'''ctivations)는 대규모 언어 모델(LLM)을 추가 학습 없이도 효과적으로 희소화하는 방법으로, 각 가중치의 중요도를 가중치 크기와 입력 활성화의 크기의 곱으로 평가하는 방식이다. ==개념== *Wanda는 사전 학습된 모델에 대한 제로샷 가지치기 방식이다. *기존의 magnitude pruning은 단순히 가중치 절댓값만 기준... 태그: 시각 편집
- 07:452025년 10월 2일 (목) 07:45 차이 역사 +2,406 새글 자기 회귀 모델 새 문서: 자기 회귀 모델(Autoregressive Model)은 시계열 데이터 또는 순차적 데이터의 현재 값을 과거 값들의 선형 또는 비선형 결합으로 예측하는 모델이다. ==개념== *자기 회귀(autoregression)란, 변수 자체의 이전 시점 값들을 입력으로 사용하여 현재 값을 예측하는 방식이다. *일반적인 형식은 다음과 같다: Y_t = c + φ₁Y_{t−1} + φ₂Y_{t−2} + ... + φ_pY_{t−p} + ε_t * 여기서 p는... 최신 태그: 시각 편집
- 07:432025년 10월 2일 (목) 07:43 차이 역사 +2,714 새글 KV 캐시 새 문서: KV 캐시(Key-Value Cache)는 트랜스포머 기반 오토리그레시브 언어 모델에서, 이전 토큰의 정보를 저장하여 추론 시 반복 계산을 줄이기 위해 사용하는 캐시 구조이다. ==개념== *트랜스포머 디코더는 각 층에서 self-attention을 계산할 때, 이전 토큰의 key와 value 벡터를 반복적으로 참조한다. *이를 효율화하기 위해 한 번 계산한 key와 value를 캐시에 저장해 두고, 이후 토큰 생... 최신 태그: 시각 편집
- 07:312025년 10월 2일 (목) 07:31 차이 역사 +40 새글 제로샷 프루닝 제로샷 가지치기 문서로 넘겨주기 최신 태그: 새 넘겨주기 시각 편집
- 07:302025년 10월 2일 (목) 07:30 차이 역사 +64 KV 캐시 가지치기 편집 요약 없음 최신 태그: 시각 편집
- 07:302025년 10월 2일 (목) 07:30 차이 역사 +3,437 새글 KV 캐시 가지치기 새 문서: KV 캐시 가지치기(KV Cache Pruning)는 트랜스포머 기반 언어 모델의 추론 단계에서 사용하는 '''Key-Value 캐시'''의 크기를 줄이기 위해 일부 K/V 쌍을 제거하거나 압축하는 기법이다. ==개념 및 배경== *트랜스포머 기반의 자기 회귀 모델에서는 이전 토큰의 Key와 Value를 캐시(KV 캐시)해 두고, 이후 토큰 생성 시 재사용한다. *이 방식은 중복 계산을 피하게 해주지만, 문맥... 태그: 시각 편집
- 07:282025년 10월 2일 (목) 07:28 차이 역사 +5 신경망 가지치기 편집 요약 없음 태그: 시각 편집
- 07:262025년 10월 2일 (목) 07:26 차이 역사 +4,502 새글 신경망 가지치기 새 문서: 가지치기(영어: Pruning)는 딥 러닝에서 신경망의 불필요한 파라미터(가중치나 뉴런 연결)를 제거하여 모델의 크기를 줄이고 연산 효율을 높이는 기법이다. 이는 나무의 불필요한 가지를 잘라내는 원예 작업에서 유래한 용어로, 신경망의 성능은 유지하면서도 경량화를 달성하기 위해 사용된다. ==개요== *딥 러닝 모델은 수백만~수십억 개의 파라미터를 가지며, 이 중...
- 07:262025년 10월 2일 (목) 07:26 차이 역사 −4,462 가지치기 (딥 러닝) 신경망 가지치기 문서로 넘겨주기 최신 태그: 새 넘겨주기
- 07:252025년 10월 2일 (목) 07:25 차이 역사 +2,525 새글 반복적 가지치기 새 문서: 반복적 가지치기(Iterative Pruning)는 신경망 모델의 불필요한 가중치를 점진적으로 제거하고, 각 단계마다 재학습(fine‑tuning)을 통해 성능 손실을 보정하는 방식이다. ==개념== *한 번에 많은 가중치를 제거하면 모델 성능이 급격히 저하될 수 있기 때문에, 반복적으로 조금씩 제거하는 전략을 사용한다. *각 반복 주기마다: **중요도가 낮은 가중치 또는 구조를 제거 **제... 최신 태그: 시각 편집
- 07:202025년 10월 2일 (목) 07:20 차이 역사 +46 제로샷 가지치기 편집 요약 없음 최신 태그: 시각 편집
- 07:202025년 10월 2일 (목) 07:20 차이 역사 +3,444 새글 제로샷 가지치기 새 문서: 제로샷 가지치기 또는 제로샷 프루닝(Zero-Shot Pruning)은 사전 학습된 신경망 모델을 추가 학습 없이 곧바로 가지치기(pruning)하는 기법으로, 재학습(fine-tuning)이나 반복 최적화 없이 모델의 구조를 경량화하는 데 목적이 있다. ==개념== *전통적인 프루닝은 모델 학습 중간 또는 이후에 반복적으로 가중치를 제거하고 재학습하는 절차를 필요로 한다. *... 태그: 시각 편집
- 07:152025년 10월 2일 (목) 07:15 차이 역사 +7 에너지 기반 모델 편집 요약 없음 최신 태그: 시각 편집
- 07:152025년 10월 2일 (목) 07:15 차이 역사 +56 새글 파일:에너지 기반 모델 학습 과정 예시.gif 편집 요약 없음 최신
- 07:132025년 10월 2일 (목) 07:13 차이 역사 +54 에너지 기반 모델 편집 요약 없음 태그: 시각 편집
- 07:132025년 10월 2일 (목) 07:13 차이 역사 +23 새글 파일:에너지 기반 모델 학습 과정.png 편집 요약 없음 최신
- 07:082025년 10월 2일 (목) 07:08 차이 역사 +3,626 새글 에너지 기반 모델 새 문서: 섬네일|에너지 기반 모델 학습 과정 개념도 에너지 기반 모델(Energy-Based Model, EBM)은 입력과 출력 구성(configuration)에 대해 스칼라 에너지 함수를 정의하고, 낮은 에너지를 갖는 구성일수록 더 가능성 있는 상태로 간주하는 기계 학습 모델이다. ==개념== *EBM은 통계 물리학의 개념을 차용하여, 가능한 구성들에 대해 에너지... 태그: 시각 편집
- 07:062025년 10월 2일 (목) 07:06 차이 역사 +35 새글 파일:에너지 기반 모델 학습 과정 개념도.png 편집 요약 없음 최신
- 06:542025년 10월 2일 (목) 06:54 차이 역사 +63 희소 행렬 압축 편집 요약 없음 최신 태그: 시각 편집
- 06:542025년 10월 2일 (목) 06:54 차이 역사 +4,386 새글 희소 행렬 압축 새 문서: 희소 행렬 압축(sparse matrix compression)은 요소의 대부분이 0인 희소 행렬을 저장 및 계산할 때, 0이 아닌 원소만을 효율적으로 표현하여 메모리와 연산 효율을 높이는 기술이다. ==개념 및 필요성== *희소 행렬(sparse matrix)이란 행렬 원소 중 0이 아닌 값(nonzero)이 전체 원소 대비 매우 적은 비율을 차지하는 행렬이다. *밀집 행렬(dense matrix) 방식으로 저장하면 많은 0 값도 공... 태그: 시각 편집
- 06:522025년 10월 2일 (목) 06:52 차이 역사 +2,300 새글 COO (압축) 새 문서: COO (Coordinate, 또는 triplet 형식)은 희소 행렬을 저장할 때 가장 직관적이고 간단한 방식 중 하나이다. ==개념== COO 방식은 비제로(nonzero) 원소 각각을 (행 인덱스, 열 인덱스, 값) 튜플로 표현하는 방식이다. 즉, 세 개의 배열(행 인덱스 배열, 열 인덱스 배열, 값 배열)을 병렬로 유지하며, 배열의 같은 위치에서 대응되는 원소들이 하나의 비제로 항목을 나타낸다. ==구성... 태그: 시각 편집
- 06:502025년 10월 2일 (목) 06:50 차이 역사 +18 CSR (압축) 편집 요약 없음 최신 태그: 시각 편집
- 06:502025년 10월 2일 (목) 06:50 차이 역사 +2,606 새글 CSR (압축) 새 문서: CSR (Compressed Sparse Row, 압축 행 기준)은 희소 행렬을 저장하고 연산할 때 행 중심 접근을 빠르게 지원하는 압축 저장 방식이다. ==개념== CSR은 행렬의 각 행(row)에 대해, 0이 아닌 원소(nonzero)들만 순차적으로 저장하고, 각 행이 시작하는 지점을 인덱스로 관리하는 방식이다. 이 방식은 행 접근(row slicing)이나 행 단위 연산(예: 행‑벡터 곱셈)에 효율적이다. ==구성 요소==... 태그: 시각 편집
- 06:172025년 10월 2일 (목) 06:17 차이 역사 +2,974 새글 복권 가설 (인공지능) 새 문서: 복권 가설(Lottery Ticket Hypothesis)은 딥 뉴럴 네트워크 내에 상대적으로 적은 수의 파라미터만을 가진 부분 신경망이 전체 네트워크와 동등한 성능을 달성할 수 있다는 가설이다. ==개요== *본 가설은 조나단 프랭클(Jonathan Frankle)과 동료들이 제안하였다. *무작위 초기화된 밀집(Dense) 신경망 안에는, 일정 부분의 “당첨 복권(winning ticket)”이라 불리는 부분 신경망이 존재... 최신 태그: 시각 편집
- 06:162025년 10월 2일 (목) 06:16 차이 역사 +46 새글 복권 가설 복권 가설 (인공지능) 문서로 넘겨주기 최신 태그: 새 넘겨주기 시각 편집
- 03:032025년 10월 2일 (목) 03:03 차이 역사 −61 합성곱 신경망 편집 요약 없음 태그: 시각 편집
- 02:562025년 10월 2일 (목) 02:56 차이 역사 +3,130 합성곱 신경망 편집 요약 없음
- 02:502025년 10월 2일 (목) 02:50 차이 역사 +7 합성곱 신경망 편집 요약 없음 태그: 시각 편집
2025년 10월 1일 (수)
2025년 9월 25일 (목)
- 09:552025년 9월 25일 (목) 09:55 차이 역사 +2,080 새글 합성곱 신경망 새 문서: 분류:인공지능분류:딥 러닝 ;Convolutional Neural Network; 합성곱 인공 신경망; 합성곱신경망 * CNN 처리 과정 도식화 600px * 실제 이미지 CNN 처리 과정 예시 600px == 구성 및 절차 == ;대상을 채널별로 나누고, 정보 손실 방지를 위해 패딩을 적용한 후, 필터를 이용해 스트라이드 단위로 합성곱을 해서 피처 맵을 만들어냄. 빠른 처리를 위...
- 09:552025년 9월 25일 (목) 09:55 차이 역사 −2,022 CNN 합성곱 신경망 문서로 넘겨주기 최신 태그: 새 넘겨주기
- 09:542025년 9월 25일 (목) 09:54 차이 역사 +2,575 새글 배치 정규화 새 문서: 배치 정규화(영어: Batch Normalization, 줄여서 BN)는 딥 러닝에서 학습을 안정화하고 속도를 향상시키기 위해 사용되는 정규화 기법이다. 각 층의 입력을 정규화하여 내부 공변량 변화(Internal Covariate Shift)를 줄이는 것을 목적으로 한다. ==개요== *딥러닝 모델은 층이 깊어질수록 학습이 불안정해지고, 기울기 소실/폭주 문제로 인해 학습 속도가 느려진다. *배치 정규화는... 태그: 시각 편집
- 09:532025년 9월 25일 (목) 09:53 차이 역사 −146 가지치기 (딥 러닝) 편집 요약 없음 태그: 시각 편집
- 09:182025년 9월 25일 (목) 09:18 차이 역사 +2,052 가지치기 (딥 러닝) 편집 요약 없음 태그: 시각 편집
- 08:542025년 9월 25일 (목) 08:54 차이 역사 +2,596 새글 가지치기 (딥 러닝) 새 문서: 가지치기(영어: Pruning)는 딥 러닝에서 신경망의 불필요한 파라미터(가중치나 뉴런 연결)를 제거하여 모델의 크기를 줄이고 연산 효율을 높이는 기법이다. 이는 나무의 불필요한 가지를 잘라내는 원예 작업에서 유래한 용어로, 신경망의 성능은 유지하면서도 경량화를 달성하기 위해 사용된다. ==개요== *딥 러닝 모델은 수백만~수십억 개의 파라미터를 가지며, 이 중... 태그: 시각 편집
- 08:512025년 9월 25일 (목) 08:51 차이 역사 +2,321 새글 런렝스 인코딩 새 문서: 런렝스 인코딩(영어: Run-Length Encoding, RLE)은 동일한 값이 연속적으로 반복되는(run) 구간을 압축하여, 데이터 크기를 줄이는 단순한 무손실 압축 기법이다. 주로 데이터에 반복 구간이 많거나 희소 데이터(sparse data)에서 효과적이다. ==개요== *연속된 동일 값을 (값, 반복 길이) 쌍으로 표현한다. *예: [0, 0, 0, 3, 3, 1, 0, 0] → [(0,3), (3,2), (1,1), (0,2)] *일반적으로 흑백 이미지,... 최신 태그: 시각 편집
- 08:492025년 9월 25일 (목) 08:49 차이 역사 +2,815 새글 희소 데이터 새 문서: 섬네일|대부분의 값이 0인 희소 데이터 희소 데이터(稀疏-, 영어: Sparse data)는 데이터의 대부분이 0 또는 비어 있는 값으로 이루어진 데이터를 말한다. 반대로, 대부분의 값이 유효한 값을 가지는 데이터는 조밀 데이터(密-, Dense data)라고 한다. 희소 데이터는 수학, 통계학, 데이터 과학, 인공지능 등 다양한 분야에서 다루어지며, 저장 및 연... 태그: 시각 편집
- 08:482025년 9월 25일 (목) 08:48 차이 역사 +82 새글 파일:희소 매트릭스.png 편집 요약 없음 최신
- 08:442025년 9월 25일 (목) 08:44 차이 역사 +18 스내피 (압축) 편집 요약 없음 최신 태그: 시각 편집
- 08:432025년 9월 25일 (목) 08:43 차이 역사 +39 비트맵 인코딩 (압축) 편집 요약 없음 최신 태그: 시각 편집
- 08:432025년 9월 25일 (목) 08:43 차이 역사 +2,069 새글 비트맵 인코딩 (압축) 새 문서: 비트맵 인코딩(영어: Bitmap encoding)은 데이터 압축 기법 가운데 하나로, 주어진 데이터에서 특정 값의 존재 여부를 비트 벡터(bitmap)로 표현하는 방식이다. 주로 0과 같이 반복되는 값이 많거나, 데이터가 희소(sparse)한 경우에 효율적이다. ==개요== *비트맵 인코딩은 값들의 위치 정보를 비트열로 표시하여 원본 데이터를 재현할 수 있도록 한다. *각 원소가 특정 값에 해... 태그: 시각 편집
- 08:292025년 9월 25일 (목) 08:29 차이 역사 +1,955 새글 부동소수점 연산 새 문서: 단위로써의 부동소수점 연산(FLOP, Floating Point Operation)은 컴퓨터가 수행하는 단일 부동소수점 연산을 의미한다. 보통 곱셈, 덧셈, 나눗셈, 제곱근 계산 등이 이에 포함된다. 인공지능, 과학 계산, 고성능 컴퓨팅(HPC)에서는 알고리즘이나 모델의 연산 복잡도를 나타내는 단위로 사용된다. ==정의== *'''FLOP'''은 한 번의 부동소수점 연산을 뜻한다. *'''FLOPs'''는 초당 수행할... 최신 태그: 시각 편집
- 08:282025년 9월 25일 (목) 08:28 차이 역사 +1,998 새글 곱셈-누산 연산 새 문서: 곱셈-누산 연산(MAC, Multiply–Accumulate operation)은 인공지능 및 딥러닝 모델의 연산량을 측정하는 지표로, 곱셈(multiplication)과 덧셈(accumulation)이 결합된 기본 연산 단위를 의미한다. 주로 합성곱 신경망(CNN)이나 완전연결층(Dense layer)과 같이 대규모 연산이 필요한 구조에서 모델의 연산 복잡도를 비교하는 데 사용된다. ==정의== *'''MAC(Multiply–Accumulate operation)'''은 하나의... 최신 태그: 시각 편집
- 07:472025년 9월 25일 (목) 07:47 차이 역사 −6 비전 트랜스포머 편집 요약 없음 최신
