인공무능의 사용자 기여

2025년 10월 23일 (목)

• 07:512025년 10월 23일 (목) 07:51 차이 역사 +12‎ 대형 언어 모델 효율화 ‎편집 요약 없음 태그: 시각 편집
• 04:582025년 10월 23일 (목) 04:58 차이 역사 +17‎ Wanda 가지치기 ‎편집 요약 없음 최신 태그: 시각 편집
• 04:542025년 10월 23일 (목) 04:54 차이 역사 +36‎ 새글 Wanda ‎ Wanda 가지치기 문서로 넘겨주기 최신 태그: 새 넘겨주기 시각 편집
• 04:532025년 10월 23일 (목) 04:53 차이 역사 −41‎ 대형 언어 모델 ‎편집 요약 없음 최신 태그: 시각 편집
• 04:522025년 10월 23일 (목) 04:52 차이 역사 +4,678‎ 새글 저랭크 분해 ‎ 새 문서: 저랭크 분해(低階分解, 영어: Low-Rank Decomposition)는 행렬이나 텐서 등의 데이터를 더 낮은 차원의 구성 요소로 표현하여 계산 효율을 높이고 데이터의 잠재 구조를 추출하는 기법이다. 이는 복잡한 고차원 데이터를 단순화하면서도 본질적인 정보는 유지하려는 수학적 방법이다. ==개요== 행렬 A ∈ ℝ^{m×n}이 있을 때, 그 랭크(rank)가 r(< m,n)인 근사 행렬 Ă를 찾아 A ≈... 최신 태그: 시각 편집
• 04:512025년 10월 23일 (목) 04:51 차이 역사 +69‎ 대형 언어 모델 효율화 ‎편집 요약 없음 태그: 시각 편집
• 04:502025년 10월 23일 (목) 04:50 차이 역사 +8,063‎ 새글 대형 언어 모델 효율화 ‎ 새 문서: 본 문서는 대형 언어 모델(Large Language Model, LLM)의 저장 공간 및 연산 효율을 개선하기 위한 대표적 기법들을 정리한 것이다. 주요 방향은 '''양자화(Quantization)''', '''가지치기(Pruning)''', '''지식 증류(Knowledge Distillation)'''이며, LoRA, SmoothQuant, MoE 등 최신 기법들도 포함된다. ==양자화 (Quantization)== 모델의 가중치(weight)와 활성값(activation)을 부동소수(FP32) 대신 정수(INT8, INT... 태그: 시각 편집
• 04:152025년 10월 23일 (목) 04:15 차이 역사 +4,978‎ 새글 SmoothQuant ‎ 새 문서: SmoothQuant(스무스퀀트, 영어: SmoothQuant)은 대규모 언어모델(LLM, Large Language Model)을 대상으로 한 사후(Post-Training) 양자화 기법으로, 정확도 손실을 최소화하면서 모델의 추론 속도와 메모리 효율을 향상시키는 방법이다. 이 기법은 2022년 구글 리서치(Google Research)와 MIT 공동 연구진이 발표한 논문 「SmoothQuant: Accurate and Efficient Post-Training Quantization for Large Language Models」에... 최신 태그: 시각 편집
• 04:112025년 10월 23일 (목) 04:11 차이 역사 +5,071‎ 새글 ONNX ‎ 새 문서: ONNX(Open Neural Network Exchange)은 다양한 머신러닝·딥러닝 프레임워크에서 학습된 모델을 프레임워크 간에 변환하고 배포할 수 있도록 설계된 오픈 표준 저장 포맷 및 중간 표현(IR, Intermediate Representation)이다. ==정의 및 개요== ONNX는 학습된 신경망 모델의 구조(그래프 형태), 연산자(operator) 정의, 가중치(weights), 메타데이터(metadata) 등을 하나의 파일로 기술하여, 다양한... 최신 태그: 시각 편집
• 04:042025년 10월 23일 (목) 04:04 차이 역사 +7,198‎ 새글 신경망 저장 포맷 ‎ 새 문서: 신경망 저장 포맷(Neural Network Storage Format)은 인공신경망이 학습된 모델의 구조(architecture), 가중치(weights), 옵티마이저 상태(optimizer state) 등을 디스크에 저장하고 나중에 불러와 재사용하거나 배포할 수 있도록 설계된 파일 형식 또는 규격이다. ==개요== 신경망 모델을 저장하고 불러오는 과정은 머신러닝·딥러닝 워크플로우에서 매우 중요한 부분으로, 학습이 완료된... 최신 태그: 시각 편집
• 03:382025년 10월 23일 (목) 03:38 차이 역사 +37‎ 새글 Massive Activation ‎ 과도한 활성값 문서로 넘겨주기 최신 태그: 새 넘겨주기 시각 편집
• 03:362025년 10월 23일 (목) 03:36 차이 역사 +2‎ 신경망 양자화 ‎편집 요약 없음 최신 태그: 시각 편집

2025년 10월 17일 (금)

• 03:292025년 10월 17일 (금) 03:29 차이 역사 −145‎ 우도 ‎편집 요약 없음 최신 태그: 시각 편집: 전환됨
• 03:282025년 10월 17일 (금) 03:28 차이 역사 +3,179‎ 우도 ‎편집 요약 없음 태그: 시각 편집
• 03:182025년 10월 17일 (금) 03:18 차이 역사 +3,345‎ 새글 깁스 분포 ‎ 새 문서: '''깁스 분포'''(Gibbs distribution, Gibbs measure)는 통계역학, 확률 이론, 기계 학습 등에서 많이 쓰이는 확률 분포로, 상태의 에너지(또는 비용)에 따라 확률을 배정하는 지수 형태 확률 분포이다. ==정의== 깁스 분포는 상태 공간 \(\mathcal{X}\) 위에서 정의되고, 각 상태 \(x \in \mathcal{X}\)에 대응하는 에너지 함수 \(E(x)\)가 있을 때 다음과 같은 꼴을 가진다: \[ P(x) = \frac{1}{Z} \exp\... 최신 태그: 시각 편집
• 03:172025년 10월 17일 (금) 03:17 차이 역사 +3,186‎ 새글 Softargmax ‎ 새 문서: '''softargmax'''(soft arg‑max, 또는 soft‑argmax)는 비정형적인 arg max의 미분 가능(연속) 근사 버전이다. ==정의 및 개념== softargmax는 입력 벡터 \( \mathbf{z} = (z_1, z_2, \dots, z_K) \in \mathbb{R}^K \)에 대해, 각 성분에 확률 형태로 점유율을 부여하는 함수다. 보통 softmax 함수가 “softargmax”라고 불리기도 한다. <ref>“Softmax function”, Wikipedia</ref> 표준 softmax 정의는 \[ \sigma(\mathbf{z})_k... 최신 태그: 시각 편집
• 03:072025년 10월 17일 (금) 03:07 차이 역사 +5‎ Argmin ‎ →‎예시 최신 태그: 시각 편집
• 03:062025년 10월 17일 (금) 03:06 차이 역사 +2,742‎ 새글 Argmin ‎ 새 문서: '''argmin'''(argument of the minimum, 줄여서 “arg min” 또는 “argmin”)는 함수가 최소값을 갖는 지점(입력 변수의 값)을 나타내는 연산자이다. ==정의== 함수 \(f: X \to \mathbb{R}\)와 그 정의역의 부분집합 \(S \subseteq X\)가 주어졌을 때, \[ \arg\min_{x \in S} f(x) = \{\, x \in S \mid \forall\, s \in S,\; f(x) \le f(s) \} \] 로 정의된다. 즉, \(S\) 내에서 \(f(x)\)가 최소값을 갖는 모든 \(x\)의 집합이다... 태그: 시각 편집
• 03:032025년 10월 17일 (금) 03:03 차이 역사 +1,687‎ 새글 Argmax ‎ 새 문서: '''argmax'''(argument of the maximum, 줄여서 “arg max” 또는 “argmax”)는 함수가 최댓값을 갖는 지점(변수의 값)을 가리키는 연산자이다. ==정의== \(\arg\max\)는 주어진 함수 \(f: X \to \mathbb{R}\)와 부분집합 \(S \subseteq X\)에 대해, \[ \arg\max_{x \in S} f(x) = \{x \in S \mid f(x) \ge f(s) \text{ for all } s \in S\} \] 로 정의된다. 즉, 정의역 \(S\) 내에서 함수 \(f\)의 값이 최대가 되는 모든 \(x\)의... 최신 태그: 시각 편집
• 02:492025년 10월 17일 (금) 02:49 차이 역사 +168‎ LaTeX ‎편집 요약 없음 최신 태그: 시각 편집
• 02:472025년 10월 17일 (금) 02:47 차이 역사 +1,832‎ LaTeX ‎편집 요약 없음

2025년 10월 16일 (목)

• 08:552025년 10월 16일 (목) 08:55 차이 역사 −30‎ 과도한 활성값 ‎편집 요약 없음 태그: 시각 편집
• 08:442025년 10월 16일 (목) 08:44 차이 역사 +7,997‎ 새글 과도한 활성값 ‎ 새 문서: 과도한 활성값(Massive Activation)은 신경망 내부의 일부 활성(activation)이 다른 활성들에 비해 매우 큰 값을 가지는 현상을 가리킨다. 특히 대형 언어 모델(LLM)에서 이러한 현상이 반복적으로 관찰되며, 단순한 이상치(outlier)를 넘어 모델 동작의 중요한 요소로 역할하는 것으로 보고된다. ==정의 및 개념== 과도한 활성값은 전체 활성 공간 중 극히 일부의 차원(dimension)에서... 태그: 시각 편집

2025년 10월 15일 (수)

• 01:082025년 10월 15일 (수) 01:08 차이 역사 +2,553‎ 새글 행렬의 랭크 ‎ 새 문서: 행렬의 랭크(영어: rank of a matrix)는 행렬에서 선형 독립한 행 또는 열벡터의 최대 개수를 나타내는 수로, 벡터 공간의 차원과 선형 변환의 구조를 분석하는 데 중요한 개념이다. ==정의== 행렬 A의 랭크는 다음과 같이 정의된다: *행 랭크(row rank): 행렬 A의 행벡터들 중 선형 독립한 최대 개수 *열 랭크(column rank): 행렬 A의 열벡터들 중 선형 독립한 최대 개수 모든 행렬에... 최신 태그: 시각 편집
• 01:042025년 10월 15일 (수) 01:04 차이 역사 +2,223‎ 새글 가우스 소거법 ‎ 새 문서: 가우스 소거법(독일어: Gaußsches Eliminationsverfahren, 영어: Gaussian elimination)은 연립방정식 해법, 행렬의 기저 및 랭크 계산 등에 사용되는 선형대수학의 기초적인 알고리즘으로, 행 연산을 통해 행렬을 계단형으로 바꾸는 절차이다. ==정의== 가우스 소거법은 행렬에 다음과 같은 기본 행 연산을 반복 적용하여 계단형(row echelon form) 또는 기약 계단형(reduced row echelon form, RRE... 최신 태그: 시각 편집
• 01:022025년 10월 15일 (수) 01:02 차이 역사 +16‎ 선형 독립 ‎편집 요약 없음 최신 태그: 시각 편집
• 01:012025년 10월 15일 (수) 01:01 차이 역사 +2,230‎ 새글 선형 독립 ‎ 새 문서: 선형 독립(線型獨立, 영어: linear independence)은 벡터 공간에서 여러 벡터가 서로 선형 결합으로 표현되지 않는 관계를 의미하며, 기저와 차원 정의의 핵심 개념이다. ==정의== 벡터 공간 V의 벡터 집합 \(\{v_1, v_2, ..., v_n\}\)이 다음 조건을 만족할 때 이 집합은 '''선형 독립'''이라 한다: *임의의 스칼라 \(a_1, a_2, ..., a_n\)에 대해 **\(a_1 v_1 + a_2 v_2 + ... + a_n v_n = 0\) 이 성립하면...
• 01:012025년 10월 15일 (수) 01:01 차이 역사 −2,199‎ 선형독립 ‎ 선형 독립 문서로 넘겨주기 최신 태그: 새 넘겨주기
• 01:002025년 10월 15일 (수) 01:00 차이 역사 +2,244‎ 새글 벡터의 차원 ‎ 새 문서: 벡터의 차원(次元, 영어: dimension of a vector space)은 벡터 공간을 구성하는 데 필요한 최소한의 선형 독립 벡터의 수를 의미하며, 해당 공간의 구조를 수치적으로 나타내는 중요한 개념이다. ==정의== 벡터 공간 V의 차원은 V의 기저를 이루는 벡터들의 개수로 정의된다. *벡터 공간 V의 차원은 기호로 \(\dim V\) 또는 \(\operatorname{dim}(V)\)로 나타낸다. *기저는 여러 개 존재할... 최신 태그: 시각 편집
• 00:572025년 10월 15일 (수) 00:57 차이 역사 +2,305‎ 새글 벡터의 기저 ‎ 새 문서: 벡터의 기저(基底, 영어: basis of a vector space)는 벡터 공간을 구성하는 최소한의 벡터 집합으로, 모든 벡터를 유일하게 선형 결합으로 표현할 수 있게 하는 벡터들의 집합이다. ==정의== 벡터 공간 V에서 벡터 집합 \(\{v_1, v_2, ..., v_n\}\)이 다음 두 조건을 만족할 때, 이 집합을 V의 '''기저'''라 한다: *생성 조건: 집합 \(\{v_1, ..., v_n\}\)의 선형 결합으로 V의 모든 벡터를 표현... 최신 태그: 시각 편집
• 00:502025년 10월 15일 (수) 00:50 차이 역사 +2,230‎ 새글 선형독립 ‎ 새 문서: 선형 독립(線型獨立, 영어: linear independence)은 벡터 공간에서 여러 벡터가 서로 선형 결합으로 표현되지 않는 관계를 의미하며, 기저와 차원 정의의 핵심 개념이다. ==정의== 벡터 공간 V의 벡터 집합 \(\{v_1, v_2, ..., v_n\}\)이 다음 조건을 만족할 때 이 집합은 '''선형 독립'''이라 한다: *임의의 스칼라 \(a_1, a_2, ..., a_n\)에 대해 **\(a_1 v_1 + a_2 v_2 + ... + a_n v_n = 0\) 이 성립하면... 태그: 시각 편집
• 00:362025년 10월 15일 (수) 00:36 차이 역사 +7‎ 벡터 공간 ‎편집 요약 없음 최신 태그: 시각 편집
• 00:352025년 10월 15일 (수) 00:35 차이 역사 +2,495‎ 벡터 공간 ‎편집 요약 없음 태그: 시각 편집

2025년 10월 14일 (화)

• 06:172025년 10월 14일 (화) 06:17 차이 역사 +22‎ OLS 회귀분석 ‎편집 요약 없음 최신 태그: 시각 편집
• 06:162025년 10월 14일 (화) 06:16 차이 역사 +4,385‎ 새글 OLS 회귀분석 ‎ 새 문서: '''OLS 회귀분석'''(Ordinary Least Squares 회귀분석)은 관측된 자료에 가장 잘 맞는 직선(혹은 초평면)을 찾기 위해, 잔차의 제곱합을 최소화하는 회귀계수를 추정하는 방법이다. * 최소제곱법이라고도 한다. (ex. 최소제곱법 회귀분석) ==개념 및 목적== OLS는 독립 변수(설명 변수)와 종속 변수(반응 변수) 사이의 선형 관계를 모델링하고, 이 관계를 설명하는 계수들을 추정... 태그: 시각 편집

2025년 10월 9일 (목)

• 14:012025년 10월 9일 (목) 14:01 차이 역사 +2,955‎ 새글 PyTorch named parameters 메서드 ‎ 새 문서: named_parameters()는 PyTorch에서 제공하는 메서드로, 신경망 모델의 모든 학습 가능한 파라미터(parameter)에 대해 해당 파라미터의 이름(name)과 파라미터 객체(torch.nn.Parameter)를 함께 반환한다. 이 메서드는 torch.nn.Module을 상속받은 모든 모델에서 사용 가능하며, 레이어별 파라미터에 이름을 기준으로 접근하거나 필터링할 수 있도록 도와준다. ==개요== PyTorch의 모든 모델은 t... 최신
• 14:012025년 10월 9일 (목) 14:01 차이 역사 −2,903‎ PyTorch named parameters ‎ PyTorch named parameters 메서드 문서로 넘겨주기 최신 태그: 새 넘겨주기
• 13:572025년 10월 9일 (목) 13:57 차이 역사 +68‎ PyTorch Parameter grad ‎편집 요약 없음 최신 태그: 시각 편집
• 13:562025년 10월 9일 (목) 13:56 차이 역사 +13‎ PyTorch Parameter grad ‎편집 요약 없음 태그: 시각 편집
• 13:502025년 10월 9일 (목) 13:50 차이 역사 +2,696‎ 새글 PyTorch Parameter grad ‎ 새 문서: '''Parameter.grad''' 속성(PyTorch)은 '''torch.nn.Parameter''' 객체에 대해 역전파(backpropagation)를 통해 계산된 '''기울기(gradient)''' 를 저장하는 텐서 속성이다. ==개요== *'''Parameter''' 객체는 '''requires_grad=True'''일 때, 손실 함수에 대해 '''loss.backward()'''가 호출되면 '''.grad''' 속성에 기울기 값이 저장된다. <ref>[https://pytorch.org/tutorials/beginner/blitz/autograd_tutorial.html Autograd tutorial — PyTorch]... 태그: 시각 편집
• 13:452025년 10월 9일 (목) 13:45 차이 역사 +2,447‎ 새글 PyTorch Parameter 클래스 ‎ 새 문서: Parameter(PyTorch의 torch.nn.Parameter)는 학습 가능한 모델 파라미터를 나타내는 '''특수 텐서''' 클래스이다. 일반 텐서와 달리 모듈(nn.Module)에 속성으로 할당되면 자동으로 모델의 학습 대상 파라미터로 등록된다. ==개요== *'''Parameter'''는 '''torch.Tensor'''를 상속한 클래스이다. <ref>[https://pytorch.org/docs/stable/generated/torch.nn.parameter.Parameter.html Parameter — PyTorch]</ref> *생성 형식은... 최신 태그: 시각 편집
• 13:402025년 10월 9일 (목) 13:40 차이 역사 +2,955‎ 새글 PyTorch named parameters ‎ 새 문서: named_parameters()는 PyTorch에서 제공하는 메서드로, 신경망 모델의 모든 학습 가능한 파라미터(parameter)에 대해 해당 파라미터의 이름(name)과 파라미터 객체(torch.nn.Parameter)를 함께 반환한다. 이 메서드는 torch.nn.Module을 상속받은 모든 모델에서 사용 가능하며, 레이어별 파라미터에 이름을 기준으로 접근하거나 필터링할 수 있도록 도와준다. ==개요== PyTorch의 모든 모델은 t... 태그: 시각 편집
• 13:302025년 10월 9일 (목) 13:30 차이 역사 +4,603‎ 새글 LASSO ‎ 새 문서: LASSO(Least Absolute Shrinkage and Selection Operator, 라쏘 회귀)는 회귀 분석 기법의 하나로, 가중치의 절댓값 합(ℓ₁ 노름)에 패널티를 부과하여 과적합을 방지하고 변수 선택(feature selection) 효과를 동시에 얻는 정규화된 회귀 방식이다. ==정의 및 수식== LASSO 회귀는 전통적 최소 제곱법(OLS, Ordinary Least Squares)의 손실 함수에 ℓ₁ 페널티 항을 추가한 형태로 정의된다. 목적 함... 최신 태그: 시각 편집
• 13:292025년 10월 9일 (목) 13:29 차이 역사 +39‎ L1 정규화 ‎편집 요약 없음 최신 태그: 시각 편집
• 13:272025년 10월 9일 (목) 13:27 차이 역사 +2,329‎ 새글 L1 정규화 ‎ 새 문서: L1 정규화(L1 Regularization, 라쏘(Lasso) 규제)는 기계 학습 및 통계 모델에서 과적합(overfitting)을 방지하고 모델의 복잡도를 제어하기 위해 사용하는 정규화 기법 중 하나다. 이 방식은 가중치 벡터의 절댓값 합(ℓ₁ 노름)에 패널티를 부여하는 방식이다. ==정의 및 수식== L1 정규화에서는 기본 손실 함수(예: 평균 제곱 오차, 교차 엔트로피 등)에 다음과 같은 패널티 항을... 태그: 시각 편집
• 13:262025년 10월 9일 (목) 13:26 차이 역사 +4‎ 합성곱 신경망 ‎편집 요약 없음 태그: 시각 편집
• 13:262025년 10월 9일 (목) 13:26 차이 역사 +8‎ 가중치 감소 ‎편집 요약 없음 태그: 시각 편집
• 12:472025년 10월 9일 (목) 12:47 차이 역사 −331‎ 베이지안 심층 신경망 ‎편집 요약 없음 최신 태그: 시각 편집
• 12:472025년 10월 9일 (목) 12:47 차이 역사 −3‎ 베이지안 심층 신경망 ‎편집 요약 없음
• 12:462025년 10월 9일 (목) 12:46 차이 역사 +3,841‎ 새글 베이지안 심층 신경망 ‎ 새 문서: 베이지안 심층 신경망(Bayesian Deep Neural Network, BNN 또는 Bayesian Deep Learning)은 전통적 인공신경망의 가중치 및 매개변수(parameter)를 고정값이 아닌 확률분포로 모델링하여, 예측의 불확실성까지 함께 고려할 수 있는 심층 신경망 모델이다. ==개념 및 동기== - 전통적 신경망은 학습 후 각 가중치가 고정된 값으로 결정되지만, 베이지안 심층 신경망에서는 각 가중치가 사전... 태그: 시각 편집