가리키는 글의 최근 바뀜
IT 위키
← 분류:딥 러닝
해당 문서에 연결된 문서의 변경사항을 확인하려면 문서 이름을 입력하십시오. (분류에 들어있는 문서를 보려면 분류:분류명으로 입력하십시오). 내 주시문서 목록에 있는 문서의 변경사항은 굵게 나타납니다.
약어 목록:
- 새글
- 새 문서 (새 문서 목록도 보세요)
- 잔글
- 사소한 편집
- 봇
- 봇이 수행한 편집
- (±123)
- 바이트 수로 표현한 문서 크기의 차이
2025년 11월 13일 (목)
| 새글 08:51 | MoDNN 차이역사 +3,739 인공무능 토론 기여 (새 문서: MoDNN(Mobile Distributed Deep Neural Network, 2017년)은 여러 모바일 디바이스의 연산 자원을 결합하여 하나의 딥러닝 모델을 분산 추론하도록 설계된 기법이다. 단일 스마트폰이나 IoT 기기에서 처리하기 어려운 신경망 연산을 여러 노드가 협력하여 나누어 수행함으로써 추론 속도를 향상시키는 것을 목표로 한다. ==개요== MoDNN은 모바일 디바이스들이 서로 연결된 환경에서,...) | ||||
| 새글 08:15 | ADCNN 차이역사 +3,581 인공무능 토론 기여 (새 문서: ADCNN(Adaptive Distributed Convolutional Neural Network, 2020년)은 여러 엣지(edge) 디바이스에 신경망의 연산을 적응적으로 분산시켜 추론 지연(latency)과 통신량을 줄이기 위한 딥러닝 분산추론(distributed inference) 기법이다. ==개요== ADCNN은 딥러닝 추론을 위해 하나의 중앙 서버나 클라우드에 모든 연산을 맡기는 대신, 여러 엣지 디바이스 클러스터에 연산을 적절히 분할해서 배치함...) | ||||
| 새글 08:09 | DDNN (신경망, 2017년) 차이역사 +3,667 인공무능 토론 기여 (새 문서: DDNN(Distributed Deep Neural Network, 2017년)은 단일 기기에서 실행되는 신경망을 클라우드, 엣지, 디바이스 계층에 분산하여 협력적으로 추론을 수행하는 구조로, 입력 데이터의 특성에 따라 로컬 또는 클라우드에서 단계적으로 계산을 수행함으로써 지연(latency)과 통신 비용을 줄이는 것을 목표로 한다. ==개요== DDNN은 분산 환경에서 신경망 일부를 로컬 디바이스에 배치하...) | ||||
| 새글 07:48 | 브랜치넷 차이역사 +3,268 인공무능 토론 기여 (새 문서: BranchyNet(브랜치넷)은 신경망의 중간 계층에 여러 개의 조기 종료 지점(exit branch)을 추가하여, 입력 데이터의 난이도에 따라 계산량을 동적으로 조절하는 신경망 구조이다. 이를 통해 쉬운 입력은 빠르게 처리하고, 어려운 입력만 전체 모델을 통과시키는 방식으로 추론 속도를 크게 향상시킨다. ==개요== BranchyNet은 입력 샘플의 난이도가 서로 다르다는 점에 착안하여...) | ||||
| 새글 06:30 | GPipe 차이역사 +4,637 인공무능 토론 기여 (새 문서: 섬네일|Bubble을 줄이는 것을 목표로 한다. GPipe(지파이프, 영어: GPipe)는 대규모 신경망 모델을 여러 장치에 나누어 학습시키기 위해 제안된 파이프라인 병렬(pipeline parallelism) 기법으로, 마이크로배치를 활용해 파이프라인의 유휴 시간(bubble)을 줄이고 장치 활용률을 높이는 것을 목표로 한다. ==개요== GPipe는 모델을 여러 스테이지(stage)로 분...) | ||||
| 05:11 | 추측 디코딩 차이역사 +32 인공무능 토론 기여 | ||||
2025년 11월 6일 (목)
|
|
새글 09:39 | 추측 디코딩 2개 바뀜 역사 +4,582 [인공무능 (2×)] | |||
|
|
09:39 (최신 | 이전) −95 인공무능 토론 기여 태그: 시각 편집 | ||||
| 새글 |
|
09:38 (최신 | 이전) +4,677 인공무능 토론 기여 (새 문서: 섬네일|추측적(예측적) 디코딩 방법 추측 디코딩(영어: Speculative Decoding)은 거대 언어 모델(LLM)의 자동회귀 디코딩 과정에서 지연(latency)과 처리량(throughput)을 개선하기 위해 고안된 방법으로, 작은 초안 모델이 여러 개의 미래 토큰을 제안하고, 이후 고성능 대상 모델이 이를 병렬로 검증하는 방식이다. ==개요== 기존의 자동회귀 디코딩 방식...) 태그: 시각 편집 | |||
2025년 10월 30일 (목)
| 새글 07:32 | L2 정규화 차이역사 +3,487 인공무능 토론 기여 (새 문서: '''L2 정규화'''(L2 Regularization)는 머신러닝과 딥러닝에서 모델의 복잡도를 억제하고 과적합(overfitting)을 방지하기 위해 손실 함수에 가중치의 제곱합을 추가하는 정규화 기법이다. 일반적으로 가'''중치 감쇠(weight decay)''' 또는 '''릿지 정규화(Ridge Regularization)''' 라고도 불린다. ==개념== L2 정규화는 모델의 파라미터(가중치)가 지나치게 커지지 않도록 제약을 부여한...) | ||||
| 새글 07:28 | AdaGrad 옵티마이저 차이역사 +3,221 인공무능 토론 기여 (새 문서: '''AdaGrad'''(Adaptive Gradient Algorithm)은 각 파라미터마다 학습률(learning rate)을 다르게 적용하여, 파라미터별로 변화량을 자동 조정하는 적응형(Adaptive) 옵티마이저 알고리즘이다. 2011년 John Duchi, Elad Hazan, Yoram Singer가 제안했으며, 희소(sparse) 데이터나 자연어 처리와 같은 영역에서 특히 효과적이다. ==개념== 기존 경사 하강법(Gradient Descent)은 모든 파라미터에 동일한 학...) | ||||
| 새글 07:26 | RMSProp 차이역사 +2,900 인공무능 토론 기여 (새 문서: '''RMSProp'''(Root Mean Square Propagation)은 신경망 학습 시 기울기(gradient)의 크기를 제곱평균제곱근(Root Mean Square)으로 정규화하여, 학습률(learning rate)을 파라미터별로 자동 조정하는 적응형(Adaptive) 옵티마이저 알고리즘이다. 2012년 Geoffrey Hinton이 제안했으며, 딥러닝의 대표적인 적응형 경사 하강법 중 하나로 꼽힌다. ==개념== RMSProp은 AdaGrad의 변형 알고리즘으로, AdaGrad...) | ||||
|
|
새글 06:11 | 지식 증류 2개 바뀜 역사 +5,427 [인공무능 (2×)] | |||
|
|
06:11 (최신 | 이전) +30 인공무능 토론 기여 태그: 시각 편집: 전환됨 | ||||
| 새글 |
|
05:23 (최신 | 이전) +5,397 인공무능 토론 기여 (새 문서: '''지식 증류'''(Knowledge Distillation, KD)는 대형 신경망(Teacher Model)이 학습한 지식을 작은 신경망(Student Model)에 전이(distill)하여 효율적 성능을 달성하는 모델 압축 기법이다.<ref>Hinton, Geoffrey, Oriol Vinyals, and Jeff Dean. "Distilling the knowledge in a neural network." arXiv:1503.02531 (2015).</ref> 대형 모델이 가진 복잡한 표현과 분류 경계 정보를 소형 모델이 간접적으로 학습하게 함으로써,...) 태그: 시각 편집 | |||
| 새글 05:18 | LoRA (인공지능) 차이역사 +4,694 인공무능 토론 기여 (새 문서: '''LoRA'''(Low-Rank Adaptation)는 대형 언어모델(LLM) 등 초거대 신경망의 선형층(linear layer)을 효율적으로 미세조정(fine-tuning)하기 위한 '''저차원 보정'''(low-rank adaptation) 기법이다.<ref name="lora2022">[https://arxiv.org/abs/2106.09685 Hu, Edward J., et al. "LoRA: Low-Rank Adaptation of Large Language Models." ICLR (2022).]</ref> 전체 파라미터를 재학습하지 않고, 각 선형변환 가중치 행렬에 작은 저랭크(rank-...) | ||||
|
|
새글 05:17 | 파라미터 효율적 미세조정 2개 바뀜 역사 +4,572 [인공무능 (2×)] | |||
|
|
05:17 (최신 | 이전) +14 인공무능 토론 기여 태그: 시각 편집 | ||||
| 새글 |
|
04:53 (최신 | 이전) +4,558 인공무능 토론 기여 (새 문서: '''파라미터 효율적 미세조정'''(Parameter-Efficient Fine-Tuning, '''PEFT''')은 대형 언어모델(LLM) 등 초거대 신경망의 모든 파라미터를 다시 학습시키는 대신, 일부 파라미터만 선택적으로 학습하여 특정 다운스트림(downstream) 태스크에 효율적으로 적응시키는 기법이다.<ref name="lora2022">[https://arxiv.org/abs/2106.09685 Hu, Edward J., et al. "LoRA: Low-Rank Adaptation of Large Language Models." ICLR (2022)...) 태그: 시각 편집 | |||
| 새글 04:40 | 블록별 자기지도 학습 차이역사 +5,394 인공무능 토론 기여 (새 문서: '''블록별 자기지도 학습'''(Block-Wise Self-Supervised Learning)은 심층신경망(Deep Neural Network)의 전역 역전파(global backpropagation)로 인한 메모리 병목 문제를 해결하기 위해, 모델을 여러 블록(block) 단위로 나누고 각 블록에 자기지도 손실(self-supervised loss)을 도입하여 독립적으로 표현 학습을 수행하는 기법이다.<ref name="bim2023">[https://arxiv.org/abs/2311.17218 Luo, Yuxuan, Mengye Ren, and Sai...) | ||||
| 새글 04:12 | DoReFa-Net 차이역사 +3,482 인공무능 토론 기여 (새 문서: '''DoReFa-Net'''은 저정밀도 신경망 학습을 가능하게 하는 기법으로, 가중치(weight), 활성값(activation), 그리고 그래디언트(gradient)를 모두 저비트 정밀도에서 표현하여 연산 효율과 메모리 사용량을 크게 줄이는 방법이다.<ref name="zhou2016">[https://arxiv.org/abs/1606.06160 Zhou, Shuchang, et al. "DoReFa-Net: Training Low Bitwidth Convolutional Neural Networks with Low Bitwidth Gradients." arXiv preprint arXiv:1606....) | ||||
|
|
02:47 | 대형 언어 모델 효율화 4개 바뀜 역사 +4,045 [인공무능 (4×)] | |||
|
|
02:47 (최신 | 이전) +690 인공무능 토론 기여 태그: 시각 편집 | ||||
|
|
02:40 (최신 | 이전) +434 인공무능 토론 기여 태그: 시각 편집 | ||||
|
|
02:38 (최신 | 이전) +3,376 인공무능 토론 기여 | ||||
|
|
02:30 (최신 | 이전) −455 인공무능 토론 기여 태그: 시각 편집 | ||||
|
|
새글 02:17 | 대형 언어 모델 채널별 이상치 2개 바뀜 역사 +6,305 [인공무능 (2×)] | |||
|
|
02:17 (최신 | 이전) +36 인공무능 토론 기여 태그: 시각 편집 | ||||
| 새글 |
|
02:11 (최신 | 이전) +6,269 인공무능 토론 기여 (새 문서: '''대형 언어 모델 채널별 이상치 (Channelwise Outlier in Large Language Models)'''는 트랜스포머(Transformer) 기반 신경망 내부에서 특정 채널(hidden dimension)들이 다른 채널보다 훨씬 큰 활성값을 갖는 현상을 의미한다. 이러한 현상은 대형 언어 모델(LLM)의 Layer Normalization과 Scaling 과정에서 반복적으로 관찰되며, 수치적 이상치(outlier)라기보다 모델 구조상 필연적으로 발생하는 활...) 태그: 시각 편집 | |||
| 02:01 | 과도한 활성값 차이역사 +809 인공무능 토론 기여 | ||||
2025년 10월 28일 (화)
2025년 10월 25일 (토)
| 새글 11:33 | 깊이별 합성곱 차이역사 +3,018 인공무능 토론 기여 (새 문서: 깊이별 합성곱(Depthwise Convolution)은 합성곱 신경망(CNN)에서 연산 효율성을 높이기 위해 제안된 구조로, 표준 합성곱(Standard Convolution)을 채널 단위로 분리하여 수행하는 방식이다. 이 방식은 MobileNet 등 경량 신경망의 핵심 구성 요소로 사용되며, 모델의 파라미터 수와 연산량을 크게 줄인다. ==개요== 일반적인 합성곱 연산은 입력의 모든 채널에 대해 동일한 필터를 적...) | ||||
| 새글 11:15 | ConvNeXt 차이역사 +2,596 인공무능 토론 기여 (새 문서: ConvNeXt(Convolutional Network for the 2020s)는 2022년에 제안된 현대적 합성곱 신경망(CNN) 구조로, 비전 트랜스포머(Vision Transformer)의 설계 철학을 결합하여 기존 CNN의 성능과 효율성을 극대화한 모델이다. ==개요== ConvNeXt는 기존 ResNet 구조를 기반으로 하지만, 트랜스포머의 설계 원칙을 도입하여 단순한 CNN 구조로도 최신 비전 모델과 경쟁 가능한 성능을 달성하였다. 주요 목...) | ||||
| 11:11 | 합성곱 신경망 차이역사 +4,376 인공무능 토론 기여 | ||||
| 새글 05:38 | EfficientNet 차이역사 +4,216 인공무능 토론 기여 (새 문서: EfficientNet(영어: EfficientNet)은 컨볼루션 신경망(CNN) 아키텍처의 효율적인 확장을 위한 모델 계열로, “EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks” 논문에서 제안되었다. ==개요== EfficientNet은 네트워크의 깊이(depth), 폭(width), 입력 해상도(resolution)를 균형 있게 확장하는 '''복합 계수(compound coefficient)''' 기반 스케일링 기법을 도입하였다. 기존 모델들은 깊이...) | ||||
| 새글 05:34 | DenseNet 차이역사 +4,121 인공무능 토론 기여 (새 문서: DenseNet(영어: Dense Convolutional Network, 덴스넷)은 층(layer) 간의 연결을 극대화하여 특징 재사용(feature reuse)과 기울기 흐름(gradient flow)을 개선한 컨볼루션 신경망(CNN) 구조이다. ==개요== DenseNet은 각 층이 이전 모든 층의 출력(feature map)을 입력으로 받아들이고, 자신의 출력을 이후 모든 층이 다시 입력으로 전달하는 구조를 가진다. 즉, 하나의 Dense Block 내부에서 l번째 층...) | ||||
| 새글 05:32 | SqueezeNet 차이역사 +3,509 인공무능 토론 기여 (새 문서: SqueezeNet(영어: SqueezeNet)은 모바일 및 임베디드 환경에서 매우 적은 파라미터 수로도 높은 정확도를 달성하도록 설계된 경량 컨볼루션 신경망(CNN) 구조이다. ==개요== SqueezeNet은 2016년 발표된 모델로, AlexNet과 비슷한 수준의 이미지 분류 성능을 유지하면서도 파라미터 수를 약 50배 줄이는 것을 목표로 설계되었다. 모델 크기가 매우 작아(최소 0.5MB 수준) 모바일 및 임...) | ||||
| 새글 05:29 | ShuffleNet 차이역사 +4,678 인공무능 토론 기여 (새 문서: ShuffleNet(영어: ShuffleNet)은 모바일 및 임베디드 디바이스 환경에서 매우 제한된 연산 자원 하에서도 고성능 이미지 인식이 가능하도록 설계된 경량 컨볼루션 신경망(CNN) 아키텍처이다. ==개요== ShuffleNet은 연산량이 극히 적은 환경(수십 MFLOPs 수준)에서도 동작하도록 설계되었다. 핵심은 두 가지 연산 기법인 포인트와이즈 그룹 컨볼루션(pointwise group convolution)과 채널...) | ||||
| 새글 05:19 | Wide ResNet 차이역사 +5,035 인공무능 토론 기여 (새 문서: Wide ResNet(영어: Wide Residual Network, 축약 WRN)은 ResNet 구조의 “깊이(Depth)”를 늘리는 대신 “폭(Width)”을 확장하여 성능을 향상시킨 변형 아키텍처로, 세르게이 자고루이코(Sergey Zagoruyko)와 니코스 코모다키스(Nikos Komodakis)가 2016년에 제안하였다. ==개요== Wide ResNet은 기존 ResNet이 층을 깊게 쌓을수록 학습 효율이 떨어지고, 특징 재사용(feature reuse)이 감소하는 문제를 해...) | ||||
| 05:18 | ResNet 차이역사 +17 인공무능 토론 기여 | ||||
| 새글 05:11 | AlexNet 차이역사 +4,668 인공무능 토론 기여 (새 문서: AlexNet(영어: AlexNet)은 2012년 ImageNet 대회(ILSVRC 2012)에서 우승하며 딥러닝 기반 이미지 인식의 시대를 연 컨볼루션 신경망(CNN) 모델이다. 토론토 대학교의 알렉스 크리제브스키(Alex Krizhevsky), 일야 서츠케버(Ilya Sutskever), 제프리 힌턴(Geoffrey Hinton)에 의해 개발되었다. ==개요== AlexNet은 대규모 이미지 데이터셋(ImageNet)을 학습하여 객체 분류 문제를 해결한 모델로, 당시 기...) | ||||
| 새글 05:09 | LeNet 차이역사 +3,032 인공무능 토론 기여 (새 문서: LeNet(영어: LeNet)은 손글씨 숫자 인식 등 문서 이미지 인식을 위해 설계된 초기 컨볼루션 신경망(CNN) 계열 모델로, 특히 1998년에 제안된 LeNet-5가 가장 널리 알려져 있다. ==개요== LeNet은 컨볼루션과 서브샘플링(당시 평균 풀링)을 반복해 공간 정보를 보존하며 특징을 추출하고, 마지막에 완전연결층으로 분류를 수행하는 구조를 갖는다. 원래 목적은 우편번호나 수표의...) | ||||
| 01:36 | 배치 정규화 차이역사 +607 인공무능 토론 기여 | ||||
2025년 10월 23일 (목)
| 새글 07:56 | DuQuant 차이역사 +5,336 인공무능 토론 기여 (새 문서: '''DuQuant (Distributing Outliers via Dual Transformation)'''은 대형 언어 모델(LLM: Large Language Model)의 활성화 및 가중치 양자화 과정에서 특히 문제되는 아웃라이어(outlier) 값을 효과적으로 분산시켜 저비트 양자화 시 성능 손실을 최소화하는 회전(rotation) 및 순열(permutation) 기반 포스트 트레이닝 양자화(Post-Training Quantization, PTQ) 기법이다. ==개요== DuQuant는 활성화 내에 존재하는...) | ||||
|
|
새글 07:51 | 대형 언어 모델 효율화 3개 바뀜 역사 +8,144 [인공무능 (3×)] | |||
|
|
07:51 (최신 | 이전) +12 인공무능 토론 기여 태그: 시각 편집 | ||||
|
|
04:51 (최신 | 이전) +69 인공무능 토론 기여 태그: 시각 편집 | ||||
| 새글 |
|
04:50 (최신 | 이전) +8,063 인공무능 토론 기여 (새 문서: 본 문서는 대형 언어 모델(Large Language Model, LLM)의 저장 공간 및 연산 효율을 개선하기 위한 대표적 기법들을 정리한 것이다. 주요 방향은 '''양자화(Quantization)''', '''가지치기(Pruning)''', '''지식 증류(Knowledge Distillation)'''이며, LoRA, SmoothQuant, MoE 등 최신 기법들도 포함된다. ==양자화 (Quantization)== 모델의 가중치(weight)와 활성값(activation)을 부동소수(FP32) 대신 정수(INT8, INT...) 태그: 시각 편집 | |||
| 새글 04:15 | SmoothQuant 차이역사 +4,978 인공무능 토론 기여 (새 문서: SmoothQuant(스무스퀀트, 영어: SmoothQuant)은 대규모 언어모델(LLM, Large Language Model)을 대상으로 한 사후(Post-Training) 양자화 기법으로, 정확도 손실을 최소화하면서 모델의 추론 속도와 메모리 효율을 향상시키는 방법이다. 이 기법은 2022년 구글 리서치(Google Research)와 MIT 공동 연구진이 발표한 논문 「SmoothQuant: Accurate and Efficient Post-Training Quantization for Large Language Models」에...) | ||||
| 새글 04:11 | ONNX 차이역사 +5,071 인공무능 토론 기여 (새 문서: ONNX(Open Neural Network Exchange)은 다양한 머신러닝·딥러닝 프레임워크에서 학습된 모델을 프레임워크 간에 변환하고 배포할 수 있도록 설계된 오픈 표준 저장 포맷 및 중간 표현(IR, Intermediate Representation)이다. ==정의 및 개요== ONNX는 학습된 신경망 모델의 구조(그래프 형태), 연산자(operator) 정의, 가중치(weights), 메타데이터(metadata) 등을 하나의 파일로 기술하여, 다양한...) | ||||
| 새글 04:04 | 신경망 저장 포맷 차이역사 +7,198 인공무능 토론 기여 (새 문서: 신경망 저장 포맷(Neural Network Storage Format)은 인공신경망이 학습된 모델의 구조(architecture), 가중치(weights), 옵티마이저 상태(optimizer state) 등을 디스크에 저장하고 나중에 불러와 재사용하거나 배포할 수 있도록 설계된 파일 형식 또는 규격이다. ==개요== 신경망 모델을 저장하고 불러오는 과정은 머신러닝·딥러닝 워크플로우에서 매우 중요한 부분으로, 학습이 완료된...) | ||||
| 03:36 | 신경망 양자화 차이역사 +2 인공무능 토론 기여 | ||||
