---
title: "[논문 AI 리뷰] Scaling Embedding Layers in Language Models"
description: "SCONE은 훈련 시 별도 f‑gram 모델로 n‑gram 임베딩을 학습하고, 추론 시 이를 CPU RAM이나 NVMe에 캐시해 조회함으로써 GPU/TPU 사용량을 고정하면서도 모델 성능을 확장하는 새로운 임베딩 기법이다. 1B 파라미터 모델이 1.9B 베이스라인을 능가하면서도 추론 FLOPS와 GPU 메모리를 약 48% 절감하는 등 효율성을 크게 향상시켰으며, 다양한 코퍼스와 다운스트림 태스크에서 실험적으로 검증되었다. 다만 대규모(10B 이상) 모델에 대한 검증 부족, 훈련 단계의 추가 계산 비용 및 정적 임베딩으로 인한 동적 적응 제한 등 몇 가지 한계가 존재한다."
date: "2025-11-12T01:18:00.000+09:00"
last_modified: "2026-05-15T08:36:00.000Z"
type: "Paper"
tags:
  - "large language model"
  - "deep learning"
  - "efficient deep inference"
categories:
  - "AI논문리뷰"
series:
  - "AI 논문 리뷰"
canonical_url: "https://blog.pieroot.xyz/scaling-embedding"
markdown_url: "https://blog.pieroot.xyz/scaling-embedding.md"
---

# \[논문 AI 리뷰\] Scaling Embedding Layers in Language Models

SCONE은 훈련 시 별도 f‑gram 모델로 n‑gram 임베딩을 학습하고, 추론 시 이를 CPU RAM이나 NVMe에 캐시해 조회함으로써 GPU/TPU 사용량을 고정하면서도 모델 성능을 확장하는 새로운 임베딩 기법이다. 1B 파라미터 모델이 1.9B 베이스라인을 능가하면서도 추론 FLOPS와 GPU 메모리를 약 48% 절감하는 등 효율성을 크게 향상시켰으며, 다양한 코퍼스와 다운스트림 태스크에서 실험적으로 검증되었다. 다만 대규모(10B 이상) 모델에 대한 검증 부족, 훈련 단계의 추가 계산 비용 및 정적 임베딩으로 인한 동적 적응 제한 등 몇 가지 한계가 존재한다.

**한문장 요약**  

이 논문은 추론 단계에서 액셀러레이터 사용량을 고정시키면서도 성능을 확장할 수 있는 새로운 임베딩 기법 SCONE을 제시하며, 1B 모델이 1.9B 베이스라인을 뛰어넘으면서 GPU 메모리와 FLOPS를 절반 가량 절감한다는 강력한 실험 결과를 제공하므로 언어 모델 효율화에 관심 있는 연구자와 실무자 모두에게 반드시 읽을 가치가 있습니다.

---

#### 1. Main Contributions  

- **SCONE(Scalable, Contextualized, Offloaded, N-gram Embedding)**: 입력 임베딩 확장을 위해 훈련 시 별도의 f-gram 모델로 문맥화된 n-gram 임베딩을 생성하고, 추론 시 이를 오프-액셀러레이터 메모리(CPU RAM/NVMe)에 캐싱하여 조회하는 새로운 아키텍처 제안  

- **두 가지 혁신적 스케일링 전략**: (i) 캐시된 f-gram 임베딩의 수 증대, (ii) f-gram 모델 자체의 규모 확대—두 전략 모두 추론 시점의 액셀러레이터 FLOPS와 메모리 사용량을 고정된 상태로 유지  

- **실증적 성능 개선**: 1B 액셀러레이터 상주 파라미터 모델이 1.9B 파라미터 베이스라인보다 다양한 코퍼스에서 우수한 성능을 달성하면서도 추론 시 FLOPS와 GPU 메모리를 약 48% 절감  

#### 2. Key Methods and Approach  

- **f-gram 선택**: BPE(Byte Pair Encoding) 스타일 알고리즘으로 훈련 코퍼스를 K-1회 선형 스캔하여 빈도가 높은 n-gram(f-gram) 집합 V\_f-gram 구성 (최대 길이 K=5 사용)  

- **이중 모델 아키텍처**:  

  - **f-gram 모델(A\_f-gram)**: 훈련 시에만 활성화되는 트랜스포머로, 최대 길이 K의 n-gram 토큰 임베딩 시퀀스를 입력받아 문맥화된 임베딩 벡터 출력  

  - **메인 모델(A\_main)**: 표준 트랜스포머로, SCONE이 생성한 토큰별 임베딩 시퀀스를 처리하여 다음 토큰 예측  

- **추론 최적화**: 훈련 후 모든 f-gram에 대한 임베딩을 사전 계산하고 해시 테이블 또는 LMDB(Lightning Memory-Mapped Database) 형태의 키-값 저장소(F)에 저장. 각 토큰 위치에서 가장 긴 매칭 f-gram을 조회하여 메인 모델 입력으로 사용  

#### 3. Main Results and Findings  

- **GPT-2 규모 실험**: 100M f-gram에 1.8B f-gram 모델 적용 시 WikiText-103에서 perplexity 22.1 달성 (1.1B 베이스라인 21.9) but with 50% fewer inference parameters  

- **대규모 사전훈련(OLMo 코퍼스)**: 1B f-gram + 1.8B f-gram 모델(500B 토큰 훈련)이 1.9B 베이스라인(1T 토큰 훈련)을 perplexity와 다운스트림 태스크에서 전반적으로 능가  

- **다운스트림 성능**: 1B f-gram 설정에서 OLMo-1B 모델이 OLMo-1.9B 베이스라인보다 평균 정확도 57.0 vs 56.8로 우수하며, 특히 ARC-E(72.5 vs 74.2)와 CSQA(50.8 vs 49.7)에서 개선  

- **추론 지연시간**: CPU 메모리 저장 시 배치 크기 16에서 토큰당 0.017ms로 무시해도 될 정도의 오버헤드; NVMe 저장 시에도 1.1-2.3ms로 상용 API 기준(~10ms/토큰) 대비 병목 현상 없음  

- **저장 공간 효율성**: 10M f-gram은 메모리 41.4GB, NVMe 77.3GB 필요; 1B f-gram은 NVMe 7.67TB 필요 but 단위 GB당 비용이 GPU 메모리보다 20배 저렴  

#### 4. Limitations and Open Questions  

- **대규모 모델 검증 부재**: 최대 약 3B 파라미터 모델까지만 평가되었으며, 10B+ 규모 모델에서의 효과와 일반화는 미검증 상태  

- **훈련 오버헤드**: f-gram 모델 훈련으로 인한 추가 계산 비용으로 인해 총 훈련 FLOPS가 증가하며, 모델 수렴 속도가 느려짐 (예: 1B 모델 훈련 시 약 2배 시간 소요)  

- **시맨틱 확장성 미확보**: 최대 n-gram 길이 K=5로 제한되어 있으며, 더 긴 문맥이나 시맨틱적으로 유사한 패턴에 대한 캐싱 효과는 분석되지 않음  

- **동적 적응 불가능**: 사전 계산된 정적 임베딩만 사용하므로, 실시간으로 새로운 패턴이나 도메인 변화에 적응할 수 없음  

#### 5. Professional TL;DR (Overall Summary)  

본 논문은 SCONE이라는 새로운 임베딩 확장 기법을 제안하여, 훈련 시 별도의 트랜스포머로 n-gram 임베딩을 학습하고 추론 시 이를 오프-액셀러레이터 메모리에 캐싱하여 조회함으로써, 추론 단계에서 GPU/TPU 사용량을 고정하면서도 모델 성능을 확장할 수 있는 혁신적인 방법을 제시한다. 실험 결과, 1B 파라미터 모델이 1.9B 베이스라인을 뛰어넘으면서도 추론 시 FLOPS와 GPU 메모리를 절반 가량 절감할 수 있음을 보였으며, 지연 시간에 민감한 대규모 배포 환경에서 상당한 운영 비용 절감 효과를 제공한다. 주요 한계로는 대규모 모델에 대한 검증 부족과 추가 훈련 복잡도가 있으나, 제시하는 스케일링 패러다임은 언어 모델 효율화 연구에 중요한 기여를 한다.

#### 6. Critical Evaluation  

- **문제 정의의 명확성**: 논문은 기존 어휘 확장의 근본적 한계(디코딩 비용 증가, 희소 업데이트로 인한 성능 저하)를 명확히 지적하고, 추론 시 고정된 액셀러레이터 사용량 하에서 임베딩을 확장해야 하는 실용적 동기를 충실히 설명한다. 섹션 D에서 어휘 크기가 512K를 초과할수록 성능이 저하되는 체계적 실험 데이터를 제공하여 문제의 심각성을 입증한다. → **9/10**  

- **독창성/의의**: 입력 임베딩과 출력 logits를 명확히 분리하고, 별도의 신경망으로 임베딩을 매개변수화한 후 추론 시 조회 테이블로 전환한다는 아이디어는 기존 연구와 명확히 차별화된다. 특히 훈련 시 f-gram 모델을 확장하면서도 추론 비용은 완전히 고정시킬 수 있다는 점은 새로운 스케일링 차원을 제시하는 중요한 기여이다. Huang et al. \[2025\]의 over-tokenized transformer와 유사점이 있으나, SCONE은 훈련 단계에서 신경망을 사용하여 희소 업데이트 문제를 근본적으로 해결하고 더 풍부한 표현을 학습한다는 점에서 진보된 접근법이다. → **8/10**  

- **결과의 타당성**: 다양한 모델 크기(128M~1.9B)와 데이터셋(WebText, WikiText-103, OLMo mixture 등 11개 코퍼스)에 걸쳐 체계적이고 광범위한 실험을 수행했으며, 주장하는 성능 개선과 효율성을 강력하게 뒷받침한다. 추론 지연시간 및 저장 공간 측정도 배치 크기, 저장소 유형별로 구체적으로 제공한다. 그러나 대규모 모델(10B+ 파라미터)에 대한 검증이 부족하고, 통계적 유의성 테스트는 생략되었으며, 일부 결과는 시드 간 변동이 관측된다. → **8/10**  

- **영향력/적용성**: 추론 비용이 훈련 비용을 압도하는 대규모 배포 환경(하루 수십억 회 쿼리)에서 직접적인 비용 절감 효과를 제공하며, 엣지 디바이스나 대규모 API 서비스와 같은 지연 시간 제약이 엄격한 시나리오에 즉각 적용 가능하다. 그러나 추가 저장 공간과 훈련 파이프라인 복잡도가 도입되어 즉각적인 산업계 채택에는 운영상 장애물이 존재한다. → **8/10**  

- **강점**:  

  - 추론 단계에서 액셀러레이터 사용량을 전혀 증가시키지 않으면서도 성능을 확장할 수 있는 실용적이고 원리적으로 새로운 접근법 제시  

  - 훈련-추론 간 리소스 트레이드오프를 명확히 하고, 오프라인 캐싱을 통한 지연 시간 문제를 효과적으로 해결하여 실제 배포 환경에서의 타당성을 입증  

- **약점**:  

  - 대규모 모델(10B 파라미터 이상)에 대한 검증 부재로 일반화 가능성에 대한 불확실성 존재  

  - f-gram 모델 훈련 및 저장소 관리로 인한 추가 시스템 복잡도와 운영 오버헤드가 상당하며, 동적 환경 적응이 불가능  

- **총점**: **33/40** (8.25/10 평균)

#### 7. Further Research and Recommendation  

이 연구는 추론 비용이 훈련 비용을 압도하는 실제 언어 모델 배포 시나리오의 핵심 문제를 우아하게 해결한다. 제시하는 SCONE 방법론은 이론적으로 sound하며, 중소 규모 모델에서의 실험적 검증도 충실하다. 그러나 대규모 모델에서의 확장성 검증, 동적 도메인 적응 메커니즘, 시맨틱 유사성 기반 키 설계 등 미해결 과제가 남아있어 추가 연구가 반드시 필요하다. 현재로서는 연구 커뮤니티에 새로운 스케일링 관점을 제공하는 학술적 가치가 매우 높고, 추론 효율화에 직면한 실무자들에게 실용적인 인사이트를 제공한다는 점에서 **적극 추천**할 만한 논문이다.