---
title: "[논문 AI 리뷰] Hierarchical Reasoning Model"
description: "HRM은 인간 뇌의 계층적·다시간척 처리를 모방한 재귀 아키텍처로, 고수준 계획 모듈과 저수준 실행 모듈을 결합해 조기 수렴을 방지하고 유효 계산 깊이를 극대화하며, BPTT 없이 1단계 기울기 근사와 Q‑러닝 기반 ACT로 메모리와 연산을 효율화한다. 27 M 파라미터와 1 000개 샘플만으로 ARC‑AGI(40.3 %), Sudoku(74.5 %), Maze(74.5 %)에서 기존 대형 모델을 크게 능가해 소규모 데이터와 연산 자원으로도 강력한 심층 추론이 가능함을 보여준다. 그러나 자연어와 같은 개방형 작업에 대한 일반화와 모델 규모 확장성, 내부 메커니즘에 대한 인과 검증은 아직 미비하다."
date: "2025-11-14T19:46:00.000+09:00"
last_modified: "2026-08-19T05:30:00.000Z"
type: "Paper"
tags:
  - "paper"
  - "deep learning"
categories:
  - "AI논문리뷰"
series:
  - "AI 논문 리뷰"
canonical_url: "https://blog.pieroot.xyz/hierarchical-reasoning-model"
markdown_url: "https://blog.pieroot.xyz/hierarchical-reasoning-model.md"
---

# \[논문 AI 리뷰\] Hierarchical Reasoning Model

HRM은 인간 뇌의 계층적·다시간척 처리를 모방한 재귀 아키텍처로, 고수준 계획 모듈과 저수준 실행 모듈을 결합해 조기 수렴을 방지하고 유효 계산 깊이를 극대화하며, BPTT 없이 1단계 기울기 근사와 Q‑러닝 기반 ACT로 메모리와 연산을 효율화한다. 27 M 파라미터와 1 000개 샘플만으로 ARC‑AGI(40.3 %), Sudoku(74.5 %), Maze(74.5 %)에서 기존 대형 모델을 크게 능가해 소규모 데이터와 연산 자원으로도 강력한 심층 추론이 가능함을 보여준다. 그러나 자연어와 같은 개방형 작업에 대한 일반화와 모델 규모 확장성, 내부 메커니즘에 대한 인과 검증은 아직 미비하다.

**한문장 요약**  

인간 뇌의 계층적·다시간척 처리에서 영감을 받은 HRM은 27M 파라미터와 1000개 샘플만으로 CoT 없이 ARC-AGI(40.3%), Sudoku(74.5%), Maze(74.5%)에서 SOTA 대형 모델을 크게 능가하므로, 효율적 심층 추론 연구자들에게 필독 가치가 있습니다.

---

#### 1. Main Contributions

- **계층적·다시간척 재귀 아키텍처**: 느린 추상적 계획(고수준 모듈)과 빠른 세부 연산(저수준 모듈)을 결합해 유효 계산 깊이를 극대화하고 조기 수렴 방지

- **계층적 수렴(Hierarchical Convergence)**: 저수준 모듈은 주기 내 수렴, 고수준 모듈은 주기마다 업데이트하며 $N \times T$ 단계의 유효 깊이 달성

- **1단계 기울기 근사**: BPTT(Backpropagation Through Time) 없이 $O(1)$ 메모리로 학습하며, 생물학적 신용 배정(credit assignment)과 유사한 효율적 학습 규칙 제공

- **적응적 계산 시간(ACT)**: Q-러닝 기반 중단 메커니즘으로 작업 복잡도에 따라 동적으로 계산 리소스 할당

- **소규모 데이터 효율성**: 사전학습/CoT 없이 1000개 샘플만으로 복잡한 추론 작업에서 SOTA 모델 대비 압도적 성능

#### 2. Key Methods and Approach

HRM은 입력 네트워크($f_I$), 저수준 재귀 모듈($f_L$), 고수준 재귀 모듈($f_H$), 출력 네트워크($f_O$)로 구성. 전체 과정은 $N$개 고수준 주기와 각 주기당 $T$개 저수준 타임스텝으로 전개됨. L-모듈은 매 타임스텝마다 자신의 이전 상태, H-모듈의 현재 상태, 입력 표현을 조건으로 상태를 업데이트하며, H-모듈은 주기가 끝날 때만 L-모듈의 최종 상태를 사용해 업데이트됨. 이 계층적 수렴은 표준 RNN의 조기 수렴 문제를 해결하고 유효 깊이를 $N \times T$로 확장함. 학습은 1단계 기울기 근사(마지막 상태 기울기만 사용)와 심층 감독(세그먼트마다 상태 분리)을 통해 안정성과 효율성을 동시에 확보함. ACT는 Q-러닝으로 중단 여부를 결정하여 불필요한 계산을 줄임.

```python
def hrm(z, x, N=2, T=2):
    x = input_embedding(x)
    zH, zL = z
    with torch.no_grad():
        for _i in range(N * T - 1):
            zL = L_net(zL, zH, x)
            if (_i + 1) % T == 0:
                zH = H_net(zH, zL)
    # 1-step grad
    zL = L_net(zL, zH, x)
    zH = H_net(zH, zL)
    return (zH, zL), output_head(zH)
```

#### 3. Main Results and Findings

- **ARC-AGI-1**: 40.3% (o3-mini-high 34.5%, Claude 3.7 21.2%, Deepseek R1 15.8% 대비 최고)

- **ARC-AGI-2**: 55.0% (기존 모델 대비 압도적 우위)

- **Sudoku-Extreme**: 74.5% (CoT 모델 전부 0%, Direct pred 0%)

- **Maze-Hard**: 74.5% (CoT 모델 전부 0%, Direct pred 0%)

- **학습 샘플**: 작업당 약 1000개, 사전학습/CoT 데이터 없음

- **파라미터**: 27M (기준 모델들의 수백억 파라미터 대비 극소형)

- **계산 효율**: ACT로 평균 계산 단위를 최대 제한의 50% 이하로 유지하면서 성능 보존

#### 4. Limitations and Open Questions

- **제한된 작업 범위**: Sudoku, Maze, ARC-AGI 같은 구조화된 심볼릭 작업에 대해서만 평가되었으며, 자연어 추론이나 개방형 작업에서의 성능은 미검증

- **확장성 검증 부족**: 27M 파라미터 규모에서만 실험되었고, 모델 크기나 데이터 규모를 크게 확장했을 때의 성능 변화 및 효율성은 불명확

- **인터프리터빌리티**: 내부 추론 알고리즘의 정확한 메커니즘과 H-모듈의 차원 계층이 성능에 필수적인지에 대한 인과관계 검증 미제공

- **학습 안정성**: Q-러닝 기반 ACT가 replay buffer나 target network 없이 안정화되는 메커니즘에 대한 이론적 보장 부족

#### 5. Professional TL;DR (Overall Summary)

HRM은 인간 뇌의 계층적 처리를 모방한 신규 재귀 아키텍처로, 고수준 계획 모듈과 저수준 실행 모듈의 시간척 분리를 통해 조기 수렴을 방지하고 유효 계산 깊이를 극대화한다. BPTT 없는 1단계 기울기 근사와 ACT를 통해 훈련 안정성과 추론 효율성을 동시에 달성했으며, 27M 파라미터와 1000개 샘플만으로 CoT 없이 ARC-AGI(40.3%), Sudoku(74.5%), Maze(74.5%)에서 SOTA 대형 모델을 크게 능가한다. 뇌皮层와 유사한 차원 계층 구조를 자발적으로 학습하는 등 생물학적 타당성을 보이나, 자연어 작업 확장성과 내부 메커니즘에 대한 인과적 검증은 미해결 과제로 남는다.

#### 6. Critical Evaluation

- **문제 정의의 명확성**: 추론 작업에서 CoT의 한계와 Transformer의 고정 깊이 제약을 명확히 지적하고, 뇌의 계층적 처리를 모델링하여 이를 극복하겠다는 목표를 구체적으로 제시 → **9/10**

- **독창성/의의**: 기존 재귀 신경망의 조기 수렴 문제를 계층적 수렴으로 해결하고, BPTT 대신 1단계 기울기 근사를 제안하며, 소규모 데이터로도 복잡한 추론이 가능하다는 점에서 기존 연구와 차별화 → **9/10**

- **결과의 타당성**: ARC-AGI, Sudoku, Maze 세 벤치마크에서 강력한 정량적 성능 개선을 보이고, ablation study와 시각화로 메커니즘을 부분적으로 검증했으나, 자연어 작업 확장성과 인과적 검증은 부족 → **8/10**

- **영향력/적용성**: CoT 없는 효율적 추론, 소규모 데이터 학습, 생물학적 신용 배정 메커니즘 등 AI 추론 패러다임 전환 가능성을 제시하나, 아직 구조화된 작업에 국한되어 실제 AGI로의 영향력은 검증 단계 → **8/10**

**강점**:

- 뇌의 계층적·다시간척 처리를 성공적으로 인공신경망에 구현하여 추론 깊이와 효율성을 동시에 개선

- 1단계 기울기 근사로 BPTT의 메모리 문제를 해결하고 생물학적 신용 배정과 유사한 학습 규칙 구현

**약점**:

- 자연어 같은 개방형 작업이 아닌 구조화된 심볼릭 작업에만 평가되어 일반화 능력 불명확

- 대규모 모델로의 확장성과 인과적 메커니즘 검증에 대한 직접적인 실험 부족

**총 점수**: **8.5/10**

#### 7. Further Research and Recommendation

**추가 연구 필요성**: HRM의 원리를 자연어 처리, 멀티모달 추론 등 더 넓은 작업 범위로 확장하고, 모델 규모를 증가시켰을 때의 스케일링 법칙과 효율성을 검증할 필요가 있다. 또한 차원 계층 구조와 성능 간 인과관계를 직접적으로 검증하는 개입 연구가 요구된다. → **추가 연구가 강력히 권장됨**

**추천 여부**: 제한된 리소스로도 복잡한 추론을 가능하게 하는 혁신적 아키텍처를 제시하고, 뇌 과학적 통찰을 실제 AI 모델에 성공적으로 적용했다는 점에서 추론 모델 연구자들에게 반드시 읽을 것을 권장함. 특히 CoT의 한계를 극복하고 싶은 연구자나 신경과학 기반 AI 설계에 관심 있는 독자에게 필수적 → **강력히 추천**