table of contents
- 기계론적 해석가능성 (Mechanistic Interpretability)
- 1. 핵심 개념 및 계층적 분석 구조
- 2. 최신 트렌드
- 3. 주요 응용 및 목적
- 4. 한계점 및 향후 과제
- 참고문헌
기계론적 해석가능성 (Mechanistic Interpretability)
요즘 AI 기술 중에 핫한 거 뭐가 있나 Gemini한테 물어봤더니 알려줬다
- AI의 기계론적 해석 가능성이 뭔데: 심층 신경망의 내부 작동 논리를 역공학(Reverse-engineering)하여 모델의 판단 근거가 되는 알고리즘과 인과 구조를 밝히는 연구 분야
- 설명 가능한 AI와의 차이: 단순히 입출력 관계를 통계적으로 설명하는 기존의 사후 해석(Post hoc explanation)을 넘어 개별 뉴런과 그 연결망인 회로가 정보를 처리하는 물리적 경로를 추적함.
1. 핵심 개념 및 계층적 분석 구조
기계론적 해석가능성은 분석 대상을 세 가지 추상화 계층으로 조직한다.
- 특징(Features): 신경망 내에서 의미를 갖는 최소 단위로 활성화 공간 내의 특정 방향으로 표현됨.
- 회로(Circuits): 특징들이 가중치를 통해 연결되어 특정 기능을 수행하는 하위 그래프. 예를 들면 다음 토큰을 예측하기 위해 앞선 문맥을 복사하는 유도 헤드(Induction head)가 대표적.
- 알고리즘(Algorithms): 회로들의 조합을 통해 구현되는 전체적인 논리 구조.
2. 최신 트렌드
A. 희소 오토인코더(SAE)를 통한 개념 추출 (Anthropic 사례)
- 다의성(Polysemanticity): 하나의 뉴런이 여러 개념에 반응하고 관여함 → 인간의 유전자를 마음대로 조작하지 못하는 것과 같은 문제를 유발함. 특정 기능을 고치기 위해 여러 뉴런을 건드려야 하는데, 이걸 건드리면 다른 기능도 같이 변경됨.
- 희소 오토인코더 SAE: 딕셔너리 학습 기법 중 하나
- 딕셔너리 학습 기법: 데이터의 특징적인 패턴을 기본 단위로 삼아, 이들을 조합함으로써 데이터를 재구성하도록 학습시키는 것. 원천 데이터에서 특징 패턴을 추출하고 학습하는 단계와 학습한 내용을 기반으로 새로운 데이터를 분해하는 단계로 구성됨. 이 ‘데이터의 특징적인 패턴’을 사전이라고 부름. 패턴을 조합할 때에는 최소한의 조합만 이용하도록 함.
- Anthropic이 한 것: SAE를 활용하여 Claude 3 Sonnet과 같은 대규모 상용 모델에서 수백만 개의 해석 가능한 특징을 추출함
- 의의
- 다양성 및 추상화: 추출된 특징은 도시(샌프란시스코), 인물 등 구체적 실체뿐만 아니라 기만, 보안 유지와 같은 추상적 개념까지 포함하며, 이미지와 텍스트 모두에 반응하는 다중 모드(Multimodal) 특성을 보임.
- 인과적 제어: 특정 특징(예: 금문교)을 인위적으로 활성화하거나 억제함으로써 모델의 답변 내용을 직접적으로 조종할 수 있음을 입증하여, 이들 특징이 단순 상관관계가 아닌 모델의 세계관을 구성하는 실질적 메커니즘임을 확인함.
B. 해석 가능한 모델 설계: 희소 모델 학습 (OpenAI 사례)
- 해석 가능한 설계(Explainable-by-Design): 만들고 나서 분석하면 복잡하니까 처음 만들 때부터 해석할 수 있게 만들자 → 요즘 유행함
- OpenAI가 한 것: 가중치의 대부분을 0으로 강제하는 희소 모델(Sparse Models) 학습 방식을 제안.
- 의의
- 회로 분리: 모델의 가중치를 희소하게 유지함으로써 뉴런 간의 얽힘을 줄이고, 특정 작업(예: Python 코드 내 변수 바인딩)을 수행하는 작고 독립적인 회로를 더 쉽게 식별할 수 있음.
- 성능과 해석의 균형: 모델 크기를 확장함에 따라 성능 손실을 최소화하면서도 고도로 해석 가능한 구조를 유지할 수 있는 실질적인 경로를 탐색하고 있음.
3. 주요 응용 및 목적
- 정렬 및 안전성(Alignment & Safety): 모델 내부의 편향, 기만적 의도, 유해한 기능(예: 생물학 무기 제조 지식)을 담당하는 특징을 사전에 감별하고 차단할 수 있음.
- 모델 편집(Model Editing): 특정 사실 관계나 논리를 담당하는 내부 가중치를 직접 수정하여 모델의 행동을 교정함.
- 과학적 발견: 신경망이 학습을 통해 스스로 발견한 알고리즘(예: 모듈러 덧셈을 위한 푸리에 변환)을 분석하여 새로운 과학적 통찰을 얻음.
4. 한계점 및 향후 과제
- 확장성(Scalability): 수조 개의 파라미터를 가진 프런티어 모델(예: GPT-4)에 대한 전수 조사는 현재의 계산 비용으로 불가능에 가까움.
- 표준 벤치마크 부재: 모델 내부 메커니즘의 정답을 알 수 없기 때문에 해석의 정확도를 평가할 표준화된 지표가 부족함.
- 자동화의 필요성: 회로 발견 및 라벨링 과정을 자동화하여 인간의 주관적 개입과 노력을 좀 줄여야 함.
참고문헌
[1] Somvanshi S. Islam M. M. Rafe A. Tusti A. G. Chakraborty A. Baitullah A. … & Das S. (2026). Bridging the Black Box: A Survey on Mechanistic Interpretability in AI. ACM Computing Surveys 58(8) Article 210. https://doi.org/10.1145/3787104
[2] OpenAI. (2025 November 13). Understanding Neural Networks through Sparse Circuits. https://openai.com/ko-KR/index/understanding-neural-networks-through-sparse-circuits/
[3] Anthropic. (2024 May 21). Mapping the Mind of a Large Language Model. https://www.anthropic.com/news/mapping-mind-language-model