연구진, LLM ‘점 토큰’ 속 계산 80~95% 복원

연구자 원문 논문에 따르면 하버드대와 케임브리지 보스턴 얼라인먼트 이니셔티브, MIT, Anthropic 소속 연구진은 대규모언어모델이 의미 없는 ‘필러 토큰’을 활용해 수행한 중간 계산을 내부 상태에서 판독하는 방법을 제시했다. 논문은 서울에서 열리는 ICML 2026 기계론적 해석가능성 워크숍에 채택됐다.

필러 토큰은 질문과 답변 사이에 넣은 점이나 숫자·알파벳 나열처럼 사람에게 별다른 의미가 없는 기호다. 연구진은 DeepSeek V3와 Kimi K2에 이런 토큰을 제공한 뒤 사실 검색과 덧셈, 두 단계 문자열 추론, 연립방정식 등 네 종류의 과제를 수행하게 했다. 모델은 사고과정을 문장으로 쓰지 않았지만 필러 토큰이 있을 때 여러 과제에서 정답률이 높아졌다.

효과는 과제에 따라 달랐다. 연립방정식 과제에서 DeepSeek V3의 정확도는 31.1%에서 61.0%로, Kimi K2는 18.4%에서 36.4%로 상승했다. 한 개의 사실을 찾은 뒤 덧셈하는 과제에서는 DeepSeek V3가 54%에서 약 72%로 높아졌다. 점과 순차적인 숫자·알파벳은 대체로 비슷한 효과를 냈지만 순서를 뒤섞은 나열은 상대적으로 성능이 낮았다. 연구진은 특정 기호의 뜻보다는 모델의 계산을 방해하지 않는 추가 토큰 구간 자체가 중요하다고 해석했다.

연구진은 주의집중 분석과 로그잇 렌즈, KV 캐시 이식 실험을 함께 사용했다. 주의집중 경로는 질문에서 필러 구간을 거쳐 답으로 이어졌고, 내부 잔차 스트림에서는 검색한 사실과 덧셈 결과가 단계별로 나타났다. 한 예시의 필러 구간 KV 캐시를 다른 예시에 옮기자 답변도 제공자 예시 쪽으로 바뀌어, 해당 구간의 정보가 결과에 인과적으로 기여한다는 근거를 얻었다.

이어 정답 라벨이나 별도 학습 없이 숨은 상태만 읽는 비지도 디코딩 파이프라인을 구성했다. 각 층과 필러 위치에서 후보 토큰을 추출하고 예시 전체의 평균 신호를 제거한 뒤 상위 후보를 LLM 판정기에 넘기는 방식이다. 가장 성능이 높은 판정기를 사용했을 때 두 모델과 네 과제에서 중간값 복원 정확도는 80~95%였다. 이는 겉으로 드러난 사고과정만 감시할 때 놓칠 수 있는 계산도 모델의 전체 연산 흔적에서는 일부 읽어낼 수 있다는 가능성을 보여준다.

다만 이번 결과를 일반적인 AI 내부 감시 기술로 확대 해석하기는 이르다. 실험은 숫자나 도시·원소 이름처럼 구분 가능한 중간값이 있는 과제를 대상으로 했고, 전략이나 목표·기만 의도처럼 하나의 토큰으로 표현하기 어려운 개념은 검증하지 않았다. 내부 분석에는 4비트 양자화 체크포인트를 사용해 양자화가 잔차 스트림 구조에 미친 영향도 완전히 배제할 수 없다.

적용 대상도 가중치와 숨은 상태에 접근할 수 있는 공개 모델로 제한된다. 연구진은 Claude와 Gemini, GPT 계열에서도 필러 토큰에 따른 성능 향상이 보고됐지만 내부 상태에 접근할 수 없어 같은 방식으로 직접 확인하지 못했다고 밝혔다. 이번 연구는 사람이 읽을 수 있는 사고과정과 실제 모델 계산을 구분해 감시해야 한다는 해석가능성 연구의 과제를 구체화했다는 데 의미가 있다.

출처: arXiv 논문 https://arxiv.org/abs/2607.03502
출처: 연구 코드 저장소 https://github.com/kaleybrauer/filler-token-reasoning