이제 AI가 AI의 성능까지 올린다고요?

Weight-Space Programming으로 본 AI의 가중치 직접 편집

이제 AI가 AI의 성능까지 올린다고요? 부제 Weight-Space Programming으로 본 AI의 가중치 직접 편집. 검붉은 바탕 오른쪽에 주황 곡선들이 물결치고, 왼쪽 위에 TECH - Model Editing 표시가, 오른쪽에 높이가 제각각인 회색 기둥들 가운데 주황 기둥 하나를 핀셋이 집는 표지.

AI 모델이 엉뚱하게 굴면 지금까지 고치는 방법은 대개 하나였습니다. 데이터를 모아 다시 학습시키는 것입니다. 파인튜닝도 결국 학습 알고리즘이 기울기를 계산해 수많은 가중치를 조금씩 바꾸는 일입니다.

11월 2일 MIT CSAIL 연구진이 블로그 글 (새 탭에서 열림)로 다른 길을 보여 줬습니다. OpenAI의 GPT-6 Astra에게 작은 언어 모델 Qwen3.5-0.8B의 가중치를 직접 고치게 했는데, 학습 루프는 쓰지 못하게 했습니다. Astra는 전체 가중치의 0.016%를 바꿨고, 수학 시험 MATH-500 정답률이 7.9%에서 48.1%로 올랐습니다.

말 그대로라면 이제 AI가 AI의 성능까지 올린다는 뜻입니다. 정말 그럴까요?

가중치를 직접 고친다는 건 무슨 뜻일까요?

신경망은 결국 숫자 덩어리입니다. 8억 개짜리 모델이라면 가중치라고 부르는 숫자 8억 개가 입력을 받아 계산하고 답을 냅니다. 이 숫자들은 학습이 정합니다. 데이터를 보여 주고, 틀린 만큼 기울기를 계산해 조금씩 고치기를 수없이 반복합니다. 그렇게 만들어진 숫자를 사람이 들여다보고 어디를 어떻게 바꾸면 어떻게 동작할지 말하기는 거의 불가능합니다.

연구진은 이 일을 범용 LLM에게 맡겨 봤습니다. 가중치를 글자로 보여 주거나 파이썬으로 열어 볼 수 있게 하고, 자연어로 목표를 줬습니다. 이 일에 맞게 따로 학습시킨 모델이 아니라 Astra를 그대로 썼습니다. 연구진은 이것을 Weight-Space Programming(가중치 공간 프로그래밍)이라고 부릅니다. 프롬프트와 코드를 다듬는 데 LLM을 써 온 흐름이 이제 가중치까지 왔다는 주장입니다.

실험은 세 갈래로 나뉩니다.

  • 읽기: 격자 게임을 배운 작은 네트워크 4개의 가중치를 보고, 각각 어떤 게임을 배웠는지 도구 없이 모두 맞혔습니다. 언어 모델의 가운데 층만 보고 무엇을 읽고 배웠는지 맞히고, 앞에 나온 글자를 찾아 베끼는 복사 헤드도 빠짐없이 찾았습니다.
  • 고치기: 학습을 마치고도 늘 경사로에서 멈추던 자동차 정책의 가중치 3.5%를 한 번에 고쳐, 1,024번 모두 목표에 닿게 했습니다.
  • 처음부터 쓰기: 0으로 채운 네트워크에 Breakout 정책을 한 번에 써서 517.4점을 냈습니다. 같은 구조로 5억 스텝 학습한 PPO는 25.3점이었습니다.

읽기, 고치기, 처음부터 쓰기 세 칸에 각각 게임 네 개 중 네 개 정답, 자동차 성공률 0%에서 100%, Breakout 517.4점과 그 한계를 나란히 정리한 그림.
그림 1. 범용 LLM이 학습 없이 가중치를 읽고, 고치고, 처음부터 썼습니다.

출처: Sparks of Weight-Space Programming (새 탭에서 열림)(MIT CSAIL, 2026)의 실험 결과를 다시 정리함

한계도 원문에 함께 적혀 있습니다. 아첨하도록 학습된 모델과 정직한 모델을 가중치만 보고 가려내는 시험에서는 네 번 모두 실패했고, 직접 쓴 문장 몇 개를 넣어 어텐션이 어디를 보는지 확인하게 한 뒤에야 맞혔습니다. 또 대부분이 수만에서 수십만 개 규모의 작은 네트워크였습니다. 실제 언어 모델에 가까운 사례는 하나뿐입니다.

수학 점수는 어떻게 6배가 올랐을까요?

그 하나가 Qwen 실험입니다. Astra는 가중치가 올라간 파이썬 환경(GPU 없음), GSM8K와 MATH의 연습 문제, 모델을 실제로 돌려 볼 수 있는 횟수(순전파 예산 10, 25, 50회)를 받았습니다. 기울기 계산과 학습은 금지였고, 평가는 Astra가 본 적 없는 시험 세트로 했습니다.

Astra가 찾은 문제는 수학 실력이 아니었습니다. 이 모델은 생각하는 도중 같은 말을 되풀이하다 토큰 한도에 걸리곤 했습니다. Qwen의 모델 카드 (새 탭에서 열림)도 이 문제를 경고합니다. 연습 문제 첫 96개 가운데 85개가 32,768토큰 한도까지 가서 답을 내지 못했습니다. Astra는 반복의 원인을 15번과 19번 층이 내보내는 값의 한 방향으로 좁혔고, 두 층에서 그 방향을 빼냈습니다. 바뀐 가중치는 131,072개입니다.

순전파 예산 원래 모델, 10회, 25회, 50회별로 MATH-500 정답률이 7.9, 12.3, 14.1, 48.1%이고 토큰 한도까지 간 답의 비율이 93.0, 87.2, 86.4, 33.1%인 막대그래프. 오른쪽에는 반복이 거의 없는 Gemma 3 270M은 6.8%에서 최대 7.7%에 그쳤다는 대조 결과가 있습니다.
그림 2. 점수가 크게 뛴 시점과 반복이 크게 줄어든 시점이 같습니다.

출처: Sparks of Weight-Space Programming (새 탭에서 열림)의 실험 8과 추가 실험

그림을 보면 점수가 뛴 시점과 반복이 줄어든 시점이 같습니다. 10회와 25회에서는 반복이 거의 줄지 않았고 점수도 조금 올랐을 뿐입니다. 50회에서 한도까지 간 답이 93%에서 33%로 줄자 정답률이 48.1%로 올라갔습니다. 반복은 수학만의 문제가 아니어서 지시를 따르는 능력을 재는 IFEval도 21.0%에서 62.3%로 올랐습니다.

점수가 오른 건 수학을 새로 배워서라기보다, 원래 풀 수 있던 문제를 끝까지 답하게 된 덕분에 가깝습니다.

대조 실험이 이를 뒷받침합니다. 반복이 거의 없는 Gemma 3 270M에서 Astra는 계산 실수나 잘못된 풀이 같은 평범한 오류만 찾았고, 꺼 버릴 부품을 찾지 못했습니다. 점수는 6.8%에서 많아야 7.7%로 거의 그대로였습니다. 연구진도 가중치 편집은 가로막는 것을 치울 수는 있어도 없는 능력을 더하지는 못한다고 정리합니다.

시간도 적지 않게 들었습니다. VentureBeat (새 탭에서 열림)에 따르면 가장 잘된 시도는 대화 158번, 파이썬 실행 80번에 20.3시간이 걸렸습니다. 서비스 장애로 기다린 4.7시간이 포함된 시간입니다.

결과를 확인할 길은 열려 있습니다. 연구진은 Astra와 주고받은 내용과 실행한 코드, 평가를 모두 공개 (새 탭에서 열림)했고 고친 모델 (새 탭에서 열림)도 올렸습니다. Hugging Face의 Ahsen Khaliq가 이 로그로 모델을 다시 만들어 MATH-500을 다시 평가했더니 51.0%가 나왔습니다.

파인튜닝과 무엇이 다를까요?

학습 없이 가중치를 고치는 연구가 처음은 아닙니다. 2022년의 ROME (새 탭에서 열림)은 특정 사실이 저장된 가중치를 찾아 고쳤고, Sakana AI의 Text-to-LoRA (새 탭에서 열림)는 과제 설명 한 줄로 어댑터 가중치를 바로 만들어 냅니다. 차이는 누가 가중치를 쓰느냐에 있습니다.

방법누가 가중치를 바꾸나필요한 것
파인튜닝학습 알고리즘(기울기)데이터, 학습 루프, GPU
ROME 같은 모델 편집사람이 설계한 전용 알고리즘바꿀 사실과 그것이 저장된 위치
Text-to-LoRA이 일을 하도록 학습한 생성 모델생성 모델을 학습시킬 과제 데이터
Weight-Space Programming범용 LLM이 이유를 따져 가며가중치를 열어 볼 환경, 연습 문제, 순전파 예산

표 1. 가중치를 바꾸는 방법별 비교입니다. 출처: 각 논문과 원문 블로그를 바탕으로 정리

새로운 점은 마지막 줄입니다. 사람이 방법을 설계하거나 생성 모델을 따로 학습시키지 않아도, 범용 모델이 상황을 보고 고칠 곳과 방법을 스스로 정했습니다.

다만 고친 방식 자체는 낯설지 않습니다. 원문도 Qwen 수정이 가중치에서 한 방향을 지워 특정 행동을 없앤 선행 연구 (새 탭에서 열림)와 비슷하다고 적었습니다. 그 연구는 채팅 모델의 거절 행동이 한 방향에 담겨 있고, 그 방향을 지우면 거절이 사라진다는 것을 보였습니다.

완전히 새로운 시도일까요?

반응은 엇갈립니다. 연구진의 Rikiya Takehi는 가중치를 학습 대신 읽고 고치는 코드처럼 다루게 될 수 있다고 봤습니다. Databricks의 Yuchen Jin은 믿을 만해진다면 모델을 유지보수하는 또 하나의 방법이 될 수 있다고 평가했습니다. 비판도 하루 만에 나왔습니다.

  • 이미 있는 기법이라는 지적: Sean Goedecke는 Qwen 수정을 스티어링(모델 안의 특정 방향을 더하거나 빼서 행동을 바꾸는 기법)의 적용으로 봤습니다. Matthew Honnibal은 자신의 글 (새 탭에서 열림)에서 도구 없이 가중치만 읽은 실험과 파이썬과 실행 결과를 쓴 실험을 하나의 주장으로 묶었다고 지적했습니다. 두 사람 모두 핵심 결과가 사람 ML 엔지니어가 쓸 법한 파이썬 분석에서 나왔다고 봤습니다(R&D World (새 탭에서 열림)).
  • 비교 대상이 없습니다. 파인튜닝이나 ROME 같은 편집 기법, 생성 설정을 바꾸는 단순한 해결과 비교하지 않았습니다.
  • 비용은 아직 모릅니다. 학습보다 싸거나 빠르다는 근거는 나오지 않았습니다.
  • 초기 결과입니다. 심사를 거친 논문이 아니라 블로그 글이고, 가중치를 고친 모델도 Astra 하나뿐입니다.

독립적인 시도도 나오고 있습니다. Simon Willison은 노트북에서 Qwen 3.8 27B로 (새 탭에서 열림) 게임을 맞히는 첫 번째 실험을 도구 없이 해 봤고, 4개 중 3개를 맞혔습니다. 다만 한 개에 46분에서 1시간 넘게 걸렸고, 사람도 시간을 들이면 같은 결론에 닿을 수 있을 것이라고 적었습니다.

이 논쟁에 답하려는 벤치마크도 나왔습니다. 11월 3일 공개된 WSPBench (새 탭에서 열림)는 원문 연구진과 관계없는 개발자가 만든 시험으로, Honnibal이 짚은 구분을 설계에 반영했다고 밝힙니다. 묻는 것은 하나입니다. 같은 횟수만큼 모델을 돌려 볼 수 있을 때, 가중치까지 보여 주면 고장을 더 잘 고칠까요?

방식은 이렇습니다. 일부러 고장을 낸 작은 네트워크 32개와 멀쩡한 네트워크 8개를 섞어 두고, 에이전트에게 고칠 방법을 하나 고르게 합니다. 고르기 전에 각 수정이 어떤 결과를 낼지 먼저 예측해야 하고, 시험해 볼 수 있는 입력은 수정 전후를 합쳐 여섯 개뿐입니다. 숨겨 둔 입력에서 고장 난 동작을 95% 이상 바로잡고 원래 맞히던 동작은 2%p 넘게 망가뜨리지 않아야 성공이며, 멀쩡한 네트워크는 손대지 않아야 맞습니다. 같은 모델에 같은 문제를 두 번 풀게 하되, 한 번은 입출력만, 한 번은 가중치까지 보여 줬습니다.

GPT-6 Astra, GPT-6.1 Sol, GPT-6.1 Terra, GPT-6 Luna가 고장 낸 네트워크 32개를 입출력만 보고 고친 수와 가중치까지 보고 고친 수를 비교한 막대그래프. Astra는 17개에서 32개, Sol은 14개에서 30개, Terra는 14개에서 29개, Luna는 8개에서 20개로 늘었고 규칙 스크립트는 5개입니다. Luna는 가중치를 본 쪽에서 멀쩡한 네트워크 8개를 모두 건드렸습니다.
그림 3. 같은 시험 횟수에서 가중치를 함께 본 쪽이 고장을 더 많이 고쳤습니다.

출처: WSPBench (새 탭에서 열림)의 selective repair 모델 비교 보고서

결과는 가중치를 본 쪽이 분명히 앞섰습니다. GPT-6 Astra는 입출력만 볼 때 32개 중 17개를 고쳤고, 가중치를 함께 보자 32개를 모두 고쳤습니다. 다른 GPT 모델 세 개도 고친 수가 37.5~50%p 늘었고, 미리 정한 규칙대로 시험하는 스크립트는 5개에 그쳤습니다. 적어도 작은 네트워크에서는 가중치를 읽는 일이 고장 수리에 실제로 도움이 된다는 신호입니다.

눈여겨볼 대목도 있습니다. 가장 저렴한 GPT-6 Luna는 가중치를 보고 고장 20개를 고쳤지만, 멀쩡한 네트워크 8개도 모두 건드렸습니다. 고칠 필요가 없는 곳까지 고친 셈입니다. 비용 차이도 큽니다. 가중치를 본 쪽에서 Astra는 42달러 넘게 썼고, 30개를 고친 GPT-6.1 Sol은 6달러 남짓을 썼습니다.

한계도 분명합니다. 시험 대상은 일부러 만든 작은 네트워크이고 학습된 언어 모델이 아닙니다. 벤치마크 문서도 이 결과가 언어 모델의 수학 실력 향상이나 반복의 원인을 스스로 찾아내는 능력을 증명하지 않는다고 적었습니다. 시험한 모델은 OpenAI 모델뿐이고, 만든 사람의 소속도 밝혀지지 않은 베타 버전입니다.

정리하면 AI가 다른 AI의 성능을 올린 것은 맞고, 작은 네트워크에서는 가중치를 읽는 것이 실제로 도움이 된다는 측정도 나왔습니다. 하지만 지금까지 보여 준 것은 새 능력을 더하는 일이 아니라, 능력을 가로막던 고장을 찾아 숫자 몇 개로 고치는 일입니다. 그것만으로도 작은 일은 아닙니다. 8억 개 숫자 속에서 고장의 원인을 찾는 일은 숙련된 연구자에게도 오래 걸리는 일이기 때문입니다.

무엇을 챙겨야 할까요?

이 방식은 가중치를 가진 쪽만 쓸 수 있습니다. 오픈 모델을 직접 운영하는 팀이라면 시험해 볼 수 있지만, API로 모델을 쓰는 경우에는 제공사의 몫입니다.

쓴다면 먼저 진단 도구로 보는 편이 맞습니다. 같은 말 반복이나 출력 형식이 깨지는 문제처럼, 다시 일으킬 수 있고 잴 수 있는 고장이 첫 대상입니다. 새 능력을 넣어 달라는 요청에는 아직 근거가 없습니다.

그리고 가중치 패치도 새 모델 버전으로 다뤄야 합니다. 0.016%만 바꿔도 점수가 여섯 배 달라졌습니다. 거꾸로 말하면 아주 작은 수정이 의도하지 않은 곳까지 바꿀 수 있다는 뜻입니다.

고장 찾기, 고치기, 넓게 평가, 버전 등록, 배포와 되돌리기 다섯 단계 가운데 앞의 두 단계는 이번 연구가 보여 준 부분이고 뒤의 세 단계는 운영에서 따로 챙겨야 할 부분임을 나타낸 그림. 아래에는 몇 개만 바꿨다고 안전한 것은 아니라는 경고가 있습니다.
그림 4. 고치는 일보다 확인하고 되돌리는 일이 더 깁니다.

고친 과제의 점수만 볼 것이 아니라 다른 과제의 점수도 함께 재고, 생성 설정 조정 같은 단순한 해결로도 같은 효과가 나는지 비교해야 합니다. WSPBench가 멀쩡한 네트워크를 섞어 둔 것도 같은 이유입니다. 고칠 필요가 없을 때 손대지 않는 것도 실력입니다. 원본과 수정본을 모두 남겨 두고, 문제가 생기면 바로 원본으로 돌아갈 수 있어야 합니다.

모델 공급망도 다시 봐야 합니다. 앞에서 본 거절 행동 연구처럼 가중치 몇 개만 바꿔도 안전을 위한 행동이 사라질 수 있습니다. 겉으로는 같은 모델이어도 동작은 다를 수 있다는 뜻입니다. 내려받은 모델이 공식 배포본과 같은지 해시로 확인하고, 누가 어떤 수정을 했는지 기록해 두는 일이 더 중요해집니다. 거꾸로 가중치를 읽는 능력이 더 좋아지면, 연구진의 기대처럼 모델을 돌려 보지 않고도 숨은 문제를 찾아내는 감사 도구가 될 수도 있습니다.

글쓴이정우성AI Platform Team · 연구원
산업 AI 도입·전환

우리 산업 현장에도 AI를 적용할 수 있을까요?

어디서 시작할지 고민이라면, 포인랩과 산업 AI 전환의 첫걸음을 함께 찾아보세요.