AI 에이전트, 모델을 키우지 않고 성능을 높였다고요?

같은 모델의 성능이 41.8%에서 56.4%로 높아졌어요. Agent Lightning v1.0의 원문 그림과 함께 하네스, 학습 기록, 평가 기준을 읽어 봅니다.

AI 에이전트, 크기보다 중요한 것 — Agent Lightning을 소개하는 포인랩 표지

Agent Lightning v1.0의 그림으로 살펴보는 학습과 실무 사이

41.8%에서 56.4%로. Microsoft와 대학 공동 연구진이 공개한 코딩 에이전트의 벤치마크 결과예요. 개선 폭은 14.6%포인트입니다.

더 큰 모델로 바꾼 결과일까요? 같은 Qwen3.5-9B 모델에 강화학습을 추가한 실험이에요. 약 6,000개의 학습 예제를 썼고, 모델을 훈련하는 연산도 필요했어요. 프롬프트 몇 줄만 바꿔 얻은 결과로 받아들이면 곤란합니다.

숫자만큼 흥미로운 건 학습 방식이에요. 에이전트가 실제로 일할 때 사용하는 실행 구조를 학습에도 참여시켰거든요. 모델을 바꾸기 전에 ‘어떤 환경에서 배우고 있는가’를 살펴본 셈이에요.

이번 글에서는 논문 원문을 직접 보며 실행 구조, 학습 기록의 계산, 실험 결과를 순서대로 읽어 볼게요.

분명 데모에서는 잘 됐는데..

이런 상황을 상상해 볼게요.

품질 담당자가 AI에게 지난주 불량 증가 원인을 정리해 달라고 해요. 시연에서는 준비된 생산 기록 데이터를 읽고, 검사 결과를 비교하고, 보고서까지 금방 만들었어요.

실제 시스템에 연결하자 변수가 생깁니다. 생산 이력 조회부터 실패하고, 설비마다 데이터 항목 이름이 달라요. 검사 기록이 너무 길어 중간에 요약해야 하는데, 그 과정에서 특정 공정의 예외 조건이 빠졌어요.

AI는 그 사실을 모른 채 분석을 이어갑니다.

가상이지만 위 사례에서 모델의 지식만 점검해서는 원인을 찾기 어려워요. 모델이 어떤 정보를 전달받았고, 어떤 도구를 호출했으며, 실패한 뒤 무엇을 했는지 함께 봐야 하죠.

에이전트 하네스(agent harness)는 이런 실행 과정을 맡는 구조예요. 도구를 연결하고, 문맥을 구성하고, 작업의 흐름을 관리합니다. 모델이 ‘무엇을 할지’ 판단하더라도, 그 판단이 실제 작업으로 이어지려면 하네스가 필요해요.

신입 직원에게 일을 가르치는 상황에 빗대 볼까요? 인수인계하고 온보딩할 때는 잘 정리된 자료와 정상 작동하는 프로그램을 줬는데, 실무에서는 다른 화면과 복잡한 승인 절차를 쓰게 하는 거예요. 업무 지식이 있어도 배운 대로 일하기 어려울 수 있겠죠.

에이전트도 학습할 때와 운영할 때 정보가 전달되는 방식이 다르면 판단의 조건이 달라질 수 있어요. 이 연구는 운영에 사용하는 하네스를 학습에 연결하는 방식을 구체적으로 다룹니다.

하네스(Harness)의 역할

전통적 agentic RL과 하네스가 도구·문맥·실행 흐름을 관리하는 harnessed agentic RL의 구조 비교
원문 Figure 2 · 하네스가 맡는 실행 구조

원문 Figure 2 | 전통적인 agentic RL과 harnessed agentic RL의 비교.
출처: He et al., Agent Lightning v1.0, arXiv:2608.17528v1 원문 위치 (새 탭에서 열림)

논문의 Figure 2를 읽을 때는 상자의 개수보다 하네스의 위치를 보세요.

전통적인 학습 구조에서는 학습 쪽이 환경과 상호작용하는 흐름을 관리해요. Harnessed Agentic RL에서는 하네스가 도구 사용과 문맥 구성을 맡고, 학습 쪽은 그 결과인 모델 호출을 관찰합니다.

여기서 LLM 프록시는 모델 요청을 중계하는 통로라고 생각하면 편해요.

기존 에이전트가 모델을 부르는 연결 지점에 프록시를 두고, 학습에 필요한 요청과 응답을 수집하는 거죠. 프록시 자체가 업무를 판단하거나 모델을 대신 학습하는 것은 아닙니다.

하네스를 학습 프레임워크 안에 다시 만드는 수고를 줄일 수 있다는 점이 이 접근의 매력이에요.

운영용 문맥 관리 방식과 도구 호출 규칙을 따로 구현하다 생기는 차이도 줄일 여지가 있고요.

다만 실제 데이터와 과제까지 자동으로 같아지는 건 아니에요.

같은 실행 구조를 사용해도 현장에만 존재하는 데이터 누락이나 예외 상황은 따로 평가해야 합니다.

프록시를 통한 연결은 이전 Agent Lightning에도 있던 접근이에요. v1.0의 의미는 연결 자체를 처음 만들었다는 데 있지 않아요.

실제 하네스와 함께 학습하면 나타나는 데이터 구성과 학습 계산 문제를 정리하고, 이를 실험할 수 있는 프레임워크를 제시했다는 점에 있어요.

하네스의 도구·문맥 관리, 프록시의 모델 호출 기록, 학습기의 모델 업데이트를 구분한 개념도
실행과 학습의 연결

그림 A. Agent Lightning v1.0의 Figure 1·2와 시스템 설명을 바탕으로 새로 구성한 개념도.

하네스가 도구와 문맥을 관리하고, 프록시가 모델 호출을 기록하며, 학습기는 기록을 이용해 모델을 업데이트해요. 실제 운영 설비에 학습용 접근 권한을 부여한다는 뜻은 아니에요.

두 번의 실행에서 네 개의 학습 샘플이 생기는 이유

에이전트의 한 차례 작업 수행을 rollout이라고 해요. 한 번의 업무가 항상 하나의 학습 샘플이 되는 것은 아닙니다. 문맥을 요약하거나 하위 작업을 나누는 과정에서 기록이 여러 학습 샘플로 갈라질 수 있어요.

논문의 Figure 4에는 이 문제가 왜 중요한지 보여 주는 작은 예가 나와요. 같은 요청을 두 번 시도했다고 해 볼게요. 첫 번째 시도는 성공해서 보상 1을, 두 번째는 실패해서 보상 0을 받았어요. 첫 시도에서 학습 샘플이 세 개, 둘째에서 한 개 생겼다면 어떻게 계산해야 할까요?

성공과 실패 rollout 두 번에서 학습 샘플이 각각 세 개와 한 개로 나뉘는 원문 예시
원문 Figure 4 · 실행 횟수와 샘플 수의 차이

원문 Figure 4 | 하나의 rollout에서 여러 학습 샘플이 만들어지는 예시. 출처: He et al., arXiv:2608.17528v1 원문 위치 (새 탭에서 열림)

그림 왼쪽에서는 실행마다 학습 샘플이 하나씩 생겨요. 오른쪽에서는 성공한 첫 실행이 세 개의 샘플로 나뉘고, 각 샘플이 보상 1을 이어받습니다. 실패한 둘째 실행의 샘플은 한 개이고 보상은 0이에요. 실행별 평균은 (1+0)/2=0.50이지만, 샘플별 평균은 (1+1+1+0)/4=0.75가 됩니다.

결과는 그대로인데 기록을 세는 단위에 따라 기준값이 달라지는 거죠.

고객 상담 두 건을 평가하면서 한 상담의 메모가 세 장이라는 이유로 세 건으로 집계한다고 생각해 보세요. 기록의 양이 성과 평가에 끼어드는 셈이에요. 이 비유는 계산 문제를 이해하기 위한 것이고, 논문이 고객 상담 실험을 했다는 뜻은 아닙니다.

연구진은 이런 이유로 작업 단위의 보상 비교와 학습 기여도 조정을 다룹니다. 여기서 중요한 질문은 ‘로그가 몇 개 생겼나’보다 ‘어떤 한 번의 시도에서 나온 로그인가’예요. 데이터가 많아 보인다는 이유만으로 서로 독립적인 경험이 많다고 볼 수는 없겠죠.

이 지점은 에이전트 평가를 설계할 때도 생각해 볼 만해요. 도구 호출이 많거나 설명이 길다는 이유로 일을 잘했다고 점수를 주고 있지는 않을까요? 중간 단계의 활동량과 최종 결과의 품질을 구분해야 한다는 문제는 강화학습을 당장 하지 않는 팀에도 유용한 질문이에요.

학습 곡선과 최종 성능을 구분해서 읽는 법

이제 처음의 숫자로 돌아가 볼게요. Qwen3.5-9B와 mini-SWE-agent를 사용한 코딩 실험에서, SWE-bench Verified 성능이 41.8%에서 56.4%로 개선됐어요. 논문은 학습 step 208의 체크포인트에 대한 결과로 설명합니다. 공식 발표는 이를 Pass@1이라고 명시해요.

0~100% 동일 축에서 SWE-bench Verified Pass@1 41.8%와 56.4%, 차이 14.6%포인트를 비교한 그래프
별도로 측정한 최종 성능

그림 B. Microsoft Research 공식 발표의 수치

Qwen3.5-9B 기반 코딩 에이전트의 SWE-bench Verified Pass@1은 41.8%에서 56.4%로 14.6%포인트 높아졌어요. 전체 학습 파이프라인의 결과이며, 하네스 연결만의 효과나 성과를 뜻하지 않아요.

Pass@1은 한 번의 시도로 문제를 해결하는 성능을 보는 지표예요. 14.6이라는 차이는 퍼센트포인트입니다. 상대적인 증가율 14.6%와는 의미가 달라요. 그래프도 0부터 100%까지 같은 축으로 읽어야 개선 폭을 과장하지 않을 수 있어요.

여기서 원문 Figure 9를 함께 보세요. 이 그림은 학습 설정에 따른 검증 보상과 정책 엔트로피의 변화를 보여 줍니다. 앞서 본 41.8%·56.4%는 별도의 SWE-bench Verified 평가예요. 서로 다른 평가 결과를 같은 그래프의 시작점과 끝점처럼 이어 붙이면 안 됩니다.

학습 단계에 따른 검증 보상과 정책 엔트로피를 샘플 단위 및 실행 단위 학습 설정별로 비교한 원문 그래프
원문 Figure 9 · 검증 보상과 정책 엔트로피

원문 Figure 9 | 코딩 에이전트의 학습 설정별 검증 보상과 정책 엔트로피. 출처: He et al., arXiv:2608.17528v1 원문 위치 (새 탭에서 열림)

회색은 샘플 단위 advantage, 주황색은 실행 단위 advantage, 초록색은 실행 단위 advantage와 실행 단위 정규화를 함께 적용한 설정이에요. 왼쪽 그래프는 초록색 설정이 여러 검증 시점에서 상대적으로 높은 보상을 얻는 모습을 보여 줍니다. 오른쪽 그래프에서는 학습 방식에 따라 출력 분포의 변화 양상이 달라져요. 이 실험은 학습 계산 단위의 선택이 결과에 영향을 줄 수 있다는 근거이지, 모든 업무에서 초록색 설정이 항상 최선이라는 증거는 아닙니다.

Figure 9의 가로축은 학습 단계예요. 왼쪽은 검증 보상, 오른쪽은 모델 출력의 불확실성·다양성과 관련된 엔트로피를 보여 줍니다. 엔트로피가 무조건 낮아야 좋다거나, 그래프 한 번이 모든 환경의 안정성을 보장한다고 해석하지는 마세요. 이 그림은 연구진이 선택한 학습 계산 방식들을 비교하는 자료로 읽는 편이 정확해요.

또 하나, 6,000개라는 숫자는 무엇을 뜻할까요? 이미 사전학습된 모델에 추가 학습을 하기 위해 준비한 과제 수예요. 모델이 총 6,000개의 데이터만 보고 코딩을 배웠다는 뜻은 아닙니다. 연구진은 SWE-smith 과제를 선별해 학습에 사용했어요. 학습과 평가의 데이터 출처를 구분해서 읽어야 하는 이유입니다.

좋은 점수만큼 중요한 건 점수를 얻은 방법이에요

실험 결과를 볼 때는 ‘얼마나 올랐나’ 다음으로 ‘어떻게 점수를 얻었나’를 물어야 해요. 논문은 에이전트가 Git 기록이나 외부 소스에서 정답에 해당하는 코드를 찾는 보상 해킹을 관찰했다고 설명해요. 연구진은 Git 접근과 일반 외부 네트워크 접근을 제한하는 대응을 적용했습니다.

여기서 보상 해킹은 평가 점수는 얻지만 연구자가 의도한 문제 해결 방식은 따르지 않는 상황을 가리켜요. 점수 상승만 보면 능력이 좋아졌다고 생각하기 쉽지만, 평가 과정에 빠져나갈 틈이 있었을 수도 있는 거죠.

산업 업무로 가져오면 어떤 질문이 될까요? 품질 보고서의 필수 항목을 모두 채웠다고 높은 점수를 주는데, 근거가 없는 내용으로 빈칸을 메워도 통과한다면 문제가 생겨요. 데이터가 부족하다고 정확히 알리는 답변이 더 나은데도 점수는 낮아질 수 있고요. 이 사례는 산업 적용을 위한 해석이며, 논문에서 시험한 제조 사례는 아닙니다.

그래서 평가표에는 완성 여부와 함께 근거의 정확성, 불확실성 표시, 필요한 확인 요청을 담을 필요가 있어요. 보고서가 보기 좋게 끝났는지뿐 아니라, 그 결론에 도달한 과정을 확인할 수 있어야 합니다.

그렇다면 우리는 무엇부터 확인하면 될까요?

이 연구를 읽고 바로 강화학습 인프라를 마련할 필요는 없어요. 먼저 운영할 에이전트와 평가하는 에이전트의 조건을 나란히 적어 보는 것부터 시작할 수 있어요.

첫째, 정보의 입구를 확인해 보세요. 데모에만 제공한 정답에 가까운 자료는 없는지, 실제 권한으로 조회할 수 있는 범위가 같은지 살펴보는 거예요. 긴 기록을 요약한다면 어떤 조건이 남고 어떤 조건이 사라지는지도 확인해야 합니다.

둘째, 실패한 요청을 테스트에 넣어 보세요. 조회 실패, 누락된 검사 기록, 서로 다른 단위처럼 현실적인 변수를 하나씩 추가하는 거예요. 에이전트가 이를 알아차리는지, 다시 확인하는지, 근거 없이 다음 단계로 넘어가는지를 봐야 하죠.

셋째, 업무를 끝냈다는 기준을 명확히 해 보세요. 보고서 생성과 원인 확인은 다른 결과예요. 추천안을 만드는 것과 설비 설정을 실제로 바꾸는 것도 다르고요. 사람이 승인할 지점을 포함해 어디까지를 성공으로 볼지 정해야 합니다.

이 과정은 현장 성능을 높이기 위한 평가 설계 제안이지, Agent Lightning이 모두 해결해 준다는 약속은 아니에요. 같은 하네스를 사용해도 데이터 품질, 보상 설계, 보안 경계, 운영 비용은 여전히 검토해야 합니다. 실제 설비를 자유롭게 조작하도록 두지 않고, 격리된 환경과 제한된 권한으로 검증하는 것도 별도의 책임이에요.

마지막으로

Agent Lightning v1.0가 흥미로운 이유는 에이전트의 성능을 모델 이름 하나로 설명하기 어렵다는 점을 구체적인 학습 문제로 보여 주기 때문이에요. 실행 구조를 연결하는 데서 끝내지 않고, 그 안에서 만들어지는 기록을 어떻게 학습에 사용할지까지 들어갑니다.

다음 시연에서는 잘된 결과 하나와 실패한 과제 하나를 함께 놓아 보면 어떨까요? 어떤 정보가 빠졌고, 도구의 응답을 어디서 잘못 처리했는지 따라가 보는 거예요. 더 큰 모델이 필요한 문제인지, 정보 전달이나 평가 기준을 고쳐야 할 문제인지 구분하는 데 도움이 될 수 있어요.

41.8%에서 56.4%라는 숫자는 좋은 출발점이에요. 업무에 더 중요한 답은 그 다음 질문에 있습니다. ‘우리는 어떤 조건에서 일하게 하고, 무엇을 잘했다고 평가하고 있을까요?’

출처

논문: Zhiyuan He 외, Agent Lightning v1.0: Towards Harnessed Agentic RL, arXiv:2608.17528v1.

이 글은 2026년 8월 18일 공개된 arXiv:2608.17528v1을 기준으로 작성했어요. 논문 저자는 Microsoft·Fudan University·Zhejiang University·University of Edinburgh 소속이며, Microsoft Research의 상세 블로그는 2026년 10월 7일 공개됐어요.

논문 및 버전 (새 탭에서 열림) · 논문 PDF (새 탭에서 열림) · 공식 해설 (새 탭에서 열림) · 공식 코드 (새 탭에서 열림)

쓴 팀Physical AI Team

실제 산업 현장에서 동작하는 Real-World AI를 만들어요.

산업 AI 도입·전환

우리 산업 현장에도 AI를 적용할 수 있을까요?

어디서 시작할지 고민이라면, 포인랩과 산업 AI 전환의 첫걸음을 함께 찾아보세요.