하네스가 AI 에이전트 성능을 좌우한다
LLM 기반 에이전트의 성능은 기본 모델만으로 결정되지 않는다. 시스템 프롬프트, 도구, 메모리, 검증 규칙, 런타임 정책, 실패 복구 절차를 포함하는 하네스가 실제 행동 품질을 크게 좌우한다.
VentureBeat 보도에 따르면 Shanghai Artificial Intelligence Laboratory 연구진은 이 하네스를 사람이 임시로 고치는 방식에서 벗어나, 에이전트가 자신의 실행 흔적을 분석하고 운영 규칙을 직접 개선하는 Self-Harness 패러다임을 제안했다.
수동 디버깅 대신 검증 가능한 피드백 루프
기존 하네스 엔지니어링은 실패 사례를 보고 사람이 직관적으로 프롬프트나 정책을 손보는 경우가 많다. 하지만 모델이 빠르게 바뀌고 업무 환경이 복잡해지면, 이런 방식은 확장성이 떨어지고 어떤 수정이 실제 성능 향상에 기여했는지 확인하기 어렵다.
Self-Harness는 이 문제를 실행 흔적 기반의 반복 루프로 바꾼다. 에이전트가 작업을 수행하며 남긴 trace와 검증 가능한 결과를 분석하고, 실패 패턴을 분류한 뒤, 그 실패를 줄이기 위한 최소한의 하네스 수정안을 제안한다.
세 단계 루프: 약점 채굴, 수정 제안, 검증
Self-Harness는 크게 세 단계로 작동한다. 첫째, 약점 채굴 단계에서 에이전트는 여러 작업을 실행하고 실패한 trace를 모아 모델별 약점과 반복되는 실패 유형을 찾는다.
둘째, 하네스 제안 단계에서는 발견된 실패 원인에 맞춰 다양한 수정안을 만든다. 이때 목표는 모든 문제를 한 번에 덮는 거대한 규칙 추가가 아니라, 특정 실패 메커니즘에 대응하는 작고 명확한 변경을 만드는 것이다.
셋째, 제안 검증 단계에서는 후보 수정안을 회귀 테스트와 보류 작업에서 평가한다. 성능이 좋아지면서 다른 작업을 망치지 않는 수정만 다음 하네스 버전으로 승격된다.
Terminal-Bench-2.0에서 33~60% 향상
연구진은 Terminal-Bench-2.0에서 Self-Harness를 평가했다. 이 벤치마크는 파일 관리, 명령 실행, 검증 행동, 실행 오류 복구 같은 도구 기반 에이전트 능력을 시험한다.
실험에는 MiniMax M2.5, Qwen3.5-35B-A3B, GLM-5가 사용됐다. 모델 백엔드와 도구, 평가 환경은 그대로 두고 하네스만 바꿨을 때, 보류 작업 기준 성능이 모델에 따라 33%에서 60%까지 개선된 것으로 소개됐다.
모델별 실패를 규칙으로 바꾸는 방식
Self-Harness의 강점은 일반적인 지시문을 길게 덧붙이는 데 있지 않다. 각 모델이 반복적으로 겪는 구체적인 실패를 찾아 그에 맞는 운영 규칙을 추가한다는 점이 중요하다.
예를 들어 MiniMax M2.5는 데이터셋 구성을 끝없이 탐색하다 시간 초과되는 문제가 있었고, Self-Harness는 일정한 도구 호출 이후 접근을 바꾸도록 하는 loop breaker 규칙을 추가했다. Qwen 계열은 같은 명령을 반복하다 파일을 손상시키는 문제를 보였고, 중복 명령 금지와 산출물 복구 규칙이 추가됐다.
GLM-5의 경우 명령 간 환경 변경을 유지하지 못하거나, sanity check가 실패했는데도 작업을 마무리하는 문제가 관찰됐다. 이에 따라 PATH 유지, 외부 계산 제한, 실패한 검증을 먼저 복구하도록 하는 정책이 들어갔다.
도입에는 평가 인프라가 필수다
Self-Harness는 사람의 직관을 줄여주지만 공짜는 아니다. 반복적인 제안 생성, 병렬 후보 평가, 회귀 테스트에는 API 토큰, 시간, 인프라 비용이 든다. 또한 평가 파이프라인이 부정확하면 잘못된 규칙이 승격될 위험도 있다.
따라서 이 방식은 실패를 명확히 측정할 수 있고 시행착오가 비교적 안전한 영역에 적합하다. 코딩, 내부 워크플로 자동화, DevOps 데이터 파이프라인처럼 결과를 검증하기 쉬운 환경이 좋은 후보로 꼽힌다.
엔지니어의 역할은 피드백 설계자로 이동한다
Self-Harness가 의미하는 변화는 사람이 필요 없어지는 것이 아니다. 오히려 엔지니어의 역할이 개별 프롬프트를 손보는 작업에서, 에이전트가 안전하게 개선될 수 있는 평가 체계와 피드백 루프를 설계하는 방향으로 이동한다.
기초 모델이 강해질수록 하네스의 범위는 사라지는 것이 아니라 더 바깥으로 이동한다. 모델을 실제 업무 환경, 도구, 검증 규칙, 조직 정책과 연결하는 계층은 여전히 중요하며, 그 계층을 어떻게 측정하고 개선할지가 기업 AI 운영의 핵심 과제가 될 전망이다.