이 글과 함께 보는 홈랩 구축 체크리스트 — 로컬 LLM + Tailscale 20단계를 A4 한 장으로.
받기 →
Agents-A1: 파라미터가 아니라 호라이즌을 키운 35B MoE 에이전트
홈랩 구축 체크리스트 — 로컬 LLM을 세우고 Tailscale로 안전하게 잇는 20단계를 A4 한 장으로 정리했습니다.
체크리스트 받기 →
InternScience가 공개한 Agents-A1은 35B 규모 MoE(Mixture-of-Experts) 모델로 1조 파라미터급 모델의 에이전트 성능에 도달했다고 주장한다. 논문 제목이 그대로 요지를 담고 있다 — "Scaling the Horizon, Not the Parameters". 파라미터를 늘리는 대신 학습에 사용하는 태스크 트라젝토리의 길이와 흡수하는 전문 능력의 폭을 키웠고, 그 결과 스케일링의 축이 파라미터에서 학습 데이터의 시간축으로 이동하고 있음을 보여준다.
개요
- 모델: Agents-A1 — 35B 파라미터 MoE 에이전틱 모델(InternScience 공개, arXiv 2606.30616).
- 핵심 주장: 에이전트 호라이즌 스케일링(agent-horizon scaling)으로 1T급 모델 수준의 에이전트 성능 달성.
- 두 스케일링 축: (1) 장기 호라이즌 트라젝토리의 길이, (2) 이질적 에이전트 능력의 폭.
- 학습 인프라: 외부 지식·행동·관측·검증기(verifier) 결과를 연결하는 장기 호라이즌 지식-행동 인프라. 평균 45K 토큰 길이의 에이전틱 트라젝토리 생성.
- 대상 도메인: 장기 호라이즌 검색, 엔지니어링, 과학 연구, 지시 준수, 툴 호출.
- 벤치마크 성과: Kimi-K2.6·DeepSeek-V4-pro 등 1T급 모델과 비교해 SEAL-0(56.4), IFBench(80.6), HiPhO(46.4), FrontierScience-Olympiad(79.0), MolBench-Bind(56.8)에서 선두. SciCode(44.3), HLE(47.6), BrowseComp(75.5)에서도 경쟁력 유지.
- 배포: GitHub 저장소와 Hugging Face 모델 카드 공개.
아키텍처
- MoE 라우팅·전문가 활성화
- 총 파라미터 35B 규모에서 요청마다 일부 전문가만 활성화 → 조밀(dense) 모델 대비 추론 연산량 절감.
- 도메인별 전문 능력을 전문가 집합에 분산 배치하는 구조가 이질적 에이전트 능력 스케일링과 맞물림.
- 장기 호라이즌 트라젝토리 수집
- 인프라 구성: 외부 지식 소스 → 행동(action) 실행 → 관측(observation) 수집 → 검증기 결과 회수의 순환.
- 산출물: 평균 45K 토큰 길이의 에이전틱 트라젝토리 — 단발 질의응답이 아닌 다단계 도구 사용 이력 전체를 학습 단위로 사용.
- 검증기 결과가 함께 기록되므로 성공·실패 궤적을 구분해 학습 신호로 활용 가능.
- 3단계 학습 레시피
- 1단계: 전 도메인 지도 미세조정(full-domain SFT)으로 베이스 모델을 광범위한 에이전틱 행동에 정렬.
- 2단계: 도메인별 교사 모델(domain-level teacher) 학습으로 각 도메인의 전문성 확보.
- 3단계: 다중 교사 도메인 라우팅 온폴리시 증류(multi-teacher domain-routed on-policy distillation) + 주요 어휘 정렬(salient vocabulary alignment)로 도메인 간 지식 전이 효율 향상.
- 온폴리시 증류의 의미
- 학생 모델이 스스로 생성한 궤적 위에서 교사 신호를 받으므로, 오프폴리시 데이터 사용 시 발생하는 분포 불일치(distribution shift)를 완화.
- 도메인 라우팅은 어떤 교사의 신호를 어느 샘플에 적용할지 결정하는 게이트 역할.
graph TD
Infra["장기 호라이즌 지식-행동 인프라"] --> Traj["에이전틱 트라젝토리 (평균 45K 토큰)"]
Infra --> Ver["검증기 결과 (성공·실패 라벨)"]
Traj --> S1["1단계: 전 도메인 지도 미세조정"]
Ver --> S1
S1 --> S2["2단계: 도메인별 교사 모델 학습"]
S2 --> S3["3단계: 다중 교사 도메인 라우팅 온폴리시 증류"]
S3 --> Voc["주요 어휘 정렬"]
Voc --> Model["Agents-A1 (35B MoE)"]
Model --> Eval{"에이전트 벤치마크 평가"}
Eval -->|"SEAL-0, IFBench, HiPhO"| Lead["1T급 모델 대비 선두 항목"]
Eval -->|"SciCode, HLE, BrowseComp"| Comp["경쟁력 유지 항목"]도입 전략
- 에이전트 특화 모델 자체 학습 vs API 활용 판단
- 자체 학습이 유리한 조건: 도메인 트라젝토리를 자체 확보할 수 있고, 데이터 주권 요건이 강하며, 호출량이 커서 서빙 단가가 지배적인 경우.
- API가 유리한 조건: 도메인 범위가 넓고 요구가 자주 바뀌며, 학습 인프라 운영 인력이 부족한 경우.
- 트라젝토리 데이터 확보
- 핵심 자산은 모델이 아니라 검증기가 붙은 다단계 실행 이력이다. 사내 도구 호출 로그·CI 결과·티켓 처리 이력을 트라젝토리로 정제하는 파이프라인 구축이 선행 과제.
- 개인정보·기밀 포함 여부를 궤적 단위로 판정하는 마스킹 절차 필수.
- 학습 인프라 비용 산정
- 비용 구성: 롤아웃(궤적 생성) GPU 시간 + 교사 모델 학습 + 증류 학습 + 저장소. 평균 45K 토큰 궤적은 저장·전송 비용도 무시할 수 없는 규모.
- 롤아웃 비용이 전체를 지배하는 구조이므로, 궤적 재사용률과 실패 궤적 활용도가 비용 효율을 결정.
- 평가 하네스 구축
- 공개 에이전트 벤치마크(SEAL-0·IFBench·BrowseComp 등)로 기준선을 잡고, 사내 도메인 태스크로 최종 판정.
- 장기 호라이즌 태스크는 단계별 부분 성공을 측정해야 하므로 단일 정답률 지표만으로는 부족.
- 라이선스·데이터 주권·거버넌스 체계
- 공개 모델 사용 시 가중치 라이선스와 상업적 이용 조건, 파생 모델 배포 조건을 사전 검토.
- 궤적 데이터에 외부 서비스 응답이 포함되는 경우 해당 서비스 약관의 학습 이용 제한 조항 확인.
- 학습 데이터 출처·버전·마스킹 이력을 모델 카드로 관리해 감사 대응성 확보.
비교 분석
| 구분 | 호라이즌 스케일링(Agents-A1) | 파라미터 스케일링(1T급) |
|---|---|---|
| 확대 대상 | 궤적 길이·능력 폭 | 모델 파라미터 수 |
| 모델 규모 | 35B MoE | 1T 수준 |
| 추론 비용 | 낮음(부분 전문가 활성화) | 높음 |
| 주요 투자처 | 롤아웃 인프라·검증기 | 학습 클러스터·가중치 서빙 |
| 병목 | 궤적 확보와 검증 품질 | 연산·메모리 자원 |
| 에이전트 성능 | 다수 벤치마크에서 선두 | 범용 능력에서 우위 |
- 호라이즌 스케일링 vs 파라미터 스케일링: 파라미터 확대는 범용 능력을 넓히지만 서빙 비용이 선형 이상으로 증가한다. 호라이즌 확대는 에이전트 태스크에 집중된 개선을 제공하며 서빙 비용을 억제한다. 다만 전자는 연산으로 해결되고 후자는 궤적 확보라는 데이터 문제로 전환되므로, 병목이 자원에서 데이터·검증 품질로 이동한다.
- 35B MoE vs 1T급 조밀 모델 서빙 비용: MoE는 요청당 활성 파라미터가 제한되므로 동일 처리량에서 GPU 메모리·연산 요구가 크게 낮다. 자체 호스팅을 전제하면 손익 차이가 가장 두드러지는 지점이다.
- 다중 교사 증류 vs 단일 교사 학습: 단일 교사는 파이프라인이 단순하나 교사의 약점이 그대로 전이된다. 다중 교사 도메인 라우팅은 도메인별 강점을 선택적으로 흡수해 일반화에 유리하지만, 교사 간 신호 충돌을 조정하는 라우팅 설계와 어휘 정렬이 추가로 필요하다.
정보관리기술사 관점
- AI 모델 개발 관점
- 경쟁 우위가 모델 규모에서 학습 데이터의 구조(다단계 궤적 + 검증 라벨)로 이동한다는 신호다. 조직의 도구 호출 로그와 검증 자산이 곧 학습 자산이 된다.
- 롤아웃 인프라는 데이터 파이프라인이자 시뮬레이션 환경이므로, 개발 조직의 CI·테스트 자산과 통합 설계할 실익이 크다.
- 기술 주권 거버넌스 관점
- 35B 규모는 자체 인프라에서 파인튜닝·서빙이 현실적인 구간이다. 데이터 반출 없이 도메인 특화 에이전트를 확보하려는 조직에 실질적 선택지를 제공한다.
- 공개 모델 활용 시에도 가중치 라이선스·학습 데이터 출처·파생물 배포 조건을 조달 심사 항목으로 명시해야 하며, 궤적 데이터의 국외 이전 여부는 개인정보 보호 관점의 별도 검토 대상이다.
2026 전망
- 에이전트 성능 경쟁의 초점이 파라미터 발표에서 궤적 데이터 규모·검증기 품질 공개로 이동할 전망.
- 롤아웃·검증 인프라가 독립 오픈소스 스택으로 분화되어, 모델보다 인프라 채택이 선행하는 패턴 확산.
- 30B 내외 MoE 에이전트 모델군이 자체 호스팅 시장의 주력 구간으로 자리 잡으며 프런티어 API와의 역할 분담이 명확해짐.
- 장기 호라이즌 태스크 평가 표준(부분 성공·단계별 점수)에 대한 논의가 벤치마크 설계의 주요 쟁점으로 부상.
마무리
Agents-A1은 35B MoE 규모로 1T급 모델의 에이전트 성능에 도달했다고 주장하며, 그 수단으로 파라미터가 아닌 평균 45K 토큰 길이의 장기 호라이즌 궤적과 다중 교사 도메인 라우팅 증류를 제시했다. 이 접근의 실질적 의미는 성능 병목이 연산 자원에서 궤적 데이터와 검증 품질로 옮겨갔다는 점이다. 조직 입장에서는 모델 확보보다 도구 호출 이력과 검증 자산을 궤적으로 정제하는 파이프라인이 선행 투자 대상이 된다. 자체 학습 여부와 무관하게, 검증기가 붙은 실행 이력을 축적하는 조직이 앞으로의 에이전트 경쟁에서 유리한 위치를 점할 것이다.
Keywords
Mixture-of-Experts:전문가 혼합, Horizon Scaling:호라이즌 스케일링, Trajectory:트라젝토리, On-policy Distillation:온폴리시 증류, Multi-teacher:다중 교사, Supervised Fine-tuning:지도 미세조정, Rollout:롤아웃, Verifier:검증기, Data Sovereignty:데이터 주권, Agentic Benchmark:에이전트 벤치마크
Sources
- Scaling the Horizon, Not the Parameters: Reaching Trillion-Parameter Performance with a 35B Agent | arXiv
- GitHub - InternScience/Agents-A1: Scaling the Horizon, Not the Parameters
- InternScience/Agents-A1 | Hugging Face
- Agents-A1 | 35B MoE Agentic Model
- Agents-A1 — 35B MoE Agent Model | explainX
- Agents-A1: A 35B Agent That Matches Trillion-Parameter Models by Scaling the Horizon | Lanceum
'IT Professional Engineering > AI.ML' 카테고리의 다른 글
| 엔터프라이즈 장시간 자율 에이전트 플랫폼: ChatGPT Work의 계획-실행-검증 루프 (0) | 2026.09.07 |
|---|---|
| AI 기반 과학 연구 자동화: 생명과학 R&D 압축을 위한 Claude Science (0) | 2026.09.07 |
| 저지연·저비용 경량 LLM 티어링: 워크로드별 Gemini Flash 모델 계층화 아키텍처 (0) | 2026.09.07 |
| 창작·시뮬레이션 툴 에이전트 통합: MCP로 연결하는 3D·미디어 파이프라인 (0) | 2026.09.07 |
| 모델-도구 연동 프로토콜 진화: MCP Stateless 코어와 확장 프레임워크 (0) | 2026.09.07 |
홈랩 구축 체크리스트를 A4 한 장으로 드립니다
로컬 LLM을 세우고 Tailscale로 안전하게 잇는 20단계. 이메일을 남기면 바로 보내드립니다. 광고 없이, 언제든 수신거부.
체크리스트 받기 →