Skip to content

도구 검색·조회·GET 실행 연결과 실제 모델 평가 - #89

Merged
SonAIengine merged 22 commits into
mainfrom
feat/live-tool-selection-evaluation
Oct 13, 2026
Merged

SonAIengine merged 22 commits into
mainfrom
feat/live-tool-selection-evaluation

Conversation

@SonAIengine

Copy link
Copy Markdown
Contributor

요약

collection 기능 전체를 main에 들이는 PR이다. 이후 #86(교차언어 검색어 힌트)과 #88(collection 재빌드·삭제)이 이 위에 쌓여 있다.

  • graph-tool-call 내부 검색 연결: xgen tools import/search/describe/list. 두 명세에서 실제 도구 1,108개를 수집해 검증했다.
  • agent loop 연결: 도구 검색과 명세 조회를 snapshot·입력·Receipt와 묶었다. 검증 172개가 통과했다.
  • 연결된 GET 도구 실행: xgen tools connect로 연결하고, 인증은 OS secret store나 환경변수 이름으로 분리했다. 두 API에서 Receipt와 재개를 검증했다.
  • 대형 명세 전달 실패 14건 해결: 모델에는 제한된 describe view만 주고, 원본 계약 검증은 따로 분리했다.
  • 실제 모델 평가: 120회로 검색어 생성과 도구 선택을 분리해 평가했고, 정답 기준의 한계도 기록했다.
  • graph-tool-call 0.47.0 고정(graph-tool-call 0.47.0으로 고정을 올리고 이전 버전 collection 오류를 구분 #84): 이전 버전 collection 오류를 따로 구분한다.
  • CI 조정(graph-tool-call이 없는 CI에서 worker 의존 Python 테스트 5개를 건너뛰도록 수정 #85): graph-tool-call이 없는 CI에서는 worker 의존 Python 테스트를 건너뛴다.
  • 계획 크기 비교와 최종 응답·완료 검증 계약: DeepSeek 120회 등.

머지 순서

#82 → #83 → 이 PR → #86 → #88. 앞 PR이 머지되면 다음 PR의 base를 main으로 바꾼다.

🤖 Generated with Claude Code

SonAIengine and others added 21 commits October 5, 2026 17:50
명령·종료 코드·실행 순서를 검증된 실행 기록에서 조립하고 schema를 manifest와 request profile에 연결한다. 새 실험의 형식·실행 기록은 24/24 일치했지만 작업 oracle는 14/24여서 기본 출력과 planning 설정은 유지한다.
응답 schema와 필수 검증 argv를 하나의 completion contract로 저장한다. 검증 누락·실패·변경 이후 낡은 증거는 완료 후보를 거절하고, 수정 후 재검증과 승인 후 재개는 수락한다. 두 작업 family의 32개 실제 프로세스 시나리오, Rust 669개와 Python 71개 검사를 통과했다.
- worker·uv 실행·binding·실행 프로필·capability 정의 3개·테스트의 0.46.0 고정 15곳을 0.47.0으로 갱신
- 0.47.0 반영 내용: 깊은 path 설명에 붙던 scope 문구를 색인 전용으로 이동, 상위 결과가 top_k에 따라 바뀌던 순위 수정
- 실측: Firefly III 명세 질의 16개에서 top_k=5와 20의 top-5가 다른 질의 5개 -> 0개
- 이전 버전 collection은 무결성 실패 대신 collection_backend_version_mismatch로 거절하도록 분리.
  0.46.0 collection이 하나라도 있으면 tools list와 collection을 쓰는 새 Run이 실패하며, 파일 삭제 후 같은 이름 재import로 복구됨을 확인
- 검증: cargo test 692개 통과(4개 ignored), clippy·fmt·공개 문서 검사 통과, worker 검사 11개(0.47.0·컴파일 CLI 포함) 통과

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
- Quality / Linux job이 ModuleNotFoundError로 5개 실패(PR #84에서 처음 드러남, 885b1af·7cf69ff부터 있던 문제)
- WorkerTests와 같은 find_spec 조건을 ContractTests 클래스(2개)와 ViewTests의 backend 호출 메서드 3개에 적용
- ViewTests의 byte 상한 테스트는 backend 없이 돌아가므로 계속 실행
- 확인: graph-tool-call 없이 116개 OK(skip 25 -> 30), 0.47.0 환경에서 대상 6개 OK

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
@SonAIengine
SonAIengine changed the base branch from feat/planning-boundary-probe to main October 13, 2026 14:45
@SonAIengine
SonAIengine merged commit 122de5f into main Oct 13, 2026
6 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant