ML 하네스 위에서 에이전트가 끝까지 합니다
데이터와 과제만 주세요. 에이전트가 데이터를 읽고, 여러 모델을 직접 시험하고, 학습에 쓰지 않고 따로 떼어 둔 데이터로 점수를 재서 기준을 넘은 것만 채택합니다. 무엇을 해봤고 왜 골랐는지 전 과정이 기록으로 남습니다.
해결하는 문제
코드를 짜고 고치며 모델을 만들던 과정을 대화 한 줄로 대신합니다. 사용자는 예측하고 싶은 것을 말하고, 결과 모델과 예측 파일을 받습니다.
LLM은 판단, 하네스는 평가·통제
- LLM 에이전트는 과제 해석, 전처리 설계, 다음 실험 방향 같은 판단만 합니다. 원본 데이터 행은 모델에 보내지 않습니다.
- 하네스는 학습·평가를 격리 환경에서 실행하고, 점수는 모델의 자기평가가 아니라 실행 기록에서 가져옵니다.
점수를 믿을 수 있게 하는 장치
- 홀드아웃: 학습에 쓰지 않은 데이터로만 채점하고, 최종 평가는 한 번만 엽니다.
- 누수 방지: 예측 시점에 알 수 없는 열과 금지 열은 학습에서 뺍니다.
- 실험 기록: 시도한 모델, 탈락·채택 이유, 비용과 산출물을 모두 남깁니다.
공개 작업
완성된 작업 503개의 대화와 점수를 누구나 볼 수 있습니다. 공개 작업 목록 · 대표 실행 기록 보기
KNPS 실전 사례
같은 하네스가 실제 대회에서 140번 실험을 돌렸습니다. 채택 21건, 탈락 55건, 차이 없음 57건. 점수는 0.2203에서 0.3614까지 올랐습니다. KNPS 실전 기록 보기