전화했을 때 정기예금에 가입할 고객을 잘 골라내는 모델을 만…

누구나 볼 수 있는 공개 기록입니다. 읽기 전용.

사용자의 요구

전화했을 때 정기예금에 가입할 고객을 잘 골라내는 모델을 만들어줘

대화

ML 엔지니어 36,171행, 17개 항목을 읽었습니다. 답의 기준은 ‘정기예금가입’ 열로 잡았습니다. 아래에서 맞는지 확인해 주세요.
질문한 사람 전화했을 때 정기예금에 가입할 고객을 잘 골라내는 모델을 만들어줘
ML 엔지니어 요청 원문으로 확인되지 않은 해석이 있어, 확인된 내용만 남겨 다시 정리하고 있습니다. 학습은 아직 시작하지 않았습니다.
ML 엔지니어 등록 과제(bank-trial)의 목표 열은 정기예금가입, 지표는 balanced_accuracy이며 호스트가 연결합니다. 사용자 원문은 '전화했을 때 정기예금에 가입할 고객을 잘 골라내는 모델을 만들어줘'로, 이는 모델 제작 요청이지 입력 열·예측 단위·제공 형식을 명시한 요구가 아닙니다. 따라서 task_brief에는 원문에 실제로 있는 요구만 남기고, 입력·예측 단위·제공 형식은 engineering_plan의 기술 제안으로 옮깁니다. 다음 행동은 이 결정을 DECISION.json에 기록하는 것입니다.
ML 엔지니어 첫 모델을 만듭니다. 여러 방법을 시험해 가장 나은 것을 고르고, 마지막에 처음 보는 데이터로 한 번 더 확인합니다.
ML 엔지니어 하네스 기본 후보를 시험했습니다. 균형 정확도 73.7%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 다음에 시험할 방법을 정했습니다. 기준 모델은 명목형 변수를 임의의 순서를 가진 숫자 코드로 바꿔 학습해 범주 간 잘못된 순서 정보를 넣고 있습니다. 이를 원-핫 인코딩으로 바꾸면 소수 클래스인 정기예금 가입 고객을 더 잘 구분할 수 있을 것으로 기대되어, 같은 평가 방식에서 이 개선을 시도합니다.
ML 엔지니어 후보 2번을 시험했습니다. 균형 정확도 74.1%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 다음에 시험할 방법을 정했습니다. 원-핫 인코딩으로 소폭 개선된 t2를 기준으로, 명목형 열을 범주형으로 직접 다루는 다른 가설을 시도합니다.
ML 엔지니어 후보 3번을 시험했습니다. 균형 정확도 73.9%. 이전 후보가 더 좋아 그대로 둡니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 가장 좋은 후보로 마무리합니다. 정해진 시도 횟수를 모두 썼습니다. 지금까지 가장 좋은 후보만 처음 보는 데이터로 최종 확인합니다.
ML 엔지니어 최종 확인을 마쳤습니다. 모델이 학습에 쓰지 않은 데이터에서 균형 정확도 73.1%입니다. 아래 보관된 모델 카드에서 이 결과로 예측을 시험해 볼 수 있습니다.
질문한 사람 왜 이 점수가 나왔어?
ML 엔지니어 최종 확인 점수는 학습에 쓰지 않은 데이터 7230건에서 측정한 균형 정확도 73.1%입니다. 균형 정확도는 클래스별로 맞힌 비율의 평균이라, 가입·미가입 양쪽을 고르게 봤을 때의 성적입니다. 개발 데이터에서 가장 좋았던 후보는 에이전트가 만든 후보(t2)로 74.1%였고, 하네스가 만든 기본 모델(t1)은 73.7%, 다른 에이전트 후보(t3)는 73.9%였습니다. 처음 보는 데이터에서는 73.1%로, 개발 점수보다 조금 낮게 나왔습니다.
질문한 사람 어떤 항목이 결과에 가장 큰 영향을 줬어?
ML 엔지니어 개발 데이터에서 항목 값을 섞었을 때 균형 정확도가 가장 크게 떨어진 항목은 마지막연락월(15.4%p), 연락수단(14.3%p), 마지막연락일(12.3%p) 순이었습니다. 그다음으로 연평균잔액(7.0%p), 이번캠페인연락횟수(3.5%p)가 뒤를 이었고, 신용불량이력은 0.0%p로 영향이 거의 없었습니다. 다만 영향이 크다고 해서 그것이 점수의 원인이라는 뜻은 아닙니다.
질문한 사람 마지막연락월 5, 연락수단 미상, 마지막연락일 5이면 결과가 어떻게 나와?
ML 엔지니어 마지막연락월 5, 연락수단 미상, 마지막연락일 5로 읽었습니다. 보관된 모델로 직접 예측한 결과입니다 (말하지 않은 항목은 빈 값으로 넣었습니다): 1) 마지막연락월=5, 마지막연락일=5, 연락수단=미상 → 정기예금가입: 아니오
질문한 사람 이 모델 믿고 써도 돼?
ML 엔지니어 최종 확인 점수는 학습에 쓰지 않은 데이터 7230건에서 측정한 균형 정확도 73.1%이고, 개발 데이터에서는 74.1%였습니다. 균형 정확도는 클래스별로 맞힌 비율의 평균이라 가입·미가입 양쪽을 고르게 본 성적이며, 처음 보는 데이터에서 개발 점수보다 조금 낮게 나왔습니다. 이 대화에서는 재학습이나 새 평가를 바로 실행하지 않으니, 그대로 쓸지 판단하실 때는 이 점수와 한계를 함께 봐주세요.
질문한 사람 더 좋게 만들 수 있어?
ML 엔지니어 이 대화에서는 재학습이나 새 평가를 바로 실행하지 않으니, 지금 점수를 더 올리는 변경을 여기서 적용할 수는 없습니다. 다만 기록을 보면 하네스가 만든 기본 모델(t1)이 개발 데이터에서 73.7%, 에이전트가 만든 후보 t2가 74.1%였고, t3는 73.9%였습니다. 시도해볼 수 있는 방향은 명목형 열을 범주형으로 직접 다루는 트리 모델처럼 이미 검토된 후보 계열을 새 작업에서 다시 평가해보는 것입니다.
질문한 사람 결과를 엑셀로 받을 수 있어?
ML 엔지니어 이 대화에서는 엑셀 파일로 바로 내보내는 기능은 없습니다. 대신 '보관된 모델' 카드의 '모델·소스 받기'로 학습된 전처리·모델 파일과 학습 소스, 실행 안내를 zip 으로 내려받을 수 있고, 같은 카드의 '예측해보기'에서 결과를 표로 확인할 수 있습니다. 원하시면 그 표를 엑셀에서 열어 쓰실 수 있습니다.