전화했을 때 정기예금에 가입할 고객을 잘 골라내는 모델을 만…

누구나 볼 수 있는 공개 기록입니다. 읽기 전용.

사용자의 요구

전화했을 때 정기예금에 가입할 고객을 잘 골라내는 모델을 만들어줘

대화

ML 엔지니어 36,171행, 17개 항목을 읽었습니다. 답의 기준은 ‘정기예금가입’ 열로 잡았습니다. 아래에서 맞는지 확인해 주세요.
질문한 사람 전화했을 때 정기예금에 가입할 고객을 잘 골라내는 모델을 만들어줘
ML 엔지니어 등록 과제(bank-trial) 조건에 맞춰 정기예금가입을 예측하는 분류 모델 계획을 세웠습니다. 입력은 등록된 허용 특징 열 전체(통화시간초 제외), 지표는 balanced_accuracy, 결과 제공은 model로 제안합니다. 개발용 분할은 iid_feature_groups_60_20_20_v1 정책을 기술적 선택으로 제안하며, 이는 사용자 요구가 아닙니다. 다음 행동은 이 계획을 DECISION.json에 기록하는 것입니다.
ML 엔지니어 첫 모델을 만듭니다. 여러 방법을 시험해 가장 나은 것을 고르고, 마지막에 처음 보는 데이터로 한 번 더 확인합니다.
ML 엔지니어 하네스 기본 후보를 시험했습니다. 균형 정확도 73.7%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 다음에 시험할 방법을 정했습니다. 기준 모델은 범주형 변수를 단순 순번 코드로만 처리해 캠페인 이력 정보를 충분히 활용하지 못합니다. 같은 학습기를 유지하면서 원-핫 인코딩과 잔액·캠페인 이력 상호작용 특징을 추가해 정기예금 가입 고객을 더 잘 구분할 수 있는지 검증합니다.
ML 엔지니어 후보 2번을 시험했습니다. 균형 정확도 74.1%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 가장 좋은 후보로 마무리합니다. 에이전트가 후보 2개를 시험한 뒤 더 시험하지 않기로 했습니다(최대 3개). 남은 예산 672원 중 40원을 최종 확인에 씁니다. 지금까지 가장 좋은 후보만 처음 보는 데이터로 최종 확인합니다.
ML 엔지니어 최종 확인을 마쳤습니다. 모델이 학습에 쓰지 않은 데이터에서 균형 정확도 73.5%입니다. 아래 보관된 모델 카드에서 이 결과로 예측을 시험해 볼 수 있습니다.
질문한 사람 왜 이 점수가 나왔어?
ML 엔지니어 최종 확인 점수는 학습에 쓰지 않은 데이터 7230건에서 측정한 균형 정확도 73.5%입니다. 균형 정확도는 클래스별로 맞힌 비율의 평균이라, 가입 고객과 비가입 고객을 한쪽으로 몰아 찍는 방식으로는 올라가지 않습니다. 개발 데이터에서 이 모델의 점수는 74.1%였고, 처음 보는 데이터에서 73.5%로 확인됐습니다. 이 점수는 하네스가 만든 기본 모델(73.7%)과 에이전트가 만든 후보(74.1%) 중 가장 좋았던 후보를 그대로 최종 확인한 결과입니다.
질문한 사람 어떤 항목이 결과에 가장 큰 영향을 줬어?
ML 엔지니어 개발 데이터 250건에서 각 항목 값을 섞었을 때 점수가 얼마나 떨어지는지로 보면, 연락수단이 14.8%p로 가장 컸고 마지막연락월 13.0%p, 마지막연락일 8.1%p, 연평균잔액 7.1%p 순이었습니다. 그다음은 결혼여부 3.0%p, 직업 2.0%p, 이번캠페인연락횟수 1.8%p, 이전캠페인결과 1.6%p, 나이 1.3%p였고, 이전캠페인연락횟수 0.5%p, 이전캠페인후경과일 0.1%p, 신용불량이력 0.0%p는 영향이 거의 없었습니다. 다만 영향이 크다는 것이 그 항목이 점수의 원인이라는 뜻은 아닙니다.
질문한 사람 연락수단 미상, 마지막연락월 5, 마지막연락일 5이면 결과가 어떻게 나와?
ML 엔지니어 연락수단을 미상으로, 마지막연락월과 마지막연락일을 각각 5로 읽었습니다. 나머지 항목은 말씀하지 않아 빈 값으로 처리했습니다. 예측 결과는 시스템이 보관된 모델로 계산해 붙입니다. 보관된 모델로 직접 예측한 결과입니다 (말하지 않은 항목은 빈 값으로 넣었습니다): 1) 마지막연락월=5, 마지막연락일=5, 연락수단=미상 → 정기예금가입: 아니오
질문한 사람 이 모델 믿고 써도 돼?
ML 엔지니어 최종 확인 점수는 학습에 쓰지 않은 데이터 7230건에서 측정한 균형 정확도 73.5%이고, 개발 데이터에서는 74.1%였습니다. 균형 정확도는 클래스별로 맞힌 비율의 평균이라 한쪽으로 몰아 찍는 방식으로는 올라가지 않습니다. 다만 이 점수는 개발 데이터 250건에서 항목 값을 섞어 재본 영향도와 함께 확인된 것으로, 영향이 큰 항목이 있어도 그것이 점수의 원인이라는 뜻은 아닙니다. 그대로 믿고 쓰기 전에 실제 운영 데이터에서 다시 확인해보시는 것을 권합니다. 재학습이나 새 평가는 이 대화에서 바로 실행되지 않으니, 필요하면 별도로 요청해 주세요.
질문한 사람 더 좋게 만들 수 있어?
ML 엔지니어 현재 보관된 모델은 학습에 쓰지 않은 데이터 7230건에서 균형 정확도 73.5%, 개발 데이터 250건에서 74.1%였습니다. 개발 데이터 영향도에서는 연락수단 14.8%p, 마지막연락월 13.0%p, 마지막연락일 8.1%p, 연평균잔액 7.1%p 순으로 컸지만, 영향이 크다고 그것이 점수의 원인이라는 뜻은 아닙니다. 재학습이나 새 평가, 열 제외 같은 개선 작업은 이 대화에서 바로 실행되지 않습니다. 다만 하네스가 만든 기본 모델(t1, 개발 73.7%)보다 에이전트가 만든 후보(t2, 개발 74.1%)가 근소하게 높았으니, 같은 방식으로 입력 항목을 더 다듬은 후보를 별도로 시도해볼 수 있습니다.
질문한 사람 결과를 엑셀로 받을 수 있어?
ML 엔지니어 엑셀 파일로 바로 내려받는 기능은 이 대화에서 실행되지 않습니다. 지금 보관된 모델은 학습에 쓰지 않은 데이터 7230건에서 균형 정확도 73.5%, 개발 데이터 250건에서 74.1%로 확인되었습니다. 필요하시면 예측 결과를 표 형태로 정리해 별도로 요청해 주세요.