전화했을 때 정기예금에 가입할 고객을 잘 골라내는 모델을 만…

누구나 볼 수 있는 공개 기록입니다. 읽기 전용.

사용자의 요구

전화했을 때 정기예금에 가입할 고객을 잘 골라내는 모델을 만들어줘

대화

ML 엔지니어 36,171행, 17개 항목을 읽었습니다. 답의 기준은 ‘정기예금가입’ 열로 잡았습니다. 아래에서 맞는지 확인해 주세요.
질문한 사람 전화했을 때 정기예금에 가입할 고객을 잘 골라내는 모델을 만들어줘
ML 엔지니어 요청 원문으로 확인되지 않은 해석이 있어, 확인된 내용만 남겨 다시 정리하고 있습니다. 학습은 아직 시작하지 않았습니다.
ML 엔지니어 등록 과제(bank-trial)의 조건에 맞춰 정기예금 가입 고객을 분류하는 모델을 제안합니다. 허용 입력 열 전체를 사용하고 금지 열(통화시간초)은 제외하며, 지표는 balanced_accuracy, 결과 제공은 model로 제안합니다. 스키마에 시간·날짜나 개체 식별자 열이 없어 행 독립(IID) 가정을 두고 특징 그룹 기반 60/20/20 분할을 사용합니다. 추가로 확인할 사용자 요구는 없습니다.
ML 엔지니어 첫 모델을 만듭니다. 여러 방법을 시험해 가장 나은 것을 고르고, 마지막에 처음 보는 데이터로 한 번 더 확인합니다.
ML 엔지니어 하네스 기본 후보를 시험했습니다. 균형 정확도 73.7%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 다음에 시험할 방법을 정했습니다. 기준선은 범주형 변수를 서수 코드로만 처리해 정보 손실이 있을 수 있으므로, 원-핫 인코딩과 결측 지시자 추가로 표현력을 높이는 실험을 제안합니다.
ML 엔지니어 후보 2번을 시험했습니다. 균형 정확도 74.1%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 다음에 시험할 방법을 정했습니다. 지금까지는 전처리만 바꿨고 모델 계열은 그대로였습니다. 남은 시도 1회로 모델 계열 자체를 바꿔 보는 것이 가장 다른 가설이며, 실패하면 기존 최고 후보를 그대로 씁니다.
ML 엔지니어 후보 3번을 시험했습니다. 균형 정확도 59.4%. 이전 후보가 더 좋아 그대로 둡니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 가장 좋은 후보로 마무리합니다. 정해진 시도 횟수를 모두 썼습니다. 지금까지 가장 좋은 후보만 처음 보는 데이터로 최종 확인합니다.
ML 엔지니어 최종 확인을 마쳤습니다. 모델이 학습에 쓰지 않은 데이터에서 균형 정확도 73.1%입니다. 아래 보관된 모델 카드에서 이 결과로 예측을 시험해 볼 수 있습니다.
질문한 사람 왜 이 점수가 나왔어?
ML 엔지니어 최종 점수는 학습에 쓰지 않은 데이터 7,230건에서 측정한 균형 정확도 73.1%입니다. 균형 정확도는 클래스별로 맞힌 비율의 평균이라, 가입 고객과 비가입 고객을 한쪽으로 치우치지 않고 얼마나 잘 구분했는지를 보여줍니다. 개발 데이터에서 가장 좋았던 후보는 에이전트가 만든 후보(t2)로 74.1%였고, 하네스가 만든 기본 모델(t1)은 73.7%, 모델 계열을 바꾼 후보(t3)는 59.4%였습니다. 최종 확인 점수가 개발 점수보다 조금 낮은 것은 처음 보는 데이터에서 평가했기 때문입니다.
질문한 사람 어떤 항목이 결과에 가장 큰 영향을 줬어?
ML 엔지니어 개발 데이터에서 항목 값을 섞었을 때 균형 정확도가 가장 크게 떨어진 항목은 마지막연락월(15.4%p), 연락수단(14.3%p), 마지막연락일(12.3%p) 순입니다. 그다음으로 연평균잔액(7.0%p), 이번캠페인연락횟수(3.5%p)가 뒤를 잇고, 신용불량이력은 0.0%p로 영향이 거의 없었습니다. 다만 영향이 크다고 해서 그것이 점수의 원인이라는 뜻은 아닙니다.
질문한 사람 마지막연락월 5, 연락수단 미상, 마지막연락일 5이면 결과가 어떻게 나와?
ML 엔지니어 마지막연락월 5, 연락수단 미상, 마지막연락일 5로 읽었습니다. 보관된 모델로 직접 예측한 결과입니다 (말하지 않은 항목은 빈 값으로 넣었습니다): 1) 마지막연락월=5, 마지막연락일=5, 연락수단=미상 → 정기예금가입: 아니오
질문한 사람 이 모델 믿고 써도 돼?
ML 엔지니어 최종 점수는 학습에 쓰지 않은 데이터 7,230건에서 측정한 균형 정확도 73.1%이고, 개발 데이터에서는 에이전트가 만든 후보(t2)가 74.1%로 가장 높았습니다. 다만 이 대화에서는 재학습이나 새 평가를 바로 실행할 수 없으니, 실제 사용 전에는 별도 데이터로 한 번 더 확인해보시길 권합니다. 지금 결과만으로 무조건 믿어도 된다고 단정하기는 어렵습니다.
질문한 사람 더 좋게 만들 수 있어?
ML 엔지니어 이 대화에서는 재학습이나 새 평가를 바로 실행할 수 없어서 지금 모델을 더 좋게 만드는 작업은 여기서 진행되지 않습니다. 다만 기록을 보면 개발 데이터에서 에이전트가 만든 후보(t2, 원-핫 인코딩+결측 지시자)가 74.1%로 하네스 기본 모델(73.7%)보다 조금 높았고, 확률적 경사 부스팅으로 바꾼 후보(t3)는 59.4%로 더 낮았습니다. 시도해볼 수 있는 방향은 영향이 컸던 마지막연락월·연락수단·마지막연락일 같은 항목을 더 잘 다루는 전처리나 모델 계열을 새 작업에서 실험해보는 것입니다. 실제 사용 전에는 별도 데이터로 한 번 더 확인해보시길 권합니다.
질문한 사람 결과를 엑셀로 받을 수 있어?
ML 엔지니어 엑셀 파일로 바로 내보내는 기능은 없습니다. 대신 대화 아래 '보관된 모델' 카드의 '예측해보기'에서 한 건 직접 입력, JSON, 또는 CSV·JSON 파일(최대 100건, 2MB)로 예측하고 결과를 표로 볼 수 있습니다. 같은 카드의 '모델·소스 받기'로 학습된 전처리·모델 파일과 학습 소스, 실행 안내를 zip 으로 내려받을 수 있습니다.