전화했을 때 정기예금에 가입할 고객을 잘 골라내는 모델을 만…

누구나 볼 수 있는 공개 기록입니다. 읽기 전용.

사용자의 요구

전화했을 때 정기예금에 가입할 고객을 잘 골라내는 모델을 만들어줘

대화

ML 엔지니어 36,171행, 17개 항목을 읽었습니다. 답의 기준은 ‘정기예금가입’ 열로 잡았습니다. 아래에서 맞는지 확인해 주세요.
질문한 사람 전화했을 때 정기예금에 가입할 고객을 잘 골라내는 모델을 만들어줘
ML 엔지니어 요청 원문으로 확인되지 않은 해석이 있어, 확인된 내용만 남겨 다시 정리하고 있습니다. 학습은 아직 시작하지 않았습니다.
ML 엔지니어 등록 과제(bank-trial) 조건에 맞춰 정기예금가입 분류 모델을 계획합니다. 정답 열은 정기예금가입, 지표는 balanced_accuracy, 금지 입력은 통화시간초이며, 결과 제공은 호스트 제출 흐름을 따릅니다. 사용자 원문에는 입력·예측 단위·제공 형식이 명시되지 않았으므로 해당 항목은 사용자 요구로 인용하지 않습니다. 추가 질문은 없습니다.
ML 엔지니어 첫 모델을 만듭니다. 여러 방법을 시험해 가장 나은 것을 고르고, 마지막에 처음 보는 데이터로 한 번 더 확인합니다.
ML 엔지니어 하네스 기본 후보를 시험했습니다. 균형 정확도 73.7%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 다음에 시험할 방법을 정했습니다. 기준 모델은 명목형 변수를 순서형 코드로 처리해 범주 간 임의 순서를 부여합니다. 원-핫 인코딩으로 이 가정을 제거하는 실험이 남은 예산 안에서 근거 있게 검증할 수 있는 다음 단계입니다.
ML 엔지니어 후보 2번을 시험했습니다. 균형 정확도 74.1%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 가장 좋은 후보로 마무리합니다. 에이전트가 후보 2개를 시험한 뒤 더 시험하지 않기로 했습니다(최대 3개). 남은 예산 616원 중 40원을 최종 확인에 씁니다. 지금까지 가장 좋은 후보만 처음 보는 데이터로 최종 확인합니다.
ML 엔지니어 최종 확인을 마쳤습니다. 모델이 학습에 쓰지 않은 데이터에서 균형 정확도 73.1%입니다. 아래 보관된 모델 카드에서 이 결과로 예측을 시험해 볼 수 있습니다.
질문한 사람 왜 이 점수가 나왔어?
ML 엔지니어 최종 점수는 학습에 쓰지 않은 데이터 7,230건에서 측정한 균형 정확도 73.1%입니다. 균형 정확도는 클래스별로 맞힌 비율의 평균이라, 가입/비가입 어느 한쪽이 많아도 한쪽만 잘 맞히면 점수가 올라가지 않습니다. 이 점수는 하네스가 만든 기본 모델(개발 데이터 73.7%)보다 조금 나은, 에이전트가 만든 후보가 선택된 결과입니다. 영향도를 보면 마지막연락월(15.4%p), 연락수단(14.3%p), 마지막연락일(12.3%p) 순으로 컸지만, 영향이 크다고 원인이라는 뜻은 아닙니다.
질문한 사람 어떤 항목이 결과에 가장 큰 영향을 줬어?
ML 엔지니어 영향도는 개발 데이터 250건에서 각 항목 값을 섞었을 때 균형 정확도가 얼마나 떨어지는지로 측정했습니다. 가장 큰 항목은 마지막연락월(15.4%p), 연락수단(14.3%p), 마지막연락일(12.3%p) 순이고, 그다음이 연평균잔액(7.0%p), 이번캠페인연락횟수(3.5%p)입니다. 신용불량이력은 0.0%p로 영향이 거의 없었습니다. 다만 영향이 크다고 그 항목이 원인이라는 뜻은 아닙니다.
질문한 사람 이 모델 믿고 써도 돼?
ML 엔지니어 최종 점수는 학습에 쓰지 않은 데이터 7,230건에서 측정한 균형 정확도 73.1%이고, 이는 하네스가 만든 기본 모델(개발 데이터 73.7%)보다 조금 나은 에이전트가 만든 후보의 결과입니다. 다만 이 점수는 개발 데이터 250건에서 측정한 영향도와 별개로, 가입/비가입 어느 한쪽이 많아도 한쪽만 잘 맞히면 올라가지 않는 지표라 실제 운영 환경의 성능을 보장하지는 않습니다. 참고용으로만 쓰시고, 중요한 결정에는 별도 검증을 거치시길 권합니다.
질문한 사람 더 좋게 만들 수 있어?
ML 엔지니어 이 대화에서는 재학습이나 새 평가를 바로 실행할 수 없습니다. 다만 왼쪽 '+ 새 작업'에서 같은 데이터를 다시 올려 다른 조건(지표, 제외할 열 등)으로 처음부터 새 모델을 만들어볼 수 있습니다. 지금 선택된 모델은 개발 데이터 250건에서 측정한 영향도 기준으로 마지막연락월(15.4%p), 연락수단(14.3%p), 마지막연락일(12.3%p) 항목의 영향이 컸으니, 새 작업에서 이 항목들을 다르게 다루는 조건을 시도해볼 수 있습니다.
질문한 사람 결과를 엑셀로 받을 수 있어?
ML 엔지니어 엑셀 파일로 바로 내보내는 기능은 없습니다. 대신 대화 아래 '보관된 모델' 카드의 '모델·소스 받기'에서 학습된 전처리·모델 파일과 학습 소스, 실행 안내를 zip으로 내려받을 수 있고, 같은 카드의 '예측해보기'에서 한 건 직접 입력하거나 JSON, CSV·JSON 파일(최대 100건, 2MB)로 예측해 결과를 표로 볼 수 있습니다.