전화했을 때 정기예금에 가입할 고객을 잘 골라내는 모델을 만…

누구나 볼 수 있는 공개 기록입니다. 읽기 전용.

사용자의 요구

전화했을 때 정기예금에 가입할 고객을 잘 골라내는 모델을 만들어줘

대화

ML 엔지니어 36,171행, 17개 항목을 읽었습니다. 답의 기준은 ‘정기예금가입’ 열로 잡았습니다. 아래에서 맞는지 확인해 주세요.
질문한 사람 전화했을 때 정기예금에 가입할 고객을 잘 골라내는 모델을 만들어줘
ML 엔지니어 요청 원문으로 확인되지 않은 해석이 있어, 확인된 내용만 남겨 다시 정리하고 있습니다. 학습은 아직 시작하지 않았습니다.
ML 엔지니어 전화 시 정기예금 가입 고객을 선별하는 분류 모델을 계획합니다. 등록 과제 조건(정답 열 정기예금가입, 지표 balanced_accuracy, 금지 입력 통화시간초)을 반영하고, 허용 입력 열 전체를 특징으로 사용하는 기술 제안을 engineering_plan에 둡니다. 사용자 원문에는 입력 열 지정이 없으므로 task_brief에는 인용 가능한 요구가 없습니다. 다음 행동은 이 결정을 기록한 뒤 호스트가 연결한 학습·평가 흐름을 따르는 것입니다.
ML 엔지니어 첫 모델을 만듭니다. 여러 방법을 시험해 가장 나은 것을 고르고, 마지막에 처음 보는 데이터로 한 번 더 확인합니다.
ML 엔지니어 하네스 기본 후보를 시험했습니다. 균형 정확도 73.7%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 다음에 시험할 방법을 정했습니다. 기준선이 명목형 범주를 임의 순서의 정수 코드로 바꿔 범주 구조를 잃고 있어, 원-핫 인코딩으로 범주별 분기를 가능하게 하는 실험을 제안합니다.
ML 엔지니어 후보 2번을 시험했습니다. 균형 정확도 74.1%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 가장 좋은 후보로 마무리합니다. 에이전트가 후보 2개를 시험한 뒤 더 시험하지 않기로 했습니다(최대 3개). 남은 예산 616원 중 40원을 최종 확인에 씁니다. 지금까지 가장 좋은 후보만 처음 보는 데이터로 최종 확인합니다.
ML 엔지니어 최종 확인을 마쳤습니다. 모델이 학습에 쓰지 않은 데이터에서 균형 정확도 73.1%입니다. 아래 보관된 모델 카드에서 이 결과로 예측을 시험해 볼 수 있습니다.
질문한 사람 왜 이 점수가 나왔어?
ML 엔지니어 최종 확인 점수는 학습에 쓰지 않은 데이터 7230건에서 측정한 균형 정확도 73.1%입니다. 균형 정확도는 클래스별로 맞힌 비율의 평균이라, 가입 고객과 비가입 고객을 한쪽으로 몰아 찍는 방식으로는 잘 나오지 않습니다. 개발 데이터에서는 하네스가 만든 기본 모델이 73.7%, 에이전트가 만든 후보가 74.1%였고, 그중 가장 좋았던 에이전트 후보를 처음 보는 데이터로 확인한 값이 73.1%입니다.
질문한 사람 어떤 항목이 결과에 가장 큰 영향을 줬어?
ML 엔지니어 개발 데이터에서 항목 값을 섞었을 때 균형 정확도가 가장 많이 떨어진 항목은 마지막연락월(15.4%p), 연락수단(14.3%p), 마지막연락일(12.3%p) 순입니다. 그다음으로 연평균잔액(7.0%p), 이번캠페인연락횟수(3.5%p)가 뒤따릅니다. 신용불량이력은 0.0%p로 영향이 거의 없었습니다. 영향이 크다고 해서 그것이 결과의 원인이라는 뜻은 아닙니다.
질문한 사람 마지막연락월 5, 연락수단 미상, 마지막연락일 5이면 결과가 어떻게 나와?
ML 엔지니어 마지막연락월 5, 연락수단 미상, 마지막연락일 5로 읽었습니다. 보관된 모델로 직접 예측한 결과입니다 (말하지 않은 항목은 빈 값으로 넣었습니다): 1) 마지막연락월=5, 마지막연락일=5, 연락수단=미상 → 정기예금가입: 아니오
질문한 사람 이 모델 믿고 써도 돼?
ML 엔지니어 최종 확인 점수는 학습에 쓰지 않은 데이터 7230건에서 측정한 균형 정확도 73.1%이고, 개발 데이터에서는 에이전트가 만든 후보가 74.1%로 하네스가 만든 기본 모델 73.7%보다 조금 높았습니다. 다만 이 점수는 지금까지 본 데이터에서의 성능이라, 실제 전화 대상이 지금과 비슷한 분포라고 단정할 수는 없습니다. 새 데이터로 다시 확인하거나 새 평가를 돌리는 일은 이 대화에서 바로 실행되지 않으니, 필요하면 왼쪽 '+ 새 작업'으로 별도 작업을 만들어 확인하는 방법을 제안할 수 있습니다. 참고로 영향이 큰 항목은 마지막연락월(15.4%p), 연락수단(14.3%p), 마지막연락일(12.3%p) 순이었지만, 영향이 크다고 해서 그것이 결과의 원인이라는 뜻은 아닙니다.
질문한 사람 더 좋게 만들 수 있어?
ML 엔지니어 지금 대화에서 바로 재학습이나 새 평가를 실행할 수는 없습니다. 다만 왼쪽 '+ 새 작업'으로 다른 데이터 파일을 올려 새 모델을 만들어 보는 방법을 제안할 수 있습니다. 이미 쓴 같은 파일은 평가 데이터가 섞이지 않도록 새 작업에 다시 쓸 수 없습니다.
질문한 사람 결과를 엑셀로 받을 수 있어?
ML 엔지니어 엑셀 파일로 바로 내보내는 기능은 없습니다. 대신 '보관된 모델' 카드의 '모델·소스 받기'에서 학습된 전처리·모델 파일과 학습 소스, 실행 안내를 zip으로 내려받을 수 있고, 같은 카드의 '예측해보기'에서는 한 건 직접 입력하거나 JSON, 또는 CSV·JSON 파일(최대 100건, 2MB)로 예측해 결과를 표로 볼 수 있습니다.