전화했을 때 정기예금에 가입할 고객을 잘 골라내는 모델을 만…

누구나 볼 수 있는 공개 기록입니다. 읽기 전용.

사용자의 요구

전화했을 때 정기예금에 가입할 고객을 잘 골라내는 모델을 만들어줘

대화

  1. ML 엔지니어 36,171행, 17개 항목을 읽었습니다. 답의 기준은 ‘정기예금가입’ 열로 잡았습니다. 아래에서 맞는지 확인해 주세요.
  2. 질문한 사람 전화했을 때 정기예금에 가입할 고객을 잘 골라내는 모델을 만들어줘
  3. ML 엔지니어 요청 원문으로 확인되지 않은 해석이 있어, 확인된 내용만 남겨 다시 정리하고 있습니다. 학습은 아직 시작하지 않았습니다.
  4. ML 엔지니어 등록 과제 조건에 따라 정기예금 가입 고객 분류 모델을 설계했습니다. 허용 입력 열 전체를 사용하고 금지 열 통화시간초는 제외하며, 목표 열 정기예금가입과 지표 balanced_accuracy는 호스트가 연결합니다. 결과 제공은 호스트 제출 흐름에 따라 model을 제안합니다. 추가 질문은 없습니다.
  5. ML 엔지니어 첫 모델을 만듭니다. 여러 방법을 시험해 가장 나은 것을 고르고, 마지막에 처음 보는 데이터로 한 번 더 확인합니다.
  6. ML 엔지니어 하네스 기본 후보를 시험했습니다. 균형 정확도 73.7%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
  7. ML 엔지니어 다음에 시험할 방법을 정했습니다. 기준 모델은 범주형 변수를 단일 순번 코드로만 처리해 연락 이력 변수들의 상호작용을 활용하지 못합니다. 원-핫 인코딩과 연락 이력 파생 변수를 추가해 같은 학습기에서 성능 향상 여부를 검증하겠습니다.
  8. ML 엔지니어 학습 코드가 실행 중 오류를 냈습니다. 기록은 남겨 두고, 고칠 수 있는 오류인지 확인합니다. 아직 점수는 없습니다.
  9. ML 엔지니어 에이전트가 오류를 고칩니다. 오류 내용을 보고 코드를 다시 써서 같은 조건으로 다시 시험합니다. 예산과 평가 방식은 그대로입니다.
  10. ML 엔지니어 학습 코드가 실행 중 오류를 냈습니다. 기록은 남겨 두고, 고칠 수 있는 오류인지 확인합니다. 아직 점수는 없습니다.
  11. ML 엔지니어 가장 좋은 후보로 마무리합니다. 오류 수정은 한 번까지라 시험을 멈췄습니다. 지금까지 가장 좋은 후보만 처음 보는 데이터로 최종 확인합니다.
  12. ML 엔지니어 최종 확인을 마쳤습니다. 모델이 학습에 쓰지 않은 데이터에서 균형 정확도 73.1%입니다. 아래 보관된 모델 카드에서 이 결과로 예측을 시험해 볼 수 있습니다.
  13. 질문한 사람 왜 이 점수가 나왔어?
  14. ML 엔지니어 최종 확인 점수는 학습에 쓰지 않은 데이터 7230건에서 측정한 균형 정확도 73.1%입니다. 균형 정확도는 클래스별로 맞힌 비율을 평균한 값이라, 가입/비가입 어느 한쪽이 많아도 한쪽만 잘 맞히면 점수가 낮게 나옵니다. 이 모델은 하네스가 만든 기본 모델로, 숫자형은 중앙값, 나머지는 최빈값 대체 후 순서형 코드로 바꾸고 히스토그램 그래디언트 부스팅에 클래스 가중치를 준 구조입니다. 개발 데이터에서 영향이 컸던 항목은 마지막연락월(14.1%p), 연락수단(12.8%p), 마지막연락일(11.8%p) 순이었지만, 영향이 크다고 해서 그것이 점수의 원인이라는 뜻은 아닙니다.
  15. 질문한 사람 어떤 항목이 결과에 가장 큰 영향을 줬어?
  16. ML 엔지니어 개발 데이터에서 영향이 가장 컸던 항목은 마지막연락월(14.1%p), 연락수단(12.8%p), 마지막연락일(11.8%p) 순입니다. 그다음은 연평균잔액(6.3%p), 결혼여부(2.8%p), 이전캠페인후경과일(2.8%p)이었습니다. 이 값들은 해당 항목을 섞었을 때 개발 데이터 균형 정확도가 떨어진 폭이고, 영향이 크다고 해서 그것이 점수의 원인이라는 뜻은 아닙니다.
  17. 질문한 사람 마지막연락월 5, 연락수단 미상, 마지막연락일 5이면 결과가 어떻게 나와?
  18. ML 엔지니어 마지막연락월 5, 연락수단 미상, 마지막연락일 5로 읽었습니다. 보관된 모델로 직접 예측한 결과입니다 (말하지 않은 항목은 빈 값으로 넣었습니다): 1) 마지막연락월=5, 마지막연락일=5, 연락수단=미상 → 정기예금가입: 예
  19. 질문한 사람 이 모델 믿고 써도 돼?
  20. ML 엔지니어 최종 확인 점수는 학습에 쓰지 않은 데이터 7230건에서 측정한 균형 정확도 73.1%입니다. 균형 정확도는 클래스별로 맞힌 비율을 평균한 값이라, 가입/비가입 어느 한쪽이 많아도 한쪽만 잘 맞히면 점수가 낮게 나옵니다. 이 모델은 하네스가 만든 기본 모델로, 숫자형은 중앙값, 나머지는 최빈값 대체 후 순서형 코드로 바꾸고 히스토그램 그래디언트 부스팅에 클래스 가중치를 준 구조입니다. 참고용으로는 쓸 수 있지만, 그대로 믿고 중요한 결정에 쓰기에는 점수와 구조를 함께 보시는 게 좋습니다.
  21. 질문한 사람 더 좋게 만들 수 있어?
  22. ML 엔지니어 이 대화에서는 재학습이나 새 평가를 바로 실행하지 않습니다. 다만 시도해볼 수 있는 방향은 있습니다: 하네스 기본 모델이 범주형을 순서형 코드 하나로만 다뤄 이전캠페인결과·이전캠페인후경과일·이번캠페인연락횟수 같은 항목 간 상호작용을 못 살린 점을 원-핫 인코딩으로 바꿔보는 후보(t2)가 있었지만 실행 오류로 실패했고, 그 오류를 고친 재시도(t3)도 실패해 학습 수리 한도에서 멈췄습니다. 왼쪽 '+ 새 작업'으로 다른 데이터 파일을 쓰면 새 모델을 만들 수 있고, 이미 쓴 같은 파일은 평가 데이터가 섞이지 않도록 새 작업에 다시 쓸 수 없습니다. 참고로 최종 확인 점수는 학습에 쓰지 않은 데이터 7230건에서 측정한 균형 정확도 73.1%입니다.
  23. 질문한 사람 결과를 엑셀로 받을 수 있어?
  24. ML 엔지니어 엑셀 파일로 바로 내보내는 기능은 없습니다. 대신 대화 아래 '보관된 모델' 카드의 '모델·소스 받기'에서 학습된 전처리·모델 파일과 학습 소스, 실행 안내를 zip으로 내려받을 수 있고, 같은 카드의 '예측해보기'에서 한 건 직접 입력하거나 JSON, 또는 CSV·JSON 파일(최대 100건, 2MB)로 예측해 결과를 표로 볼 수 있습니다.