전화 마케팅을 하면 정기예금에 가입할 것 같은 고객을 미리…

누구나 볼 수 있는 공개 기록입니다. 읽기 전용.

사용자의 요구

전화 마케팅을 하면 정기예금에 가입할 것 같은 고객을 미리 골라줘

데이터 누수 방지

  • 학습에 쓰지 않고 따로 떼어 둔 9,043행으로만 채점했습니다.
  • 통화시간초: 사용자가 제외 — 학습에서 제외

시도한 모델

  • linear — 연습 점수 68.1 · 떼어 둔 데이터 68.5 · 탈락
  • hist_gradient_boosting — 연습 점수 73.0 · 떼어 둔 데이터 74.1 · 채택
  • baseline — 연습 점수 50.0 · 떼어 둔 데이터 50.0 · 비교 기준

채택 이유

우연히 이긴 것이 아닌지 400번 다시 뽑아 확인했습니다 (최소 차이 0.2점 필요).

홀드아웃 점수

74점 / 100 · 아무 정보 없이 찍으면 50점 · 따로 떼어 둔 9,043행으로 확인

다운로드 가능한 산출물

대화

  1. 질문한 사람 전화 마케팅을 하면 정기예금에 가입할 것 같은 고객을 미리 골라줘
  2. ML 엔지니어 45,211행, 17개 항목을 읽었습니다. 답의 기준은 ‘정기예금가입’ 열로 잡았습니다. 아래에서 맞는지 확인해 주세요.
  3. ML 엔지니어 모델 1을 만들었습니다. 따로 떼어 둔 9,043행에서 실제 ‘아니오’ 7,985개 중 6,946개, 실제 ‘예’ 1,058개 중 903개를 맞혔습니다. 맞힌 비율의 평균이 점수 86점입니다. 전부 같은 답이라고만 하면 50점입니다. 아래에서 바로 써보세요.
  4. 질문한 사람 통화시간초는 전화를 걸기 전에는 알 수 없는 값이야. 이 열은 빼고 다시 만들어줘
  5. ML 엔지니어 알겠습니다. '통화시간초'는 전화 전에는 알 수 없으므로 학습에서 제외하고 새 모델을 만들겠습니다. 이 열을 빼면 따로 떼어 둔 데이터에서 점수가 약 22점(21.9점) 떨어질 것으로 보이지만, 실제 사용에서는 이 값을 알 수 없으므로 빼는 것이 맞습니다. 새 모델은 이전 모델과 점수를 다투지 않고 단순 기준만 넘으면 채택됩니다. 바로 재학습을 시작하겠습니다.
  6. ML 엔지니어 분리 평가를 통과해 v2으로 교체했습니다.
  7. 질문한 사람 어떤 항목이 답에 가장 큰 영향을 줬어?
  8. ML 엔지니어 현재 모델에서 가장 큰 영향을 준 항목은 '마지막연락월'입니다. 이 항목을 섞어 보면 따로 떼어 둔 데이터에서 점수가 약 9점(9.4점) 떨어집니다. 다음으로 '연락수단'이 약 6점(6.2점), '마지막연락일'이 약 4점(3.9점) 정도 영향을 줍니다.