‘churn’ 열을 예측해줘. 다음 달에 어떤 고객이 떠날지…

누구나 볼 수 있는 공개 기록입니다. 읽기 전용.

사용자의 요구

‘churn’ 열을 예측해줘. 다음 달에 어떤 고객이 떠날지 알고 싶어

대화

  1. ML 엔지니어 1,200행, 8개 항목을 읽었습니다. 답의 기준은 ‘churn’ 열로 잡았습니다. 아래에서 맞는지 확인해 주세요.
  2. 질문한 사람 ‘churn’ 열을 예측해줘. 다음 달에 어떤 고객이 떠날지 알고 싶어
  3. ML 엔지니어 요청 원문으로 확인되지 않은 해석이 있어, 확인된 내용만 남겨 다시 정리하고 있습니다. 학습은 아직 시작하지 않았습니다.
  4. ML 엔지니어 'churn' 열을 예측하는 이진 분류 작업으로 계획합니다. 정답 열은 churn이며, 입력은 customer_id(식별자)를 제외한 안전한 특징 열 전체를 사용하고, 한 고객 행당 한 예측을 제안합니다. 스키마에 시간·날짜 열이 없어 '다음 달'은 현재 분포 기준 예측으로 해석하며 행 독립(IID) 가정을 적용합니다. 지표는 balanced_accuracy, 분할은 iid_feature_groups_60_20_20_v1, 평가 단위는 unique_feature_group, 결과 제공은 model을 제안합니다. 다음 행동은 이 계획을 기록하는 것입니다.
  5. ML 엔지니어 첫 모델을 만듭니다. 여러 방법을 시험해 가장 나은 것을 고르고, 마지막에 처음 보는 데이터로 한 번 더 확인합니다.
  6. ML 엔지니어 하네스 기본 후보를 시험했습니다. 균형 정확도 67.5%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
  7. ML 엔지니어 다음에 시험할 방법을 정했습니다. 기준선은 범주형 plan 열을 서수 코드로만 처리해 범주 간 구조를 잃습니다. 원-핫 인코딩으로 바꿔 이탈 예측 성능이 오르는지 확인하겠습니다.
  8. ML 엔지니어 후보 2번을 시험했습니다. 균형 정확도 69.9%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
  9. ML 엔지니어 다음에 시험할 방법을 정했습니다. t2가 원-핫 인코딩으로 기준선을 개선했지만 수치형 특징 처리는 아직 개선되지 않았습니다. 남은 시도 1회로 수치형 구간화라는 새로운 가설을 검증합니다.
  10. ML 엔지니어 후보 3번을 시험했습니다. 균형 정확도 70.3%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
  11. ML 엔지니어 가장 좋은 후보로 마무리합니다. 정해진 시도 횟수를 모두 썼습니다. 지금까지 가장 좋은 후보만 처음 보는 데이터로 최종 확인합니다.
  12. ML 엔지니어 최종 확인을 마쳤습니다. 모델이 학습에 쓰지 않은 데이터에서 균형 정확도 66.2%입니다. 아래 보관된 모델 카드에서 이 결과로 예측을 시험해 볼 수 있습니다.
  13. 질문한 사람 놓치는 고객을 더 줄여줘
  14. ML 엔지니어 놓치는 고객을 줄이는 방향으로 개선을 요청하신 것으로 읽었습니다. 같은 작업에서 새 후보를 만들어 개발 데이터로 비교합니다. 최종 점수는 같은 평가 데이터를 두 번 쓰지 않도록 다시 재지 않습니다. 개선 시도를 시작했습니다. 새 후보를 만들어 개발 데이터로 비교한 뒤 결과를 여기에 알려드립니다.
  15. ML 엔지니어 개선 후보 4번을 만듭니다. 요청: 이탈 고객을 놓치는 비율을 줄이도록, 개발 데이터에서 후보를 다시 만들어 비교해 주세요.
  16. ML 엔지니어 개선 후보 4번을 시험했습니다. 개발 점수 69.6% (-0.7%p) · 개선 폭이 -4.9%p ~ +4.0%p로 0을 걸쳐 우연 범위 안이라 채택하지 않습니다.
  17. ML 엔지니어 개선 후보 5번을 만듭니다. 요청: 이탈 고객을 놓치는 비율을 줄이도록, 개발 데이터에서 후보를 다시 만들어 비교해 주세요.
  18. ML 엔지니어 개선 후보 5번을 시험했습니다. 개발 점수 69.9% (-0.4%p) · 개선 폭이 -5.1%p ~ +4.3%p로 0을 걸쳐 우연 범위 안이라 채택하지 않습니다.
  19. ML 엔지니어 새 후보 2개를 시험했지만 확실히 나은 후보가 없어 기존 모델(개발 점수 70.3%)을 그대로 둡니다. 가장 나은 후보 5번도 개발 점수 69.9%(-0.4%p)로, 개선 폭이 -5.1%p ~ +4.3%p로 0을 걸쳐 우연 범위 안이라 채택하지 않습니다. 최종 점수는 원래 모델의 1회 측정값(66.2%)을 그대로 둡니다.
  20. 질문한 사람 나이 34살, basic 요금제, 월 29.9, 상담 5번, 가입 3개월 고객은 떠날까?
  21. ML 엔지니어 나이 34, basic 요금제, 월 29.9, 상담 5번, 가입 3개월로 읽었습니다. 보관된 모델로 직접 예측한 결과입니다 (말하지 않은 항목은 빈 값으로 넣었습니다): 1) age=34, monthly_fee=29.9, plan=basic, support_calls=5, tenure_months=3 → churn: yes