‘churn’ 열을 예측해줘. 다음 달에 어떤 고객이 떠날지…

누구나 볼 수 있는 공개 기록입니다. 읽기 전용.

사용자의 요구

‘churn’ 열을 예측해줘. 다음 달에 어떤 고객이 떠날지 알고 싶어

대화

  1. ML 엔지니어 1,200행과 8개 항목을 읽었습니다. 첨부한 자료와 요청을 함께 확인합니다. 데이터를 살펴보거나 궁금한 내용을 물어볼 수 있습니다. 아직 모델 학습은 시작하지 않았습니다.
  2. 질문한 사람 ‘churn’ 열을 예측해줘. 다음 달에 어떤 고객이 떠날지 알고 싶어
  3. ML 엔지니어 'churn' 열을 예측하는 모델을 만들겠습니다. 다음 달에 떠날 고객을 알려면 이탈 여부를 맞히는 분류 모델이 필요합니다. 고객 ID는 예측에 쓰지 않고, 나이·요금제·월 요금·상담 횟수·가입 기간·데이터 사용량을 입력으로 사용합니다.
  4. ML 엔지니어 첫 모델을 만듭니다. 여러 방법을 시험해 가장 나은 것을 고르고, 마지막에 처음 보는 데이터로 한 번 더 확인합니다.
  5. ML 엔지니어 하네스 기본 후보를 시험했습니다. 균형 정확도 68.3%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
  6. ML 엔지니어 다음에 시험할 방법을 정했습니다. 기준선은 하네스가 만든 고정 템플릿이라 이 데이터에 맞춘 조정이 없습니다. 726행·6열 규모에서 랜덤 포레스트 400그루와 3겹 보정은 CPU 2개·메모리 2048MB·90초 한도에 여유 있게 들어가며, 소수 클래스 재현율을 끌어올려 balanced_accuracy를 높일 여지가 있습니다.
  7. ML 엔지니어 후보 2번을 시험했습니다. 균형 정확도 72.7%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
  8. ML 엔지니어 다음에 시험할 방법을 정했습니다. 현재 최고 모델(t2, balanced_accuracy 0.7269306036429324)은 소수 클래스를 여전히 과소 예측하므로, 임계값 조정으로 두 클래스 재현율 균형을 개선하는 실험을 제안합니다.
  9. ML 엔지니어 후보 3번을 시험했습니다. 균형 정확도 72.1%. 이전 후보가 더 좋아 그대로 둡니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
  10. ML 엔지니어 다음에 시험할 방법을 정했습니다. t3는 t2와 같은 RandomForest 계열에서 임계값만 바꾼 시도였고 점수가 0.7208715941592654로 t2의 0.7269306036429324보다 낮아, 같은 방향 반복은 근거가 약합니다. 그래서 모델 계열을 부스팅으로 바꾸는 실험을 제안합니다.
  11. ML 엔지니어 후보 4번을 시험했습니다. 균형 정확도 67.6%. 이전 후보가 더 좋아 그대로 둡니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
  12. ML 엔지니어 다음에 시험할 방법을 정했습니다. t2가 최고 점수(0.7269306036429324)이고 t3·t4는 같은 트리 계열 조정으로 개선되지 않았습니다. 임계값·보정 반복 대신 정규화된 선형 확률 모델로 방향을 바꿔 두 클래스 경계 분리를 시도합니다.
  13. ML 엔지니어 후보 5번을 시험했습니다. 균형 정확도 74.2%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
  14. ML 엔지니어 다음에 시험할 방법을 정했습니다. 현재 최고 후보 t5(로지스틱 회귀)를 유지한 채, t2의 트리 앙상블 확률을 소프트 보팅으로 결합해 두 클래스 경계를 더 분리하는 실험을 제안합니다. 같은 계열의 임계값·보정 반복이 아니라 서로 다른 모델 계열의 결합이므로 새로운 근거가 됩니다.
  15. ML 엔지니어 후보 6번을 시험했습니다. 균형 정확도 71.7%. 이전 후보가 더 좋아 그대로 둡니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
  16. ML 엔지니어 다음에 시험할 방법을 정했습니다. 현재 최고는 t5(0.7421)이고 t6 소프트 보팅은 0.7173으로 더 낮았습니다. 같은 트리 앙상블·임계값 조정은 이미 실패했으므로, t5의 로지스틱 회귀 정규화 강도를 낮춰 소수 클래스 재현율 균형을 개선하는 실험을 제안합니다.
  17. ML 엔지니어 후보 7번을 시험했습니다. 균형 정확도 73.1%. 이전 후보가 더 좋아 그대로 둡니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
  18. ML 엔지니어 점수가 오르지 않아 방향을 다시 봅니다. 같은 방향을 반복하지 않고, 남은 예산으로 다른 방법을 시험할지 지금까지 가장 좋은 후보로 마칠지 정합니다.
  19. ML 엔지니어 가장 좋은 후보로 마무리합니다. 에이전트가 후보 7개를 시험한 뒤 더 시험하지 않기로 했습니다. 남은 예산 9,999,036원 중 40원을 최종 확인에 씁니다. 지금까지 가장 좋은 후보만 처음 보는 데이터로 최종 확인합니다.
  20. ML 엔지니어 최종 확인을 마쳤습니다. 모델이 학습에 쓰지 않은 데이터에서 균형 정확도 74.4%입니다. 아래 보관된 모델 카드에서 이 결과로 예측을 시험해 볼 수 있습니다.