‘churn’ 열을 예측해줘. 다음 달에 어떤 고객이 떠날지…

누구나 볼 수 있는 공개 기록입니다. 읽기 전용.

사용자의 요구

‘churn’ 열을 예측해줘. 다음 달에 어떤 고객이 떠날지 알고 싶어

대화

  1. ML 엔지니어 1,200행과 8개 항목을 읽었습니다. 첨부한 자료와 요청을 함께 확인합니다. 데이터를 살펴보거나 궁금한 내용을 물어볼 수 있습니다. 아직 모델 학습은 시작하지 않았습니다.
  2. 질문한 사람 ‘churn’ 열을 예측해줘. 다음 달에 어떤 고객이 떠날지 알고 싶어
  3. ML 엔지니어 'churn' 열을 예측하는 모델을 만들겠습니다. 다음 달에 떠날 고객을 알려면 고객별 이탈 확률을 내는 분류 모델이 필요합니다. 지금은 학습을 실행하지 않았고, 아래 계획만 세웠습니다.
  4. ML 엔지니어 첫 모델을 만듭니다. 여러 방법을 시험해 가장 나은 것을 고르고, 마지막에 처음 보는 데이터로 한 번 더 확인합니다.
  5. ML 엔지니어 하네스 기본 후보를 시험했습니다. 균형 정확도 64.3%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
  6. ML 엔지니어 다음에 시험할 방법을 정했습니다. 기본 하네스 모델은 튜닝되지 않은 참조점이고 아직 모델이 직접 설계한 시도가 없습니다. 개발 진단에서 소수 클래스 재현율이 낮아 개선 여지가 있으므로, 범주형 인코딩과 부스팅 설정을 바꾼 실험을 한 번 제안합니다.
  7. ML 엔지니어 후보 2번을 시험했습니다. 균형 정확도 69.1%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
  8. ML 엔지니어 다음에 시험할 방법을 정했습니다. t2가 0.6914로 최고 점수지만 class_1 재현율이 0.6224로 낮아 균형이 남아 있습니다. class_weight 완화와 트리 복잡도 제한으로 두 클래스 재현율 균형을 개선하는 실험을 제안합니다.
  9. ML 엔지니어 후보 3번을 시험했습니다. 균형 정확도 67.1%. 이전 후보가 더 좋아 그대로 둡니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
  10. ML 엔지니어 다음에 시험할 방법을 정했습니다. t2가 0.6914로 최고이고 t3는 0.6710으로 하락했습니다. t3에서 class_weight 제거가 class_2 재현율을 떨어뜨린 정황이 있으므로, t2의 class_weight='balanced'는 유지하고 트리 복잡도만 중간값으로 조정해 class_1 재현율 개선을 시도합니다.
  11. ML 엔지니어 후보 4번을 시험했습니다. 균형 정확도 66.2%. 이전 후보가 더 좋아 그대로 둡니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
  12. ML 엔지니어 점수가 오르지 않아 방향을 다시 봅니다. 같은 방향을 반복하지 않고, 남은 예산으로 다른 방법을 시험할지 지금까지 가장 좋은 후보로 마칠지 정합니다.
  13. ML 엔지니어 다음에 시험할 방법을 정했습니다. t2가 0.6914로 최고이고 t3·t4는 같은 트리 계열 조정으로 개선되지 않았습니다. 같은 방향 반복 대신 선형 모델로 전환해 두 클래스 재현율 균형을 시도합니다.
  14. ML 엔지니어 후보 5번을 시험했습니다. 균형 정확도 66.0%. 이전 후보가 더 좋아 그대로 둡니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다. 방향을 바꾼 후보도 이전 최선을 넘지 못해 이전 최선을 그대로 둡니다.
  15. ML 엔지니어 다음에 시험할 방법을 정했습니다. t2가 0.6914로 최고이고 t3·t4·t5는 모두 더 낮았습니다. 같은 트리 계열의 복잡도 조정과 선형 모델 전환은 이미 실패했으므로, t2를 부모로 두고 plan과 수치형 열의 상호작용 특성을 추가하는 실험을 제안합니다.
  16. ML 엔지니어 후보 6번을 시험했습니다. 균형 정확도 64.8%. 이전 후보가 더 좋아 그대로 둡니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
  17. ML 엔지니어 다음에 시험할 방법을 정했습니다. t2가 0.6914로 최고 성능을 유지하고 있고, t3~t6의 변형은 모두 t2보다 낮았습니다. t2의 class_1.recall이 class_2.recall보다 낮아 balanced_accuracy가 제한되므로, plan과 수치형 열의 상호작용을 추가해 두 클래스 재현율 균형을 개선하는 실험을 제안합니다.
  18. ML 엔지니어 가장 좋은 후보로 마무리합니다. 이미 시험한 코드와 같아 다시 학습하지 않았습니다. 지금까지 가장 좋은 후보만 처음 보는 데이터로 최종 확인합니다.
  19. ML 엔지니어 최종 확인을 마쳤습니다. 모델이 학습에 쓰지 않은 데이터에서 균형 정확도 67.1%입니다. 아래 보관된 모델 카드에서 이 결과로 예측을 시험해 볼 수 있습니다.