‘churn’ 열을 예측해줘. 다음 달에 어떤 고객이 떠날지…

누구나 볼 수 있는 공개 기록입니다. 읽기 전용.

사용자의 요구

‘churn’ 열을 예측해줘. 다음 달에 어떤 고객이 떠날지 알고 싶어

대화

  1. ML 엔지니어 1,200행, 7개 항목을 읽었습니다. 답의 기준은 ‘churn’ 열로 잡았습니다. 아래에서 맞는지 확인해 주세요.
  2. 질문한 사람 ‘churn’ 열을 예측해줘. 다음 달에 어떤 고객이 떠날지 알고 싶어
  3. ML 엔지니어 응답을 완료하지 못했습니다. 사용자 요구와 모델의 해석이 일치하는지 다시 확인해야 합니다. 학습은 시작하지 않았습니다. 학습은 시작하지 않았으며 아직 사용할 모델이 없습니다.
  4. ML 엔지니어 'churn' 열을 예측하는 이진 분류 작업으로 계획합니다. 등록된 호스트 조건에 따라 목표 열 churn, 허용 입력 열 전체, 지표 balanced_accuracy, 결과 제공 model을 제안하며, 사용자가 명시한 요구는 churn 예측과 다음 달 이탈 고객 파악뿐입니다. 예측 단위는 사용자가 명시하지 않았으므로 기술적 기본값으로 제안합니다.
  5. ML 엔지니어 첫 모델을 만듭니다. 여러 방법을 시험해 가장 나은 것을 고르고, 마지막에 처음 보는 데이터로 한 번 더 확인합니다.
  6. ML 엔지니어 하네스 기본 후보를 시험했습니다. 균형 정확도 70.2%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
  7. ML 엔지니어 다음에 시험할 방법을 정했습니다. 기준 모델은 범주형 열을 순서형 코드로 처리해 명목형 변수의 순서를 임의로 부여합니다. 원-핫 인코딩과 약간 조정한 부스팅 설정으로 이탈 예측 성능이 개선되는지 검증합니다.
  8. ML 엔지니어 후보 2번을 시험했습니다. 균형 정확도 69.0%. 이전 후보가 더 좋아 그대로 둡니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
  9. ML 엔지니어 점수가 오르지 않아 방향을 다시 봅니다. 같은 방향을 반복하지 않고, 남은 예산으로 다른 방법을 시험할지 지금까지 가장 좋은 후보로 마칠지 정합니다.
  10. ML 엔지니어 가장 좋은 후보로 마무리합니다. 에이전트가 후보 2개를 시험한 뒤 더 시험하지 않기로 했습니다(최대 3개). 남은 예산 616원 중 40원을 최종 확인에 씁니다. 지금까지 가장 좋은 후보만 처음 보는 데이터로 최종 확인합니다.
  11. ML 엔지니어 최종 확인을 마쳤습니다. 모델이 학습에 쓰지 않은 데이터에서 균형 정확도 63.7%입니다. 아래 보관된 모델 카드에서 이 결과로 예측을 시험해 볼 수 있습니다.
  12. 질문한 사람 왜 이 점수가 나왔어?
  13. ML 엔지니어 현재 작업의 데이터·실행 근거를 다시 확인해야 합니다. 기존 기록은 보존했습니다.
  14. 질문한 사람 어떤 항목이 결과에 가장 큰 영향을 줬어?
  15. ML 엔지니어 현재 작업의 데이터·실행 근거를 다시 확인해야 합니다. 기존 기록은 보존했습니다.
  16. 질문한 사람 나이 34살, basic 요금제, 월 29.9, 상담 5번, 가입 3개월인 고객은 떠날까?
  17. ML 엔지니어 현재 작업의 데이터·실행 근거를 다시 확인해야 합니다. 기존 기록은 보존했습니다.
  18. 질문한 사람 놓치는 고객을 더 줄여줘
  19. ML 엔지니어 현재 작업의 데이터·실행 근거를 다시 확인해야 합니다. 기존 기록은 보존했습니다.
  20. 질문한 사람 왜 이 점수가 나왔어?
  21. ML 엔지니어 이 점수는 최종 평가 지표인 균형 정확도(balanced_accuracy) 값입니다. 균형 정확도는 클래스별로 맞힌 비율을 각각 구한 뒤 그 평균을 낸 값이라, 떠난 고객과 남은 고객처럼 한쪽이 적은 데이터에서도 한쪽만 잘 맞히는 모델이 높은 점수를 받지 못하게 합니다. 선택된 모델은 하네스가 만든 기본 모델(t1)이고, 이 모델의 최종 평가 점수는 0.6374172185430463입니다. 이 값은 후보들이 학습하거나 선택에 쓰지 않은 held-out 데이터 239개(unique_feature_group 단위)에서 측정된 기록입니다. 참고로 개발 단계 점수는 하네스 기본 모델 t1이 0.7018362432269717, 에이전트가 만든 후보 t2가 0.6900210716435882였고, 최종 평가에서는 t1이 선택되었습니다. 왜 이런 값이 나왔는지에 대해 기록으로 확인되는 범위는 다음과 같습니다. 이 모델은 나이(age), 월 요금(monthly_fee), 요금제(plan), 상담 횟수(support_calls), 가입 기간(tenure_months)을 입력으로 사용합니다. 숫자 열은 중앙값으로 결측을 채우고, 나머지 열은 최빈값으로 채운 뒤 순서형 코드(ordinal codes)로 변환하며, 모델은 고정 설정의 히스토그램 그래디언트 부스팅이고, 지표가 클래스 평균을 내는 방식이라 클래스 가중치(class_weight='balanced')를 적용합니다. 다만 어떤 항목이 이 점수에 얼마나 영향을 줬는지는 아직 측정 기록에 없습니다. 따라서 각 입력 변수의 기여도나 영향도 수치는 말씀드릴 수 없고, 모델 코드가 어떤 입력을 어떤 방식으로 쓰는지만 설명할 수 있습니다. 놓치는 고객을 더 줄이는 개선(재학습, 새 평가, 열 제외 등)은 이 대화에서 바로 실행되지 않습니다. 시도해볼 수 있는 방향으로는, 명목형 범주(요금제 등)를 순서형 코드 대신 원-핫 인코딩으로 바꿔보는 것, 클래스 가중치나 판정 임계값을 조정해 떠난 고객 쪽 재현율을 높여보는 것, 하이퍼파라미터를 바꿔 후보를 다시 만들어 held-out 데이터로 비교 평가하는 것 등이 있습니다.
  22. 질문한 사람 어떤 항목이 결과에 가장 큰 영향을 줬어?
  23. ML 엔지니어 영향도는 아직 측정 기록에 없습니다. 기록에 있는 것은 후보별 개발 점수와 최종 평가 점수뿐이고, 어떤 항목이 얼마나 기여했는지에 대한 수치(변수 중요도 등)는 없습니다. 다만 선택된 모델(하네스가 만든 기본 모델 t1)의 코드가 어떤 입력을 어떻게 쓰는지는 설명할 수 있습니다. 이 모델은 숫자형 열(age, monthly_fee, support_calls, tenure_months)은 중앙값으로 결측을 채우고, 그 외 열(plan)은 최빈값으로 채운 뒤 순서형 코드로 바꿔서, 히스토그램 그래디언트 부스팅에 그대로 넣습니다. 즉 다섯 개 입력 열이 모두 모델에 들어가며, 범주형인 plan은 순서 정보 없이 임의의 숫자 코드로 변환되어 사용됩니다. 참고로 개발 단계 점수는 t1 0.7018362432269717, 에이전트가 만든 후보 t2 0.6900210716435882였고, 최종 평가(균형 정확도, held-out 239개 unique_feature_group)에서는 t1이 0.6374172185430463을 기록했습니다. 재학습이나 열 제외 같은 개선 요청은 이 대화에서 바로 실행되지 않습니다. 시도해볼 수 있는 방향으로는 범주형 열을 순서형 코드 대신 원-핫 등 명목형 처리로 바꾸는 것, 또는 변수 중요도를 별도로 측정해 기여도를 확인하는 것을 제안할 수 있습니다.
  24. 질문한 사람 나이 34살, basic 요금제, 월 29.9, 상담 5번, 가입 3개월인 고객은 떠날까?
  25. ML 엔지니어 나이 34살, basic 요금제, 월 29.9, 상담 5번, 가입 3개월인 고객의 이탈 여부는 시스템이 보관 모델로 계산해 붙입니다. 참고로 이 작업에서 선택된 모델은 하네스가 만든 기본 모델(t1)이고, 최종 평가 점수는 균형 정확도 0.6374172185430463(held-out 239개, unique_feature_group 단위)입니다. 이 점수는 클래스별로 맞힌 비율의 평균이라 한쪽 클래스만 잘 맞히는 모델이 높은 점수를 받지 못합니다. 어떤 항목이 결과에 얼마나 영향을 줬는지는 아직 측정 기록에 없어서 말할 수 없고, 다만 모델 코드가 age, monthly_fee, plan, support_calls, tenure_months 다섯 입력 열을 모두 사용하며 plan은 최빈값 대체 후 순서형 코드로 변환해 넣는다는 점만 설명할 수 있습니다. 재학습이나 새 평가 같은 개선은 이 대화에서 바로 실행되지 않습니다. 보관된 모델로 직접 예측했습니다 (말하지 않은 항목은 빈 값으로 처리): 1) age=34, monthly_fee=29.9, plan=basic, support_calls=5, tenure_months=3 → churn: yes
  26. 질문한 사람 놓치는 고객을 더 줄여줘
  27. ML 엔지니어 놓치는 고객을 더 줄이는 개선(재학습·새 평가·열 제외 등)은 이 대화에서 바로 실행되지 않습니다. 기록상 선택된 모델은 하네스가 만든 기본 모델(t1)이고, 최종 평가 점수는 균형 정확도 0.6374172185430463(held-out 239개, unique_feature_group 단위)입니다. 개발 단계 점수는 t1 0.7018362432269717, 에이전트가 만든 후보 t2 0.6900210716435882였습니다. 어떤 항목이 결과에 얼마나 영향을 줬는지는 아직 측정 기록에 없어 말할 수 없고, 모델 코드가 age, monthly_fee, plan, support_calls, tenure_months 다섯 입력 열을 모두 쓰며 plan은 최빈값 대체 후 순서형 코드로 변환된다는 점만 설명할 수 있습니다. 시도해볼 수 있는 방향으로는 plan 같은 범주형 열을 순서형 코드 대신 원-핫 등 명목형 처리로 바꾼 후보를 다시 학습·평가해 비교하거나, 클래스 가중치·임계값 조정으로 놓치는 고객(이탈 고객) 쪽을 더 잡는 방향을 검토하는 것을 제안할 수 있습니다. 다만 이는 제안일 뿐 실행되지 않았습니다.
  28. 질문한 사람 왜 이 점수가 나왔어?
  29. ML 엔지니어 이 점수는 held-out 239개(unique_feature_group 단위)에서 측정한 균형 정확도 63.7%입니다. 균형 정확도는 클래스별로 맞힌 비율의 평균이라 한쪽 클래스만 잘 맞히는 모델은 높은 점수를 받지 못합니다. 기록상 개발 단계 점수는 하네스가 만든 기본 모델 t1이 70.2%, 에이전트가 만든 후보 t2가 69.0%였고, 최종 평가에서는 t1이 선택되어 63.7%가 나왔습니다. 왜 이 값이 나왔는지에 대한 항목별 영향도(변수 중요도 등)는 아직 측정 기록에 없어 말할 수 없고, 모델 코드가 age, monthly_fee, plan, support_calls, tenure_months 다섯 입력 열을 모두 쓰며 plan은 최빈값 대체 후 순서형 코드로 변환된다는 점만 설명할 수 있습니다.
  30. 질문한 사람 어떤 항목이 결과에 가장 큰 영향을 줬어?
  31. ML 엔지니어 항목별 영향도(변수 중요도 등)는 아직 측정 기록에 없어서 어떤 항목이 가장 큰 영향을 줬는지는 말할 수 없습니다. 기록으로 확인되는 것은 모델 코드가 age, monthly_fee, plan, support_calls, tenure_months 다섯 입력 열을 모두 사용한다는 점입니다. 이 중 plan은 최빈값으로 대체한 뒤 순서형 코드로 변환되어 모델에 들어갑니다. 최종 평가 점수는 held-out 239개(unique_feature_group 단위)에서 측정한 균형 정확도 63.7%입니다.
  32. 질문한 사람 나이 34살, basic 요금제, 월 29.9, 상담 5번, 가입 3개월인 고객은 떠날까?
  33. ML 엔지니어 나이 34살, basic 요금제, 월 29.9, 상담 5번, 가입 3개월인 고객의 입력값을 age=34, plan="basic", monthly_fee=29.9, support_calls=5, tenure_months=3으로 읽었습니다. 이 고객이 떠날지 여부는 시스템이 보관 모델로 계산해 붙이므로 제가 추측하지 않습니다. 참고로 기록상 선택된 모델은 하네스가 만든 기본 모델(t1)이고, 최종 평가 점수는 held-out 239개(unique_feature_group 단위)에서 측정한 균형 정확도 63.7%입니다. 보관된 모델로 직접 예측한 결과입니다: 1) age=34, monthly_fee=29.9, plan=basic, support_calls=5, tenure_months=3 → churn: yes
  34. 질문한 사람 놓치는 고객을 더 줄여줘
  35. ML 엔지니어 놓치는 고객을 줄이는 재학습이나 새 평가는 이 대화에서 바로 실행되지 않습니다. 기록상 선택된 모델은 하네스가 만든 기본 모델(t1)이고, 최종 평가 점수는 held-out 239개(unique_feature_group 단위)에서 측정한 균형 정확도 63.7%입니다. 시도해볼 수 있는 것으로는 에이전트가 만든 후보(t2)처럼 plan 같은 범주형 열을 순서형 코드 대신 다른 방식으로 다루는 모델을 다시 평가해보는 방향이 있습니다.
  36. 질문한 사람 어떤 항목이 결과에 가장 큰 영향을 줬어?
  37. ML 엔지니어 결과에 가장 큰 영향을 준 항목은 상담 횟수(support_calls)로, 이 값을 섞었을 때 개발 데이터의 균형 정확도(클래스별로 맞힌 비율의 평균)가 15.0%p 떨어졌습니다. 다음은 가입 기간(tenure_months) 4.2%p, 나이(age) 3.0%p, 요금제(plan) 1.4%p, 월 요금(monthly_fee) 0.3%p 순입니다. 다만 영향이 크다는 것이 원인이라는 뜻은 아닙니다. 이 수치는 개발 데이터 239건에서 측정한 값입니다.
  38. 질문한 사람 그럼 요금제는 별로 안 중요한거야?
  39. ML 엔지니어 요금제(plan)는 영향도 목록에서 1.4%p로, 상담 횟수(15.0%p)·가입 기간(4.2%p)·나이(3.0%p)보다는 작지만 월 요금(0.3%p)보다는 큰 항목입니다. 즉 다른 항목에 비해 상대적으로 영향이 작을 뿐, 영향이 거의 없는 항목은 아닙니다. 다만 영향이 크다는 것이 원인이라는 뜻은 아니며, 이 수치는 개발 데이터 239건에서 측정한 값입니다.
  40. 질문한 사람 support_calls 1, tenure_months 30, age 28, plan pro, monthly_fee 69.86이면 결과가 어떻게 나와?