‘churn’ 열을 예측해줘. 다음 달에 어떤 고객이 떠날지…

누구나 볼 수 있는 공개 기록입니다. 읽기 전용.

사용자의 요구

‘churn’ 열을 예측해줘. 다음 달에 어떤 고객이 떠날지 알고 싶어

대화

ML 엔지니어 1,200행, 7개 항목을 읽었습니다. 답의 기준은 ‘churn’ 열로 잡았습니다. 아래에서 맞는지 확인해 주세요.
질문한 사람 ‘churn’ 열을 예측해줘. 다음 달에 어떤 고객이 떠날지 알고 싶어
ML 엔지니어 등록된 과제 조건에 따라 'churn' 열을 목표로 하는 이진 분류 계획을 세웁니다. 입력은 허용된 전체 안전 특징 열을 사용하고, 예측 단위는 행, 평가 단위는 특징 그룹으로 두며, 지표는 balanced_accuracy, 분할은 iid_feature_groups_60_20_20_v1, 결과 제공은 model로 제안합니다. 아직 코드 실행·학습·실행 승인·완료는 주장하지 않습니다.
ML 엔지니어 첫 모델을 만듭니다. 여러 방법을 시험해 가장 나은 것을 고르고, 마지막에 처음 보는 데이터로 한 번 더 확인합니다.
ML 엔지니어 하네스 기본 후보를 시험했습니다. 균형 정확도 69.3%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 다음에 시험할 방법을 정했습니다. 기준선은 범주형 열을 순서형 코드로만 인코딩해 범주 신호를 충분히 반영하지 못할 수 있습니다. 원-핫 인코딩으로 바꿔 소수 클래스 성능이 개선되는지 확인하는 실험이 근거 기반으로 남아 있습니다.
ML 엔지니어 후보 2번을 시험했습니다. 균형 정확도 68.0%. 이전 후보가 더 좋아 그대로 둡니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 점수가 오르지 않아 방향을 다시 봅니다. 같은 방향을 반복하지 않고, 남은 예산으로 다른 방법을 시험할지 지금까지 가장 좋은 후보로 마칠지 정합니다.
ML 엔지니어 가장 좋은 후보로 마무리합니다. 에이전트의 마지막 판단을 확인할 수 없어 시험을 멈췄습니다. 비용 기록은 그대로 둡니다. 지금까지 가장 좋은 후보만 처음 보는 데이터로 최종 확인합니다.
ML 엔지니어 최종 확인을 마쳤습니다. 모델이 학습에 쓰지 않은 데이터에서 균형 정확도 63.6%입니다. 아래 보관된 모델 카드에서 이 결과로 예측을 시험해 볼 수 있습니다.
질문한 사람 왜 이 점수가 나왔어?
ML 엔지니어 최종 확인 점수는 학습에 쓰지 않은 데이터 239건에서 측정한 균형 정확도 63.6%입니다. 균형 정확도는 클래스별로 맞힌 비율의 평균이라, 떠난 고객과 남은 고객을 한쪽으로 몰아 맞히는 방식으로는 점수가 오르지 않습니다. 이 모델은 하네스가 만든 기본 모델로, 범주형 열을 순서형 코드로만 인코딩하고 고정 설정의 히스토그램 그래디언트 부스팅을 씁니다. 개발 데이터에서 항목 값을 섞었을 때 점수가 가장 크게 떨어진 것은 support_calls(11.7%p), tenure_months(6.8%p), age(4.1%p) 순이지만, 영향이 크다고 해서 그 항목이 점수의 원인이라는 뜻은 아닙니다.
질문한 사람 어떤 항목이 결과에 가장 큰 영향을 줬어?
ML 엔지니어 개발 데이터에서 항목 값을 섞었을 때 균형 정확도가 가장 크게 떨어진 항목은 support_calls(11.7%p), tenure_months(6.8%p), age(4.1%p) 순입니다. 그다음이 monthly_fee(1.7%p), plan(0.95%p)입니다. 영향이 크다고 해서 그 항목이 점수의 원인이라는 뜻은 아닙니다.
질문한 사람 이 모델 믿고 써도 돼?
ML 엔지니어 최종 확인 점수는 학습에 쓰지 않은 데이터 239건에서 측정한 균형 정확도 63.6%이고, 개발 데이터 점수는 하네스가 만든 기본 모델이 69.3%, 에이전트가 만든 후보가 68.0%였습니다. 이 정도면 무작위로 찍는 것보다는 낫지만, 떠난 고객과 남은 고객을 구분하는 확신이 아주 높은 수준은 아니라고 볼 수 있습니다. 참고로 개발 데이터에서 항목 값을 섞었을 때 점수가 가장 크게 떨어진 것은 support_calls(11.7%p), tenure_months(6.8%p), age(4.1%p) 순이지만, 영향이 크다고 해서 그 항목이 점수의 원인이라는 뜻은 아닙니다. 재학습이나 새 평가는 이 대화에서 바로 실행되지 않으니, 왼쪽 '+ 새 작업'에서 같은 데이터로 다시 시도해볼 수 있습니다.
질문한 사람 더 좋게 만들 수 있어?
ML 엔지니어 재학습이나 새 평가는 이 대화에서 바로 실행되지 않아서 지금 점수를 올릴 수는 없습니다. 대신 왼쪽 '+ 새 작업'에서 같은 데이터를 다시 올려 다른 조건으로 처음부터 새 모델을 만들어볼 수 있습니다. 참고로 개발 데이터 점수는 하네스가 만든 기본 모델이 69.3%, 에이전트가 만든 후보가 68.0%였고, 최종 확인 점수는 63.6%였습니다.
질문한 사람 결과를 엑셀로 받을 수 있어?
ML 엔지니어 엑셀 파일로 바로 내보내는 기능은 없습니다. 대신 대화 아래 '보관된 모델' 카드의 '예측해보기'에서 한 건 직접 입력하거나 JSON, CSV·JSON 파일(최대 100건, 2MB)로 예측하고 결과를 표로 볼 수 있습니다. 같은 카드의 '모델·소스 받기'로 학습된 전처리·모델 파일과 학습 소스, 실행 안내를 zip으로 내려받을 수 있습니다.