어떤 고객이 다음 달에 떠날까?

누구나 볼 수 있는 공개 기록입니다. 읽기 전용.

사용자의 요구

어떤 고객이 다음 달에 떠날까?

대화

ML 엔지니어 1,200행, 8개 항목을 읽었습니다. 답의 기준은 ‘churn’ 열로 잡았습니다. 아래에서 맞는지 확인해 주세요.
질문한 사람 어떤 고객이 다음 달에 떠날까?
질문한 사람 예측할 결과 항목은 "churn"입니다. 이 항목으로 모델을 만들어주세요.
ML 엔지니어 다음 달 이탈 고객을 예측하는 분류 모델을 계획합니다. 정답 열은 churn이며, 입력은 customer_id를 제외한 안전한 특징 열 전체(age, plan, monthly_fee, support_calls, tenure_months, data_usage_gb)입니다. 지표는 balanced_accuracy, 분할은 iid_feature_groups_60_20_20_v1, 예측 단위는 row, 평가 단위는 unique_feature_group, 결과 제공은 model로 제안합니다. 아직 코드 실행·학습·평가·완료는 수행하지 않았습니다.
ML 엔지니어 다음 달 이탈 여부(churn)를 예측하는 모델을 만드는 계획입니다. 입력은 customer_id를 제외한 안전한 특징 열 전체(age, plan, monthly_fee, support_calls, tenure_months, data_usage_gb)를 사용하고, 한 고객 행 단위로 예측합니다. 지표는 클래스 불균형을 고려한 balanced_accuracy, 분할은 iid_feature_groups_60_20_20_v1, 평가 단위는 unique_feature_group, 결과 제공은 model을 제안합니다. 아직 코드 실행·학습·실행 승인·완료는 하지 않았습니다.
ML 엔지니어 첫 모델을 만듭니다. 여러 방법을 시험해 가장 나은 것을 고르고, 마지막에 처음 보는 데이터로 한 번 더 확인합니다.
ML 엔지니어 하네스 기본 후보를 시험했습니다. 균형 정확도 68.3%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 다음에 시험할 방법을 정했습니다. 기준선은 범주형을 단순 순서 코드로만 처리하고 고정 설정을 사용하므로, 범주형 처리와 하이퍼파라미터 조정으로 이탈 예측 성능을 높일 여지가 있습니다.
ML 엔지니어 후보 2번을 시험했습니다. 균형 정확도 66.9%. 이전 후보가 더 좋아 그대로 둡니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 다음에 시험할 방법을 정했습니다. t2는 t1보다 0.0136 낮아 개선되지 않았습니다. 같은 방향을 반복하지 않고, t2의 원-핫 확장과 내부 탐색 과적합 가능성을 제거한 저차원·고정 설정 실험으로 전환합니다.
ML 엔지니어 후보 3번을 시험했습니다. 균형 정확도 69.3%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 가장 좋은 후보로 마무리합니다. 에이전트가 후보 3개를 시험한 뒤 더 시험하지 않기로 했습니다. 남은 예산 9,999,444원 중 40원을 최종 확인에 씁니다. 지금까지 가장 좋은 후보만 처음 보는 데이터로 최종 확인합니다.
ML 엔지니어 최종 확인을 마쳤습니다. 모델이 학습에 쓰지 않은 데이터에서 균형 정확도 69.6%입니다. 아래 보관된 모델 카드에서 이 결과로 예측을 시험해 볼 수 있습니다.