‘churn’ 열을 예측해줘. 다음 달에 어떤 고객이 떠날지…

누구나 볼 수 있는 공개 기록입니다. 읽기 전용.

사용자의 요구

‘churn’ 열을 예측해줘. 다음 달에 어떤 고객이 떠날지 알고 싶어

대화

ML 엔지니어 1,200행, 7개 항목을 읽었습니다. 답의 기준은 ‘churn’ 열로 잡았습니다. 아래에서 맞는지 확인해 주세요.
질문한 사람 ‘churn’ 열을 예측해줘. 다음 달에 어떤 고객이 떠날지 알고 싶어
ML 엔지니어 'churn' 열을 예측하는 이진 분류 작업으로 계획했습니다. 입력은 customer_id를 제외한 안전한 특징 열 전체(age, plan, monthly_fee, support_calls, tenure_months)를 사용하고, 정답 열은 churn입니다. 평가는 IID 특징 그룹 60/20/20 분할과 balanced_accuracy 지표를 제안하며, 결과는 모델 파일로 제공합니다. 다음 행동은 이 계획을 DECISION.json에 기록하는 것입니다.
ML 엔지니어 첫 모델을 만듭니다. 여러 방법을 시험해 가장 나은 것을 고르고, 마지막에 처음 보는 데이터로 한 번 더 확인합니다.
ML 엔지니어 하네스 기본 후보를 시험했습니다. 균형 정확도 60.7%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 다음에 시험할 방법을 정했습니다. 기준 모델은 범주형 열을 순서형 코드로 처리해 잘못된 순서를 부여합니다. 원-핫 인코딩으로 바꾸면 이탈 예측 성능이 개선될지 확인하는 실험을 제안합니다.
ML 엔지니어 후보 2번을 시험했습니다. 균형 정확도 63.7%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 다음에 시험할 방법을 정했습니다. t2의 원-핫 인코딩은 개선되었지만 모델 용량과 학습률이 고정되어 있어 상호작용 표현이 제한적입니다. 남은 시도 1회로 더 낮은 학습률과 더 많은 반복, 더 많은 잎 노드를 가진 동일 계열 구성을 검증하는 것이 근거 있는 다음 실험입니다.
ML 엔지니어 후보 3번을 시험했습니다. 균형 정확도 65.4%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 가장 좋은 후보로 마무리합니다. 정해진 시도 횟수를 모두 썼습니다. 지금까지 가장 좋은 후보만 처음 보는 데이터로 최종 확인합니다.
ML 엔지니어 최종 확인을 마쳤습니다. 모델이 학습에 쓰지 않은 데이터에서 균형 정확도 68.2%입니다. 아래 보관된 모델 카드에서 이 결과로 예측을 시험해 볼 수 있습니다.
질문한 사람 왜 이 점수가 나왔어?
ML 엔지니어 최종 확인 점수는 학습에 쓰지 않은 데이터 239건에서 측정한 균형 정확도 68.2%입니다. 균형 정확도는 클래스별로 맞힌 비율의 평균이라, 이탈 고객과 잔류 고객을 한쪽으로 몰아 맞히는 방식으로는 올라가지 않습니다. 이 점수는 하네스가 만든 기본 모델(60.7%)과 에이전트가 만든 후보들(63.7%, 65.4%)을 거쳐 가장 좋은 후보를 고른 뒤 처음 보는 데이터로 확인한 값입니다.
질문한 사람 어떤 항목이 결과에 가장 큰 영향을 줬어?
ML 엔지니어 개발 데이터 239건에서 항목 값을 섞었을 때 균형 정확도가 가장 크게 떨어진 항목은 support_calls로, 10.5%p 하락했습니다. 다음은 tenure_months로 3.4%p 떨어졌습니다. age(-1.0%p), plan(-1.7%p), monthly_fee(-2.7%p)는 drop이 0 이하라 영향이 거의 없는 항목입니다. 영향이 크다고 해서 그 항목이 이탈의 원인이라는 뜻은 아닙니다.
질문한 사람 support_calls 8, tenure_months 9, age 31이면 결과가 어떻게 나와?
ML 엔지니어 support_calls 8, tenure_months 9, age 31로 읽었습니다. 보관된 모델로 직접 예측한 결과입니다 (말하지 않은 항목은 빈 값으로 넣었습니다): 1) age=31, support_calls=8, tenure_months=9 → churn: yes
질문한 사람 이 모델 믿고 써도 돼?
ML 엔지니어 최종 확인 점수는 학습에 쓰지 않은 데이터 239건에서 측정한 균형 정확도 68.2%이고, 이는 하네스가 만든 기본 모델(60.7%)과 에이전트가 만든 후보들(63.7%, 65.4%)을 거쳐 고른 뒤 처음 보는 데이터로 확인한 값입니다. 개발 데이터 239건에서 항목 값을 섞었을 때 균형 정확도가 가장 크게 떨어진 항목은 support_calls로 10.5%p 하락했고, 다음은 tenure_months로 3.4%p 떨어졌습니다. 다만 영향이 크다고 해서 그 항목이 이탈의 원인이라는 뜻은 아니며, 이 점수는 개발 데이터에서 측정한 영향도일 뿐입니다. 이 대화에서는 재학습이나 새 평가를 바로 실행하지 않으니, 더 확실히 판단하려면 새 데이터로 새 작업을 만들어 다시 확인해보는 것을 제안합니다.
질문한 사람 더 좋게 만들 수 있어?
ML 엔지니어 이 대화에서는 재학습이나 새 평가를 바로 실행할 수 없어서 지금 모델을 더 좋게 만드는 작업은 진행되지 않습니다. 다만 시도해볼 수 있는 방법은 있습니다. 왼쪽 '+ 새 작업'으로 다른 데이터 파일을 써서 새 모델을 만들거나, 같은 데이터라도 새 작업에서 다시 학습·평가를 돌려 후보를 비교해볼 수 있습니다. 참고로 현재 보관된 모델은 학습에 쓰지 않은 데이터 239건에서 균형 정확도 68.2%로 확인되었습니다.
질문한 사람 결과를 엑셀로 받을 수 있어?
ML 엔지니어 엑셀 파일로 바로 내보내는 기능은 없습니다. 대신 대화 아래 '보관된 모델' 카드의 '예측해보기'에서 한 건 직접 입력하거나 JSON, CSV·JSON 파일(최대 100건, 2MB)로 예측하고 결과를 표로 볼 수 있습니다. 같은 카드의 '모델·소스 받기'로 학습된 전처리·모델 파일과 학습 소스, 실행 안내를 zip으로 내려받을 수 있습니다.