‘churn’ 열을 예측해줘. 다음 달에 어떤 고객이 떠날지…

누구나 볼 수 있는 공개 기록입니다. 읽기 전용.

사용자의 요구

‘churn’ 열을 예측해줘. 다음 달에 어떤 고객이 떠날지 알고 싶어

대화

ML 엔지니어 1,200행과 8개 항목을 읽었습니다. 첨부한 자료와 요청을 함께 확인합니다. 데이터를 살펴보거나 궁금한 내용을 물어볼 수 있습니다. 아직 모델 학습은 시작하지 않았습니다.
질문한 사람 ‘churn’ 열을 예측해줘. 다음 달에 어떤 고객이 떠날지 알고 싶어
ML 엔지니어 요청 원문으로 확인되지 않은 해석이 있어, 확인된 내용만 남겨 다시 정리하고 있습니다. 학습은 아직 시작하지 않았습니다.
ML 엔지니어 'churn' 열을 예측하는 모델을 만들고, 다음 달에 떠날 고객을 알려주는 예측을 제공하는 계획을 세웠습니다. 아직 학습이나 평가는 실행하지 않았습니다.
ML 엔지니어 첫 모델을 만듭니다. 여러 방법을 시험해 가장 나은 것을 고르고, 마지막에 처음 보는 데이터로 한 번 더 확인합니다.
ML 엔지니어 하네스 기본 후보를 시험했습니다. 균형 정확도 65.2%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 다음에 시험할 방법을 정했습니다. 기준선은 범주형 열을 순서형 코드로만 인코딩합니다. 원-핫 인코딩으로 범주 정보를 더 잘 반영하면 이탈 예측 성능이 개선될 수 있어 다음 실험으로 제안합니다.
ML 엔지니어 후보 2번을 시험했습니다. 균형 정확도 65.2%. 이전 후보가 더 좋아 그대로 둡니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 다음에 시험할 방법을 정했습니다. 동일한 점수가 반복되어 인코딩 변경은 한계가 아니라고 판단했습니다. 같은 설정의 다른 모델 계열로 가설을 전환해 검증합니다.
ML 엔지니어 후보 3번을 시험했습니다. 균형 정확도 68.3%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 다음에 시험할 방법을 정했습니다. t2에서 원-핫 인코딩이 히스토그램 그래디언트 부스팅에서는 효과가 없었지만, t3의 랜덤 포레스트는 순서형 인코딩을 사용하므로 원-핫 인코딩이 범주형 신호를 더 잘 살릴 수 있는지 확인할 가치가 있습니다.
ML 엔지니어 후보 4번을 시험했습니다. 균형 정확도 66.7%. 이전 후보가 더 좋아 그대로 둡니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 가장 좋은 후보로 마무리합니다. 에이전트가 후보 4개를 시험한 뒤 더 시험하지 않기로 했습니다. 남은 예산 9,999,356원 중 40원을 최종 확인에 씁니다. 지금까지 가장 좋은 후보만 처음 보는 데이터로 최종 확인합니다.
ML 엔지니어 최종 확인을 마쳤습니다. 모델이 학습에 쓰지 않은 데이터에서 균형 정확도 68.6%입니다. 아래 보관된 모델 카드에서 이 결과로 예측을 시험해 볼 수 있습니다.
질문한 사람 어떤 항목이 결과에 가장 큰 영향을 줬어?
ML 엔지니어 결과에 가장 크게 영향을 준 항목은 상담 전화 횟수(support_calls)로, 이 값을 섞었을 때 개발 데이터의 균형 정확도가 10.4%p 떨어졌습니다. 다음은 재직 기간(tenure_months) 4.3%p, 월 요금(monthly_fee) 1.8%p, 나이(age) 1.2%p, 요금제(plan) 1.1%p, 데이터 사용량(data_usage_gb) 0.9%p 순입니다. 다만 영향이 크다고 해서 그것이 떠남의 원인이라는 뜻은 아닙니다.
질문한 사람 support_calls는 예측하는 시점에는 알 수 없는 값이야. 이 열은 빼고 다시 만들어줘
ML 엔지니어 support_calls를 입력에서 빼고 다시 만들겠습니다. 이 열을 제외한 나머지 입력(나이, 요금제, 월 요금, 재직 기간, 데이터 사용량)으로 새 기준 모델을 만들어 개발 데이터에서 비교합니다. 같은 평가 데이터를 두 번 쓰지 않도록 최종 점수는 다시 재지 않습니다. 개선 시도를 시작했습니다. 새 후보를 만들어 개발 데이터로 비교한 뒤 결과를 여기에 알려드립니다.
ML 엔지니어 개선 후보 5번을 만듭니다. 요청: support_calls 열을 입력에서 제외하고 다시 만들어줘
ML 엔지니어 개선 후보 5번을 시험했습니다. 개발 점수 55.4% (-12.9%p) · 요청한 입력 조건을 반영한 새 기준 모델입니다. 이전 모델과의 점수 차이는 참고값입니다.
ML 엔지니어 에이전트가 이번 개선을 마무리했습니다. 요청한 입력 조건으로 새 후보를 학습·검증했습니다. 사용하는 입력: age, data_usage_gb, monthly_fee, plan, tenure_months. 새 기준 모델의 개발 점수는 55.4%입니다. 이전 모델과 입력 조건이 달라 성능 개선으로 부르지 않습니다. 이 후보를 보관했고, 이제 대화와 예측해보기에서 이 후보로 예측합니다. 최종 점수는 원래 모델의 1회 측정값(68.6%)을 그대로 둡니다; 새 모델의 독립 평가 점수는 아닙니다.