‘churn’ 열을 예측해줘. 다음 달에 어떤 고객이 떠날지…

누구나 볼 수 있는 공개 기록입니다. 읽기 전용.

사용자의 요구

‘churn’ 열을 예측해줘. 다음 달에 어떤 고객이 떠날지 알고 싶어

대화

ML 엔지니어 1,200행과 8개 항목을 읽었습니다. 첨부한 자료와 요청을 함께 확인합니다. 데이터를 살펴보거나 궁금한 내용을 물어볼 수 있습니다. 아직 모델 학습은 시작하지 않았습니다.
질문한 사람 ‘churn’ 열을 예측해줘. 다음 달에 어떤 고객이 떠날지 알고 싶어
ML 엔지니어 요청 원문으로 확인되지 않은 해석이 있어, 확인된 내용만 남겨 다시 정리하고 있습니다. 학습은 아직 시작하지 않았습니다.
ML 엔지니어 'churn' 열을 예측하는 모델을 만들고, 다음 달에 떠날 고객을 알려주는 예측 결과를 제공하는 계획을 세웠습니다. 아직 학습이나 평가는 실행하지 않았습니다.
ML 엔지니어 첫 모델을 만듭니다. 여러 방법을 시험해 가장 나은 것을 고르고, 마지막에 처음 보는 데이터로 한 번 더 확인합니다.
ML 엔지니어 하네스 기본 후보를 시험했습니다. 균형 정확도 66.8%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 판단 형식을 바로잡습니다. 에이전트가 낸 판단이 형식 검증을 통과하지 못해, 무엇이 틀렸는지 알려주고 한 번 다시 쓰게 합니다.
ML 엔지니어 다음에 시험할 방법을 정했습니다. 기준선은 범주형 열을 순서형 코드로 처리해 명목형 이탈 요인의 순서를 잘못 가정합니다. 원-핫 인코딩과 부스팅 설정 조정으로 balanced_accuracy 향상을 시도합니다.
ML 엔지니어 후보 2번을 시험했습니다. 균형 정확도 70.2%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 다음에 시험할 방법을 정했습니다. t2가 최선이지만 수치형 특징의 상호작용이 아직 모델에 명시적으로 주어지지 않아, 파생 변수 추가라는 새로운 방향의 실험이 정당하다.
ML 엔지니어 후보 3번을 시험했습니다. 균형 정확도 58.6%. 이전 후보가 더 좋아 그대로 둡니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 다음에 시험할 방법을 정했습니다. t3는 수치형 상호작용 파생 변수를 대량 추가했지만 0.5861로 t2(0.7017)보다 크게 나빠졌습니다. 같은 방향을 반복하지 않고, t2로 되돌린 뒤 해석 가능한 소수 비율 특징만 추가하는 다른 가설을 시도합니다.
ML 엔지니어 후보 4번을 시험했습니다. 균형 정확도 67.3%. 이전 후보가 더 좋아 그대로 둡니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 가장 좋은 후보로 마무리합니다. 에이전트가 후보 4개를 시험한 뒤 더 시험하지 않기로 했습니다. 남은 예산 9,999,328원 중 40원을 최종 확인에 씁니다. 지금까지 가장 좋은 후보만 처음 보는 데이터로 최종 확인합니다.
ML 엔지니어 최종 확인을 마쳤습니다. 모델이 학습에 쓰지 않은 데이터에서 균형 정확도 62.7%입니다. 아래 보관된 모델 카드에서 이 결과로 예측을 시험해 볼 수 있습니다.
질문한 사람 어떤 항목이 결과에 가장 큰 영향을 줬어?
ML 엔지니어 결과에 가장 크게 영향을 준 항목은 상담 전화 횟수(support_calls)로, 이 값을 섞었을 때 개발 데이터의 균형 정확도가 11.8%p 떨어졌습니다. 다음은 가입 기간(tenure_months) 4.9%p, 요금제(plan) 2.2%p 순입니다. 데이터 사용량(0.3%p)과 월 요금(-0.4%p), 나이(-1.9%p)는 영향이 거의 없었습니다. 영향이 크다고 해서 그것이 이탈의 원인이라는 뜻은 아닙니다.