‘churn’ 열을 예측해줘. 다음 달에 어떤 고객이 떠날지…

누구나 볼 수 있는 공개 기록입니다. 읽기 전용.

사용자의 요구

‘churn’ 열을 예측해줘. 다음 달에 어떤 고객이 떠날지 알고 싶어

대화

ML 엔지니어 1,200행과 8개 항목을 읽었습니다. 첨부한 자료와 요청을 함께 확인합니다. 데이터를 살펴보거나 궁금한 내용을 물어볼 수 있습니다. 아직 모델 학습은 시작하지 않았습니다.
질문한 사람 ‘churn’ 열을 예측해줘. 다음 달에 어떤 고객이 떠날지 알고 싶어
ML 엔지니어 'churn' 열을 예측하는 모델을 만들겠습니다. 다음 달에 떠날 고객을 알려면 이탈 여부를 맞히는 분류 모델이 필요합니다. 고객별 정보(나이, 요금제, 월 요금, 상담 횟수, 가입 기간, 데이터 사용량)를 입력으로 쓰고, customer_id는 식별자라 입력에서 제외합니다.
ML 엔지니어 첫 모델을 만듭니다. 여러 방법을 시험해 가장 나은 것을 고르고, 마지막에 처음 보는 데이터로 한 번 더 확인합니다.
ML 엔지니어 하네스 기본 후보를 시험했습니다. 균형 정확도 66.0%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 다음에 시험할 방법을 정했습니다. 기본 하네스 점수 0.6603은 튜닝되지 않은 참조값이고 아직 모델이 시도한 실험이 없습니다. 724행·6열의 작은 데이터에 맞춘 정규화 부스팅과 상호작용 항으로 두 클래스 재현율을 함께 올리는 실험을 제안합니다.
ML 엔지니어 후보 2번을 시험했습니다. 균형 정확도 69.0%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 다음에 시험할 방법을 정했습니다. t2가 하네스 기본값(t1, 0.6603)을 0.6901까지 올렸지만 두 클래스 재현율이 0.66/0.72에 머물러 개선 여지가 남아 있습니다. 724행·6열의 작은 데이터에서 2차 다항 상호작용은 과도한 표현력이라 이를 제거하고 소수의 해석 가능한 파생 변수와 더 강한 규제로 재시도합니다.
ML 엔지니어 후보 3번을 시험했습니다. 균형 정확도 72.5%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 다음에 시험할 방법을 정했습니다. t3가 현재 최고 점수(0.7252)지만 class_1.recall이 t2보다 낮아 두 클래스 균형에 여지가 있습니다. 파생 변수를 줄이고 임계값을 보정하는 개선 실험을 제안합니다.
ML 엔지니어 후보 4번을 시험했습니다. 균형 정확도 70.9%. 이전 후보가 더 좋아 그대로 둡니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 다음에 시험할 방법을 정했습니다. t3가 최고 점수(0.7252)를 유지하고 있고, t4의 임계값 보정 시도는 class_1 재현율을 회복시키지 못해 후퇴했습니다. t3의 파생 변수 구조를 유지하면서 소수 클래스 가중치를 강화하는 실험이 남은 예산 안에서 유효합니다.
ML 엔지니어 후보 5번을 시험했습니다. 균형 정확도 59.7%. 이전 후보가 더 좋아 그대로 둡니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 점수가 오르지 않아 방향을 다시 봅니다. 같은 방향을 반복하지 않고, 남은 예산으로 다른 방법을 시험할지 지금까지 가장 좋은 후보로 마칠지 정합니다.
ML 엔지니어 다음에 시험할 방법을 정했습니다. t5는 class_1 쪽으로 예측을 과도하게 밀어 두 클래스 재현율이 모두 무너졌습니다. 최고 성능 t3의 파생 변수 구조는 유지하고 트리 깊이·규제만 조정해 두 클래스 재현율을 함께 올리는 실험을 제안합니다.
ML 엔지니어 가장 좋은 후보로 마무리합니다. 이미 시험한 코드와 같아 다시 학습하지 않았습니다. 지금까지 가장 좋은 후보만 처음 보는 데이터로 최종 확인합니다.
ML 엔지니어 최종 확인을 마쳤습니다. 모델이 학습에 쓰지 않은 데이터에서 균형 정확도 67.8%입니다. 아래 보관된 모델 카드에서 이 결과로 예측을 시험해 볼 수 있습니다.