‘churn’ 열을 예측해줘. 다음 달에 어떤 고객이 떠날지…
누구나 볼 수 있는 공개 기록입니다. 읽기 전용.
사용자의 요구
‘churn’ 열을 예측해줘. 다음 달에 어떤 고객이 떠날지 알고 싶어
대화
- ML 엔지니어 1,200행과 8개 항목을 읽었습니다. 첨부한 자료와 요청을 함께 확인합니다. 데이터를 살펴보거나 궁금한 내용을 물어볼 수 있습니다. 아직 모델 학습은 시작하지 않았습니다.
- 질문한 사람 ‘churn’ 열을 예측해줘. 다음 달에 어떤 고객이 떠날지 알고 싶어
- ML 엔지니어 'churn' 열을 예측하는 모델을 만들 계획이에요. 고객별 정보(나이, 요금제, 월 요금, 상담 횟수, 가입 기간, 데이터 사용량)를 입력으로 쓰고, 이탈 여부를 맞히는 분류 모델로 학습하겠습니다. 정확도는 이탈/유지 비율이 치우쳐도 공정하게 보는 balanced_accuracy로 확인하고, 같은 입력값을 가진 고객이 학습과 평가에 나뉘지 않도록 나눠서 평가하겠습니다. 결과는 새 고객 데이터에 대한 예측을 제공하는 방식으로 드릴게요. 아직 학습이나 평가는 실행하지 않았습니다.
- ML 엔지니어 첫 모델을 만듭니다. 여러 방법을 시험해 가장 나은 것을 고르고, 마지막에 처음 보는 데이터로 한 번 더 확인합니다.
- ML 엔지니어 하네스 기본 후보를 시험했습니다. 균형 정확도 68.2%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
- ML 엔지니어 다음에 시험할 방법을 정했습니다. 기준선 t1은 하네스가 만든 고정 템플릿으로 이 데이터에 맞게 조정되지 않았고, 개발 진단에서 소수 클래스 재현율이 낮아 개선 여지가 있습니다. 같은 분할에서 모델 하이퍼파라미터만 데이터에 맞게 조정해 balanced_accuracy를 높여보겠습니다.
- ML 엔지니어 후보 2번을 시험했습니다. 균형 정확도 69.8%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
- ML 엔지니어 다음에 시험할 방법을 정했습니다. t2가 하네스 기준선 t1(0.6823)을 0.6978로 앞섰지만, 개발 진단에서 소수 클래스 재현율이 여전히 낮아 개선 여지가 있습니다. 전처리 확장으로 소수 클래스 경계를 더 잘 학습하는지 검증하는 실험을 제안합니다.
- ML 엔지니어 후보 3번을 시험했습니다. 균형 정확도 69.6%. 이전 후보가 더 좋아 그대로 둡니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
- ML 엔지니어 다음에 시험할 방법을 정했습니다. t3의 전처리 확장이 t2보다 점수를 낮췄으므로, 같은 방향을 반복하지 않고 소수 클래스 재현율을 직접 끌어올리는 표본 가중 실험을 제안합니다.
- ML 엔지니어 후보 4번을 시험했습니다. 균형 정확도 69.9%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
- ML 엔지니어 다음에 시험할 방법을 정했습니다. t4가 현재 최고 점수(0.6990)지만 두 클래스 재현율 격차가 남아 있어, 임계값 조정으로 balanced_accuracy를 더 올릴 여지가 있습니다.
- ML 엔지니어 후보 5번을 시험했습니다. 균형 정확도 69.9%. 지금까지 가장 좋은 후보와 같은 점수라 기존 후보를 그대로 둡니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
- ML 엔지니어 다음에 시험할 방법을 정했습니다. t4와 t5가 같은 점수(0.6990)에 머물러 같은 계열·전처리 반복은 새 근거가 없습니다. 소수 클래스 재현율 격차가 남아 있으므로, 동일 분할·평가 단위를 유지한 채 모델 계열을 바꾸는 실험을 제안합니다.
- ML 엔지니어 후보 6번을 시험했습니다. 균형 정확도 74.1%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
- ML 엔지니어 다음에 시험할 방법을 정했습니다. 현재 최고 후보 t6(로지스틱 회귀, balanced_accuracy 0.7406)를 부모로, 같은 전처리·분할을 유지한 채 정규화 강도와 소수 클래스 가중만 조정해 두 클래스 재현율 격차를 줄이는 실험을 제안합니다.
- ML 엔지니어 후보 7번을 시험했습니다. 균형 정확도 74.4%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
- ML 엔지니어 다음에 시험할 방법을 정했습니다. 현재 최고 성능은 t7(0.7442)이며, t2~t5의 트리 계열 조정은 모두 0.6990 이하에 머물렀고 t6~t7의 선형 모델 전환이 성능을 끌어올렸습니다. t7에서도 소수 클래스 재현율 격차가 남아 있어, 같은 선형 계열의 정규화·가중 조정으로 개선을 시도합니다.
- ML 엔지니어 후보 8번을 시험했습니다. 균형 정확도 74.1%. 이전 후보가 더 좋아 그대로 둡니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
- ML 엔지니어 다음에 시험할 방법을 정했습니다. t7이 최고 점수(0.7442)이고 t8은 같은 선형 계열의 정규화·가중 강화로 개선되지 않았습니다. 같은 방향 반복 대신 t7을 부모로 확률 보정 실험을 제안합니다.
- ML 엔지니어 가장 좋은 후보로 마무리합니다. 이미 시험한 코드와 같아 다시 학습하지 않았습니다. 지금까지 가장 좋은 후보만 처음 보는 데이터로 최종 확인합니다.
- ML 엔지니어 최종 확인을 마쳤습니다. 모델이 학습에 쓰지 않은 데이터에서 균형 정확도 65.4%입니다. 아래 보관된 모델 카드에서 이 결과로 예측을 시험해 볼 수 있습니다.