어떤 고객이 다음 달에 떠날지 알려줘 (심사 테스트)

누구나 볼 수 있는 공개 기록입니다. 읽기 전용.

사용자의 요구

대화

ML 엔지니어 1,200행과 8개 항목을 읽었습니다. 첨부한 자료와 요청을 함께 확인합니다. 데이터를 살펴보거나 궁금한 내용을 물어볼 수 있습니다. 아직 모델 학습은 시작하지 않았습니다.
질문한 사람 어떤 고객이 다음 달에 떠날지 알려줘 (심사 테스트)
ML 엔지니어 고객 이탈 여부를 예측하는 모델을 만들 수 있습니다. 다만 지금은 데이터만 확인된 상태이고 학습이나 평가는 실행하지 않았습니다. 정답으로 쓸 열은 churn(이탈 여부)이고, 고객이 다음 달에 떠날지 여부를 한 행씩 예측하는 분류 문제로 보겠습니다. 계획은 다음과 같습니다. - 입력: customer_id는 식별자라 제외하고 age, plan, monthly_fee, support_calls, tenure_months, data_usage_gb를 사용 - 지표: 이탈/유지 비율이 치우칠 수 있어 balanced_accuracy - 분할: 같은 입력 값을 가진 행이 평가에서 중복 계산되지 않도록 고유 입력 그룹 기준 60/20/20 - 전달: 새로운 고객 데이터로 예측값을 받을 수 있는 API와 모델 파일 진행해도 될까요?
ML 엔지니어 첫 모델을 만듭니다. 여러 방법을 시험해 가장 나은 것을 고르고, 마지막에 처음 보는 데이터로 한 번 더 확인합니다.
ML 엔지니어 하네스 기본 후보를 시험했습니다. 균형 정확도 68.9%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 다음에 시험할 방법을 정했습니다. 기준선 t1은 하네스가 만든 고정 템플릿이라 이 데이터에 맞게 조정된 적이 없고, 아직 연결 모델 시험이 채점된 적이 없습니다. 개발 진단에서 두 클래스 재현율 차이가 남아 있어, 학습률과 트리 용량을 조정한 개선 실험을 한 번 제안합니다.
ML 엔지니어 후보 2번을 시험했습니다. 균형 정확도 66.9%. 이전 후보가 더 좋아 그대로 둡니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 다음에 시험할 방법을 정했습니다. 전처리와 모델 계열을 함께 바꾼 실험을 제안합니다. 같은 전처리·모델 계열의 하이퍼파라미터 조정(t2)은 기준선을 넘지 못했으므로, 다른 방향의 가설을 검증합니다.
ML 엔지니어 후보 3번을 시험했습니다. 균형 정확도 74.7%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 다음에 시험할 방법을 정했습니다. t3가 현재 최고 점수(0.7471)이고, 같은 전처리를 유지한 채 비선형 모델로 바꾸는 실험이 아직 시도되지 않았습니다. 이 실험은 t3의 전처리 이점을 보존하면서 두 클래스 재현율 균형을 개선할 수 있는지 검증합니다.
ML 엔지니어 후보 4번을 시험했습니다. 균형 정확도 68.4%. 이전 후보가 더 좋아 그대로 둡니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 다음에 시험할 방법을 정했습니다. 현재 최고는 t3(0.7471)이고, t4는 전처리는 유지한 채 모델 계열만 비선형 부스팅으로 바꿔 0.6844로 떨어졌습니다. 그래서 전처리는 t3 그대로 두고 로지스틱 회귀의 정규화 강도만 완화해 두 클래스 재현율 균형을 개선하는 실험을 제안합니다.
ML 엔지니어 후보 5번을 시험했습니다. 균형 정확도 74.7%. 지금까지 가장 좋은 후보와 같은 점수입니다. 같은 점수일 때의 규칙에 따라 이 후보를 기준으로 둡니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 점수가 오르지 않아 방향을 다시 봅니다. 같은 방향을 반복하지 않고, 남은 예산으로 다른 방법을 시험할지 지금까지 가장 좋은 후보로 마칠지 정합니다.
ML 엔지니어 가장 좋은 후보로 마무리합니다. 에이전트가 후보 5개를 시험한 뒤 더 시험하지 않기로 했습니다. 남은 예산 9,999,296원 중 40원을 최종 확인에 씁니다. 지금까지 가장 좋은 후보만 처음 보는 데이터로 최종 확인합니다.
ML 엔지니어 최종 확인을 마쳤습니다. 모델이 학습에 쓰지 않은 데이터에서 균형 정확도 69.9%입니다. 아래 보관된 모델 카드에서 이 결과로 예측을 시험해 볼 수 있습니다.