‘churn’ 열을 예측해줘. 다음 달에 어떤 고객이 떠날지…

누구나 볼 수 있는 공개 기록입니다. 읽기 전용.

사용자의 요구

‘churn’ 열을 예측해줘. 다음 달에 어떤 고객이 떠날지 알고 싶어

대화

ML 엔지니어 1,200행, 8개 항목을 읽었습니다. 답의 기준은 ‘churn’ 열로 잡았습니다. 아래에서 맞는지 확인해 주세요.
질문한 사람 ‘churn’ 열을 예측해줘. 다음 달에 어떤 고객이 떠날지 알고 싶어
ML 엔지니어 요청 원문으로 확인되지 않은 해석이 있어, 확인된 내용만 남겨 다시 정리하고 있습니다. 학습은 아직 시작하지 않았습니다.
ML 엔지니어 'churn' 열을 예측하는 과제로 이해했습니다. 등록된 과제 조건에 따라 정답 열 churn, 지표 balanced_accuracy, 특징 그룹 기반 60/20/20 분할, 모델 산출물 제공을 제안합니다. customer_id는 식별자로 입력에서 제외하고, 스키마에 시간·날짜 열이 없어 행 독립(IID) 가정을 적용하며 시간 순서 의존성은 해결하지 못한다는 한계를 기록합니다. 추가로 확인할 사용자 조건은 없습니다.
ML 엔지니어 첫 모델을 만듭니다. 여러 방법을 시험해 가장 나은 것을 고르고, 마지막에 처음 보는 데이터로 한 번 더 확인합니다.
ML 엔지니어 하네스 기본 후보를 시험했습니다. 균형 정확도 70.8%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 다음에 시험할 방법을 정했습니다. 기준 모델은 범주형 열을 순서형 코드로 처리해 명목형 범주의 순서를 잘못 가정합니다. 원-핫 인코딩과 부스팅 정규화 조정으로 균형 정확도 향상을 시도합니다.
ML 엔지니어 후보 2번을 시험했습니다. 균형 정확도 69.1%. 이전 후보가 더 좋아 그대로 둡니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 다음에 시험할 방법을 정했습니다. t2에서 원-핫 인코딩과 내부 탐색이 오히려 성능을 떨어뜨렸습니다. 같은 방향을 반복하지 않고, 인코딩은 그대로 두고 모델 종류와 결정 임계값 조정이라는 다른 가설로 전환합니다.
ML 엔지니어 후보 3번을 시험했습니다. 균형 정확도 72.4%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 가장 좋은 후보로 마무리합니다. 에이전트가 후보 3개를 시험한 뒤 더 시험하지 않기로 했습니다(최대 6개). 남은 예산 9,999,500원 중 40원을 최종 확인에 씁니다. 지금까지 가장 좋은 후보만 처음 보는 데이터로 최종 확인합니다.
ML 엔지니어 최종 확인을 마쳤습니다. 모델이 학습에 쓰지 않은 데이터에서 균형 정확도 67.0%입니다. 아래 보관된 모델 카드에서 이 결과로 예측을 시험해 볼 수 있습니다.