‘churn’ 열을 예측해줘. 다음 달에 어떤 고객이 떠날지…

누구나 볼 수 있는 공개 기록입니다. 읽기 전용.

사용자의 요구

‘churn’ 열을 예측해줘. 다음 달에 어떤 고객이 떠날지 알고 싶어

대화

ML 엔지니어 1,200행, 8개 항목을 읽었습니다. 답의 기준은 ‘churn’ 열로 잡았습니다. 아래에서 맞는지 확인해 주세요.
질문한 사람 ‘churn’ 열을 예측해줘. 다음 달에 어떤 고객이 떠날지 알고 싶어
ML 엔지니어 'churn' 열을 예측하는 이진 분류 작업으로 계획합니다. 등록된 과제 조건에 따라 정답 열 churn, 지표 balanced_accuracy, 입력은 전체 허용 입력 열, 결과 제공은 model로 호스트가 연결합니다. 다음 단계로 DECISION.json을 원자적으로 기록합니다.
ML 엔지니어 첫 모델을 만듭니다. 여러 방법을 시험해 가장 나은 것을 고르고, 마지막에 처음 보는 데이터로 한 번 더 확인합니다.
ML 엔지니어 하네스 기본 후보를 시험했습니다. 균형 정확도 68.3%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 다음에 시험할 방법을 정했습니다. 기준선은 범주형 열을 순서형 코드로만 처리해 범주 간 상호작용을 놓칠 수 있습니다. 원-핫 인코딩과 범주 교차 특징으로 표현력을 높여 이탈 예측 성능을 개선해 보겠습니다.
ML 엔지니어 후보 2번을 시험했습니다. 균형 정확도 66.0%. 이전 후보가 더 좋아 그대로 둡니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 점수가 오르지 않아 방향을 다시 봅니다. 같은 방향을 반복하지 않고, 남은 예산으로 다른 방법을 시험할지 지금까지 가장 좋은 후보로 마칠지 정합니다.
ML 엔지니어 판단 형식을 바로잡습니다. 에이전트가 낸 판단이 형식 검증을 통과하지 못해, 무엇이 틀렸는지 알려주고 한 번 다시 쓰게 합니다.
ML 엔지니어 가장 좋은 후보로 마무리합니다. 에이전트가 후보 2개를 시험한 뒤 더 시험하지 않기로 했습니다(최대 3개). 남은 예산 644원 중 40원을 최종 확인에 씁니다. 지금까지 가장 좋은 후보만 처음 보는 데이터로 최종 확인합니다.
ML 엔지니어 최종 확인을 마쳤습니다. 모델이 학습에 쓰지 않은 데이터에서 균형 정확도 64.3%입니다. 아래 보관된 모델 카드에서 이 결과로 예측을 시험해 볼 수 있습니다.
질문한 사람 놓치는 고객을 더 줄여줘
ML 엔지니어 놓치는 고객을 줄이는 방향으로 개선을 시도하겠습니다. 하네스가 만든 기본 모델은 범주형 열을 순서형 코드로만 다뤄 이탈 신호의 상호작용을 충분히 잡지 못할 수 있어, 범주형 처리 방식을 바꾼 새 후보를 같은 작업에서 만들어 개발 데이터로 비교하겠습니다. 최종 점수는 같은 평가 데이터를 두 번 쓰지 않도록 다시 재지 않습니다. 개선 시도를 시작했습니다. 새 후보를 만들어 개발 데이터로 비교한 뒤 결과를 여기에 알려드립니다.
ML 엔지니어 개선 후보 3번을 만듭니다. 요청: 범주형 열의 인코딩과 모델 설정을 바꿔 이탈 고객을 놓치는 비율을 줄이는 새 후보를 만들어 달라
ML 엔지니어 개선 후보 3번을 시험했습니다. 개발 점수 74.2% (+5.9%p) · 기존 모델보다 높습니다.
ML 엔지니어 개선 후보 4번을 만듭니다. 요청: 범주형 열의 인코딩과 모델 설정을 바꿔 이탈 고객을 놓치는 비율을 줄이는 새 후보를 만들어 달라
ML 엔지니어 개선 후보 4번을 시험하지 못했습니다. 이전 후보와 같은 코드라 다시 학습하지 않았습니다.
ML 엔지니어 개선 후보 3번이 개발 점수 74.2%로, 선택된 모델의 68.3%보다 +5.9%p 높습니다. 이 후보를 보관했고, 이제 대화와 예측해보기에서 이 후보로 예측합니다. 최종 점수는 원래 모델의 1회 측정값(64.3%)을 그대로 둡니다. 같은 평가 데이터를 두 번 쓰면 점수가 부풀려지기 때문입니다.