누가 떠날까?

누구나 볼 수 있는 공개 기록입니다. 읽기 전용.

사용자의 요구

누가 떠날까?

대화

  1. ML 엔지니어 1,200행, 8개 항목을 읽었습니다. 답의 기준은 ‘churn’ 열로 잡았습니다. 아래에서 맞는지 확인해 주세요.
  2. 질문한 사람 누가 떠날까?
  3. ML 엔지니어 요청 원문으로 확인되지 않은 해석이 있어, 확인된 내용만 남겨 다시 정리하고 있습니다. 학습은 아직 시작하지 않았습니다.
  4. ML 엔지니어 이탈 여부를 예측하는 이진 분류 작업으로 이해했습니다. 정답 열은 churn이며, customer_id는 식별자로 제외하고 나머지 안전한 특징 열 전체를 입력으로 사용하는 계획을 세웠습니다. 아직 코드 실행·학습·평가는 수행하지 않았습니다.
  5. 질문한 사람 답의 기준은 ‘churn’ 열이야
  6. ML 엔지니어 '누가 떠날까?'는 이탈(churn) 예측 작업으로 이해했습니다. 정답 열은 사용자가 지정한 'churn'이며, customer_id는 개체 식별자로 제외하고 나머지 안전한 특징 열 전체를 입력으로 사용하는 계획을 세웠습니다. 아직 코드 실행·학습·평가는 수행하지 않았습니다.
  7. ML 엔지니어 첫 모델을 만듭니다. 여러 방법을 시험해 가장 나은 것을 고르고, 마지막에 처음 보는 데이터로 한 번 더 확인합니다.
  8. ML 엔지니어 하네스 기본 후보를 시험했습니다. 균형 정확도 64.8%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
  9. ML 엔지니어 다음에 시험할 방법을 정했습니다. 기준선은 고정 설정의 단일 모델이라 개선 여지가 있습니다. 범주형 인코딩과 부스팅 용량을 조정한 실험을 제안합니다.
  10. ML 엔지니어 후보 2번을 시험했습니다. 균형 정확도 68.0%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
  11. ML 엔지니어 다음에 시험할 방법을 정했습니다. t2가 최고 성능이지만 단일 부스팅 계열에 머물러 있어, 다른 모델 계열과의 결합으로 일반화 이득을 검증할 가치가 있습니다.
  12. ML 엔지니어 후보 3번을 시험했습니다. 균형 정확도 68.6%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
  13. ML 엔지니어 가장 좋은 후보로 마무리합니다. 에이전트가 후보 3개를 시험한 뒤 더 시험하지 않기로 했습니다. 남은 예산 9,999,388원 중 40원을 최종 확인에 씁니다. 지금까지 가장 좋은 후보만 처음 보는 데이터로 최종 확인합니다.
  14. ML 엔지니어 최종 확인을 마쳤습니다. 모델이 학습에 쓰지 않은 데이터에서 균형 정확도 67.4%입니다. 아래 보관된 모델 카드에서 이 결과로 예측을 시험해 볼 수 있습니다.
  15. 질문한 사람 support_calls 1, plan pro, data_usage_gb 31.6이면 결과가 어떻게 나와?
  16. ML 엔지니어 support_calls 1, plan pro, data_usage_gb 31.6으로 읽었습니다. 보관된 모델로 직접 예측한 결과입니다 (말하지 않은 항목은 빈 값으로 넣었습니다): 1) data_usage_gb=31.6, plan=pro, support_calls=1 → churn: no