전화했을 때 정기예금에 가입할 고객을 잘 골라내는 모델을 만…
누구나 볼 수 있는 공개 기록입니다. 읽기 전용.
사용자의 요구
전화했을 때 정기예금에 가입할 고객을 잘 골라내는 모델을 만들어줘
대화
- ML 엔지니어 36,171행, 17개 항목을 읽었습니다. 답의 기준은 ‘정기예금가입’ 열로 잡았습니다. 아래에서 맞는지 확인해 주세요.
- 질문한 사람 전화했을 때 정기예금에 가입할 고객을 잘 골라내는 모델을 만들어줘
- ML 엔지니어 요청 원문으로 확인되지 않은 해석이 있어, 확인된 내용만 남겨 다시 정리하고 있습니다. 학습은 아직 시작하지 않았습니다.
- ML 엔지니어 등록 과제(bank-trial)의 조건에 맞춰 정기예금 가입 고객을 분류하는 모델 계획을 세웠습니다. 허용 입력 열 전체를 사용하고 금지 열(통화시간초)은 제외하며, 정답 열(정기예금가입)은 입력에서 제외합니다. 지표는 balanced_accuracy, 분할은 특징 그룹 기반 iid_feature_groups_60_20_20_v1, 결과 제공은 model로 제안합니다. 다음 행동은 이 계획을 DECISION.json에 기록하는 것입니다.
- ML 엔지니어 첫 모델을 만듭니다. 여러 방법을 시험해 가장 나은 것을 고르고, 마지막에 처음 보는 데이터로 한 번 더 확인합니다.
- ML 엔지니어 하네스 기본 후보를 시험했습니다. 균형 정확도 73.7%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
- ML 엔지니어 다음에 시험할 방법을 정했습니다. 기준선은 범주형 열을 단순 순서 코드로만 처리해 이전 캠페인 결과와 연락 이력 간 상호작용을 담지 못합니다. 이 상호작용을 명시적으로 모델링하는 실험이 남은 예산 안에서 가장 근거 있는 다음 시도입니다.
- ML 엔지니어 후보 2번을 시험했습니다. 균형 정확도 73.9%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
- ML 엔지니어 다음에 시험할 방법을 정했습니다. 현재 최고 모델(t2)은 빈도 인코딩과 고정 상호작용 항을 사용합니다. 같은 방향을 반복하지 않고, 고카디널리티 범주를 out-of-fold 타깃 인코딩으로 바꿔 범주별 가입률 신호를 직접 학습하게 하는 다른 가설을 시도합니다.
- ML 엔지니어 학습 코드가 실행 중 오류를 냈습니다. 기록은 남겨 두고, 고칠 수 있는 오류인지 확인합니다. 아직 점수는 없습니다.
- ML 엔지니어 에이전트가 오류를 고칩니다. 오류 내용을 보고 코드를 다시 써서 같은 조건으로 다시 시험합니다. 예산과 평가 방식은 그대로입니다.
- ML 엔지니어 학습 코드가 실행 중 오류를 냈습니다. 기록은 남겨 두고, 고칠 수 있는 오류인지 확인합니다. 아직 점수는 없습니다.
- ML 엔지니어 가장 좋은 후보로 마무리합니다. 오류 수정은 한 번까지라 시험을 멈췄습니다. 지금까지 가장 좋은 후보만 처음 보는 데이터로 최종 확인합니다.
- ML 엔지니어 최종 확인을 마쳤습니다. 모델이 학습에 쓰지 않은 데이터에서 균형 정확도 73.1%입니다. 아래 보관된 모델 카드에서 이 결과로 예측을 시험해 볼 수 있습니다.
- 질문한 사람 가입할 고객을 더 많이 찾아줘. 놓치는 가입자를 줄여줘
- ML 엔지니어 가입할 고객을 더 많이 잡도록 개선을 시도합니다. 지금 모델은 이전캠페인결과·연락수단 같은 항목을 빈도로만 인코딩해 범주별 차이를 살리지 못하므로, 범주를 모델이 직접 학습하는 인코딩으로 바꾸고 가입(예) 쪽을 더 잡도록 조정합니다. 같은 작업에서 새 후보를 만들어 개발 데이터로만 비교하며, 최종 점수는 같은 평가 데이터를 두 번 쓰지 않도록 다시 재지 않습니다. 개선 시도를 시작했습니다. 새 후보를 만들어 개발 데이터로 비교한 뒤 결과를 여기에 알려드립니다.
- 질문한 사람 지금 어디까지 했어?
- ML 엔지니어 지금 '가입(예) 고객을 덜 놓치도록 범주형 인코딩을 개선하고 소수 클래스 재현율을 높여 달라' 요청으로 개선 후보를 시험하고 있습니다 (최대 4개 중 1번째). 첫 후보를 준비하고 있습니다. 끝나면 결과를 여기에 알려드리고, 그 뒤에 질문에 답할 수 있습니다.
- ML 엔지니어 개선 후보 5번을 만듭니다. 요청: 가입(예) 고객을 덜 놓치도록 범주형 인코딩을 개선하고 소수 클래스 재현율을 높여 달라
- ML 엔지니어 개선 후보 5번을 시험하지 못했습니다. Qwen 판단 결과의 크기를 확인할 수 없습니다.
- ML 엔지니어 개선 후보 6번을 만듭니다. 요청: 가입(예) 고객을 덜 놓치도록 범주형 인코딩을 개선하고 소수 클래스 재현율을 높여 달라
- ML 엔지니어 개선 후보 6번을 시험하지 못했습니다. 현재 작업의 데이터·실행 근거를 다시 확인해야 합니다. 기존 기록은 보존했습니다.
- ML 엔지니어 개선 후보 7번을 만듭니다. 요청: 가입(예) 고객을 덜 놓치도록 범주형 인코딩을 개선하고 소수 클래스 재현율을 높여 달라
- ML 엔지니어 개선 후보 7번을 시험하지 못했습니다. 현재 작업의 데이터·실행 근거를 다시 확인해야 합니다. 기존 기록은 보존했습니다.
- ML 엔지니어 개선 후보 8번을 만듭니다. 요청: 가입(예) 고객을 덜 놓치도록 범주형 인코딩을 개선하고 소수 클래스 재현율을 높여 달라
- ML 엔지니어 개선 후보 8번을 시험하지 못했습니다. 현재 작업의 데이터·실행 근거를 다시 확인해야 합니다. 기존 기록은 보존했습니다.
- ML 엔지니어 새 후보 4개가 모두 학습 전후에 실패해 비교할 결과가 없습니다. 기존 모델(개발 점수 73.9%)을 그대로 둡니다. 최종 점수는 원래 모델의 1회 측정값(73.1%)을 그대로 둡니다. 다른 방향으로 더 해보려면 "한 번 더 해봐"처럼 말해 주세요.
- 질문한 사람 나이 34살, basic 요금제, 월 29.9, 상담 5번, 가입 3개월 고객은 떠날까?
- ML 엔지니어 현재 작업의 데이터·실행 근거를 다시 확인해야 합니다. 기존 기록은 보존했습니다.