다음 달 도착 예약 중에 취소될 것 같은 예약을 미리 골라줘

누구나 볼 수 있는 공개 기록입니다. 읽기 전용.

사용자의 요구

대화

ML 엔지니어 40,000행과 31개 항목을 읽었습니다. 첨부한 자료와 요청을 함께 확인합니다. 데이터를 살펴보거나 궁금한 내용을 물어볼 수 있습니다. 아직 모델 학습은 시작하지 않았습니다.
질문한 사람 다음 달 도착 예약 중에 취소될 것 같은 예약을 미리 골라줘
질문한 사람 예측할 결과 항목은 "예약취소"입니다. 이 항목으로 모델을 만들어주세요.
ML 엔지니어 요청과 맞지 않는 답변이 나와 다시 확인이 필요합니다. 학습은 아직 시작하지 않았습니다.
ML 엔지니어 예약취소를 예측하는 모델을 만들 계획을 세웠습니다. 입력 열은 따로 지정하지 않으셨으므로 예약취소를 제외한 사용 가능한 열을 모두 쓰고, 한 행 단위로 예측하며, 분류 지표인 balanced_accuracy로 평가하겠습니다. 학습·평가는 아직 실행하지 않았습니다.
ML 엔지니어 첫 모델을 만듭니다. 여러 방법을 시험해 가장 나은 것을 고르고, 마지막에 처음 보는 데이터로 한 번 더 확인합니다.
ML 엔지니어 하네스 기본 후보를 시험했습니다. 균형 정확도 100.0%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 가장 좋은 후보로 마무리합니다. 에이전트가 후보 1개를 시험한 뒤 더 시험하지 않기로 했습니다. 남은 예산 9,999,676원 중 40원을 최종 확인에 씁니다. 지금까지 가장 좋은 후보만 처음 보는 데이터로 최종 확인합니다.
ML 엔지니어 최종 확인을 마쳤습니다. 모델이 학습에 쓰지 않은 데이터에서 균형 정확도 100.0%입니다. 아래 보관된 모델 카드에서 이 결과로 예측을 시험해 볼 수 있습니다.
ML 엔지니어 확인이 필요한 입력이 있습니다. 결과에 크게 영향을 준 입력 중 다음 항목은 '예약취소'을(를) 예측하는 시점에는 없을 수 있습니다. - '최종예약상태' (영향도 46.5%p): 결과가 나온 뒤에야 알 수 있는 값으로 보입니다. 최종예약상태는 예약취소 여부가 확정된 뒤에 기록되는 결과 값이므로 예측 시점에는 알 수 없습니다. 예측할 때 이 값을 알 수 없다면, 지금 점수는 실제로 쓸 때보다 높게 나온 것입니다. '최종예약상태 빼고 다시 만들어줘'라고 보내면 이 입력 없이 새 기준 모델을 만듭니다. 예측 시점에 이미 알 수 있는 값이라면 그대로 써도 됩니다.
질문한 사람 최종예약상태랑 예약상태변경일은 예약이 끝난 뒤에야 기록되는 값이야. 이 두 열은 빼고 다시 만들어줘
ML 엔지니어 최종예약상태와 예약상태변경일을 입력에서 빼고 새 기준 모델을 만들겠습니다. 두 열은 예약이 끝난 뒤에 기록되는 값이라 예측 시점에는 쓸 수 없다는 판단을 반영한 것입니다. 새 후보는 개발 데이터로만 비교하며, 최종 점수는 같은 평가 데이터를 두 번 쓰지 않도록 다시 재지 않습니다. 개선 시도를 시작했습니다. 새 후보를 만들어 개발 데이터로 비교한 뒤 결과를 여기에 알려드립니다.
ML 엔지니어 개선 후보 2번을 만듭니다. 요청: 최종예약상태와 예약상태변경일을 입력에서 제외하고 다시 만들어줘
ML 엔지니어 개선 후보 2번을 시험했습니다. 개발 점수 79.9% (-20.1%p) · 요청한 입력 조건을 반영한 새 기준 모델입니다. 이전 모델과의 점수 차이는 참고값입니다.
ML 엔지니어 에이전트가 이번 개선을 마무리했습니다. 요청한 입력 조건으로 새 후보를 학습·검증했습니다. 사용하는 입력: 고객유형, 국가, 대기일수, 도착연도, 도착월, 도착일, 도착주차, 배정객실유형, 법인번호, 보증금유형, 성인수, 식사옵션, 어린이수, 여행사번호, 예약객실유형, 예약변경횟수, 예약후도착까지일수, 유아수, 유통경로, 이전완료예약수, 이전취소횟수, 재방문고객, 주말숙박수, 주차요청수, 특별요청수, 판매채널, 평균객실요금, 평일숙박수. 새 기준 모델의 개발 점수는 79.9%입니다. 이전 모델과 입력 조건이 달라 성능 개선으로 부르지 않습니다. 이 후보를 보관했고, 이제 대화와 예측해보기에서 이 후보로 예측합니다. 최종 점수는 원래 모델의 1회 측정값(100.0%)을 그대로 둡니다; 새 모델의 독립 평가 점수는 아닙니다.
질문한 사람 어떤 항목이 결과에 가장 큰 영향을 줬어?
ML 엔지니어 개발 데이터에서 항목 값을 섞었을 때 균형 정확도(클래스별로 맞힌 비율의 평균)가 가장 많이 떨어진 순서는 배정객실유형(8.7%p), 여행사번호(8.2%p), 국가(6.1%p), 판매채널(5.0%p), 예약후도착까지일수(4.7%p)입니다. 이어서 특별요청수(3.9%p), 도착연도(3.2%p), 주차요청수(2.4%p), 평균객실요금(1.9%p), 예약객실유형(1.8%p) 순입니다. 다만 영향이 크다고 해서 그것이 취소의 원인이라는 뜻은 아닙니다.