어떤 주문이 정시배송될지 미리 알려줘

누구나 볼 수 있는 공개 기록입니다. 읽기 전용.

사용자의 요구

대화

ML 엔지니어 14,100행과 14개 항목을 읽었습니다. 첨부한 자료와 요청을 함께 확인합니다. 데이터를 살펴보거나 궁금한 내용을 물어볼 수 있습니다. 아직 모델 학습은 시작하지 않았습니다.
질문한 사람 어떤 주문이 정시배송될지 미리 알려줘
ML 엔지니어 주문 정보를 보고 정시배송 여부를 미리 예측하는 모델을 만들 수 있습니다. 예측할 결과는 '정시배송' 열이고, 나머지 주문 관련 열들을 입력으로 사용합니다. 학습과 평가는 아직 실행하지 않았습니다.
ML 엔지니어 첫 모델을 만듭니다. 여러 방법을 시험해 가장 나은 것을 고르고, 마지막에 처음 보는 데이터로 한 번 더 확인합니다.
ML 엔지니어 하네스 기본 후보를 시험했습니다. 균형 정확도 100.0%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 가장 좋은 후보로 마무리합니다. 에이전트가 후보 1개를 시험한 뒤 더 시험하지 않기로 했습니다. 남은 예산 9,999,760원 중 40원을 최종 확인에 씁니다. 지금까지 가장 좋은 후보만 처음 보는 데이터로 최종 확인합니다.
ML 엔지니어 최종 확인을 마쳤습니다. 모델이 학습에 쓰지 않은 데이터에서 균형 정확도 100.0%입니다. 아래 보관된 모델 카드에서 이 결과로 예측을 시험해 볼 수 있습니다.
ML 엔지니어 확인이 필요한 입력이 있습니다. 결과에 크게 영향을 준 입력 중 다음 항목은 '정시배송'을(를) 예측하는 시점에는 없을 수 있습니다. - '실제배송일수' (영향도 41.0%p): 결과가 나온 뒤에야 알 수 있는 값으로 보입니다. 실제배송일수는 배송이 끝난 뒤에야 확정되는 값이라 예측 시점에는 알 수 없습니다. 예측할 때 이 값을 알 수 없다면, 지금 점수는 실제로 쓸 때보다 높게 나온 것입니다. '실제배송일수 빼고 다시 만들어줘'라고 보내면 이 입력 없이 새 기준 모델을 만듭니다. 예측 시점에 이미 알 수 있는 값이라면 그대로 써도 됩니다.
질문한 사람 어떤 항목이 결과에 가장 큰 영향을 줬어?
ML 엔지니어 결과에 가장 큰 영향을 준 항목은 실제배송일수로, 이 값을 섞었을 때 개발 데이터의 균형 정확도(클래스별로 맞힌 비율의 평균)가 41.0%p 떨어졌습니다. 다음은 배송방식 24.6%p, 예정배송일수 11.4%p 순입니다. 나머지 항목(결제방식, 고객유형, 대표상품분류, 상품종류수, 주문금액, 주문이익, 주문지역, 총수량, 판매시장)은 떨어짐이 0%p로 영향이 거의 없었습니다. 다만 영향이 크다고 해서 그것이 결과의 원인이라는 뜻은 아닙니다.
질문한 사람 실제배송일수는 주문 때는 모르는 값이야. 이 열은 빼고 다시 만들어줘
ML 엔지니어 실제배송일수를 입력에서 빼고 새 기준 모델을 만드는 요청으로 읽었습니다. 같은 작업에서 새 후보를 만들어 개발 데이터로 비교하며, 최종 점수는 같은 평가 데이터를 두 번 쓰지 않도록 다시 재지 않습니다. 개발 점수가 가장 높은 후보를 고르므로 새 후보의 개발 점수는 이전과 다를 수 있습니다. 개선 시도를 시작했습니다. 새 후보를 만들어 개발 데이터로 비교한 뒤 결과를 여기에 알려드립니다.
ML 엔지니어 개선 후보 2번을 만듭니다. 요청: 실제배송일수 열을 입력에서 제외하고 정시배송 예측 모델을 다시 만들어줘
ML 엔지니어 개선 후보 2번을 시험했습니다. 개발 점수 71.9% (-28.1%p) · 요청한 입력 조건을 반영한 새 기준 모델입니다. 이전 모델과의 점수 차이는 참고값입니다.
ML 엔지니어 에이전트가 이번 개선을 마무리했습니다. 요청한 입력 조건으로 새 후보를 학습·검증했습니다. 사용하는 입력: 결제방식, 고객유형, 대표상품분류, 배송방식, 상품종류수, 예정배송일수, 주문금액, 주문이익, 주문지역, 총수량, 판매시장, 평균할인율. 새 기준 모델의 개발 점수는 71.9%입니다. 이전 모델과 입력 조건이 달라 성능 개선으로 부르지 않습니다. 이 후보를 보관했고, 이제 대화와 예측해보기에서 이 후보로 예측합니다. 최종 점수는 원래 모델의 1회 측정값(100.0%)을 그대로 둡니다; 새 모델의 독립 평가 점수는 아닙니다.
ML 엔지니어 확인이 필요한 입력이 있습니다. 결과에 크게 영향을 준 입력 중 다음 항목은 '정시배송'을(를) 예측하는 시점에는 없을 수 있습니다. - '주문이익' (영향도 2.9%p): 결과가 나온 뒤에야 알 수 있는 값으로 보입니다. 주문이익은 배송이 끝난 뒤 실제 비용이 확정되어야 계산되는 사후 값이므로 예측 시점에는 알 수 없습니다. 예측할 때 이 값을 알 수 없다면, 지금 점수는 실제로 쓸 때보다 높게 나온 것입니다. '주문이익 빼고 다시 만들어줘'라고 보내면 이 입력 없이 새 기준 모델을 만듭니다. 예측 시점에 이미 알 수 있는 값이라면 그대로 써도 됩니다.