오늘 가동하는 장비 중에 고장 날 것 같은 장비를 미리 알려…
누구나 볼 수 있는 공개 기록입니다. 읽기 전용.
사용자의 요구
오늘 가동하는 장비 중에 고장 날 것 같은 장비를 미리 알려줘. 예측할 건 고장여부야.
대화
- ML 엔지니어 10,000행과 12개 항목을 읽었습니다. 첨부한 자료와 요청을 함께 확인합니다. 데이터를 살펴보거나 궁금한 내용을 물어볼 수 있습니다. 아직 모델 학습은 시작하지 않았습니다.
- 질문한 사람 오늘 가동하는 장비 중에 고장 날 것 같은 장비를 미리 알려줘. 예측할 건 고장여부야.
- ML 엔지니어 오늘 가동하는 장비 중 고장 날 것 같은 장비를 미리 알려주는 모델을 만들려면, 먼저 어떤 기록을 준비할지 정해야 해요. 지금은 학습이나 평가를 실행하지 않았으니 결과를 단정할 수 없습니다. 예를 들어 장비별로 제품등급, 외부온도K, 공정온도K, 회전속도rpm, 토크Nm, 공구사용분 같은 당시 상태 값과, 그 장비가 실제로 고장 났는지(고장여부)를 한 행씩 기록한 표가 있으면 예측 모델을 만들 수 있어요. 이런 표를 준비해 주시면 다음 단계로 진행할게요.
- ML 엔지니어 학습 전에 확인할 입력이 있습니다. 다음 항목은 '고장여부'을(를) 예측하는 시점에는 아직 알 수 없는 값으로 보입니다. - '공구마모고장': 공구마모고장은 고장여부가 발생한 뒤에 그 결과로 기록되는 고장 유형입니다. - '열방출고장': 열방출고장은 고장여부가 발생한 뒤에 그 결과로 기록되는 고장 유형입니다. - '전력고장': 전력고장은 고장여부가 발생한 뒤에 그 결과로 기록되는 고장 유형입니다. - '과부하고장': 과부하고장은 고장여부가 발생한 뒤에 그 결과로 기록되는 고장 유형입니다. - '무작위고장': 무작위고장은 고장여부가 발생한 뒤에 그 결과로 기록되는 고장 유형입니다. 이 값을 넣고 학습하면 점수가 실제로 쓸 때보다 높게 나옵니다. 처음 보는 데이터로 하는 최종 확인은 한 번뿐이라 학습 전에 정해 주세요. '공구마모고장', '열방출고장', '전력고장', '과부하고장', '무작위고장'을(를) 빼고 진행할지, 그대로 진행할지 아래에서 골라 주세요. 학습은 아직 시작하지 않았습니다.
- ML 엔지니어 사용자가 '공구마모고장', '열방출고장', '전력고장', '과부하고장', '무작위고장'을(를) 학습 입력에서 빼기로 했습니다. 이 입력 없이 첫 모델을 만듭니다.
- ML 엔지니어 첫 모델을 만듭니다. 여러 방법을 시험해 가장 나은 것을 고르고, 마지막에 처음 보는 데이터로 한 번 더 확인합니다.
- ML 엔지니어 하네스 기본 후보를 시험했습니다. 균형 정확도 89.8%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
- ML 엔지니어 다음에 시험할 방법을 정했습니다. 기본 하네스 모델의 부스팅 설정을 이 데이터에 맞게 조정해 소수 클래스 재현율과 균형 정확도를 높이는 실험을 제안합니다.
- ML 엔지니어 후보 2번을 시험했습니다. 균형 정확도 90.0%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
- ML 엔지니어 다음에 시험할 방법을 정했습니다. t2가 하네스 기준 t1을 이미 앞섰고(0.9004 > 0.8976), 남은 격차 0.0996은 소수 클래스 결정 경계 보정으로 줄일 여지가 있어 한 번 더 개선 실험을 제안합니다.
- ML 엔지니어 후보 3번을 시험했습니다. 균형 정확도 94.8%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
- ML 엔지니어 다음에 시험할 방법을 정했습니다. 현재 최고 후보(t3)는 balanced_accuracy 0.9477로 최대값 1.0까지 여지가 남아 있고, 남은 오류는 소수 클래스 재현율이 아니라 확률 보정 문제일 가능성이 있어 한 번 더 검증할 가치가 있습니다.
- ML 엔지니어 후보 4번을 시험했습니다. 균형 정확도 95.1%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
- ML 엔지니어 다음에 시험할 방법을 정했습니다. t4가 현재 최고 점수(0.9512790823895503)이고, 남은 오류는 소수 클래스 과예측으로 인한 class_1.recall 저하로 보입니다. 임계값 재조정이 아니라 확률 분산을 줄이는 소규모 앙상블로 두 클래스 재현율 균형을 개선하는 실험을 제안합니다.
- ML 엔지니어 후보 5번을 시험했습니다. 균형 정확도 95.1%. 지금까지 가장 좋은 후보와 같은 점수라 기존 후보를 그대로 둡니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
- ML 엔지니어 다음에 시험할 방법을 정했습니다. t5는 t4와 같은 점수(0.9512790823895503)로 개선되지 않았습니다. 같은 방향을 반복하지 않고, t4의 소수 클래스 과예측을 줄이는 새 실험을 제안합니다.
- ML 엔지니어 가장 좋은 후보로 마무리합니다. 이미 시험한 코드와 같아 다시 학습하지 않았습니다. 지금까지 가장 좋은 후보만 처음 보는 데이터로 최종 확인합니다.
- ML 엔지니어 최종 확인을 마쳤습니다. 모델이 학습에 쓰지 않은 데이터에서 균형 정확도 95.1%입니다. 아래 보관된 모델 카드에서 이 결과로 예측을 시험해 볼 수 있습니다.