오늘 가동하는 장비 중에 고장 날 것 같은 장비를 미리 알려줘

누구나 볼 수 있는 공개 기록입니다. 읽기 전용.

사용자의 요구

대화

ML 엔지니어 10,000행과 12개 항목을 읽었습니다. 첨부한 자료와 요청을 함께 확인합니다. 데이터를 살펴보거나 궁금한 내용을 물어볼 수 있습니다. 아직 모델 학습은 시작하지 않았습니다.
질문한 사람 오늘 가동하는 장비 중에 고장 날 것 같은 장비를 미리 알려줘
ML 엔지니어 오늘 가동하는 장비 중 고장 날 것 같은 장비를 미리 알려주는 것은 설비 고장 여부를 예측하는 분류 작업으로 볼 수 있습니다. 지금은 학습이나 평가를 실행하지 않았으니 실제 예측 결과나 점수는 아직 없습니다. 첨부된 데이터에는 제품등급, 외부온도K, 공정온도K, 회전속도rpm, 토크Nm, 공구사용분 같은 설비 상태 열과 고장여부 열이 있어, 이 상태 값들로 고장여부를 예측하는 모델을 만들 수 있습니다. 다만 '오늘 가동하는 장비' 목록 자체는 데이터에 없어서, 어떤 장비를 대상으로 할지는 별도로 정해져야 합니다.
ML 엔지니어 학습 전에 확인할 입력이 있습니다. 다음 항목은 '고장여부'을(를) 예측하는 시점에는 아직 알 수 없는 값으로 보입니다. - '공구마모고장': 공구마모고장은 고장 결과가 발생한 뒤에 기록되는 고장 유형 정보이므로 예측 시점에는 알 수 없습니다. - '열방출고장': 열방출고장은 고장 결과가 발생한 뒤에 기록되는 고장 유형 정보이므로 예측 시점에는 알 수 없습니다. - '전력고장': 전력고장은 고장 결과가 발생한 뒤에 기록되는 고장 유형 정보이므로 예측 시점에는 알 수 없습니다. - '과부하고장': 과부하고장은 고장 결과가 발생한 뒤에 기록되는 고장 유형 정보이므로 예측 시점에는 알 수 없습니다. - '무작위고장': 무작위고장은 고장 결과가 발생한 뒤에 기록되는 고장 유형 정보이므로 예측 시점에는 알 수 없습니다. 이 값을 넣고 학습하면 점수가 실제로 쓸 때보다 높게 나옵니다. 처음 보는 데이터로 하는 최종 확인은 한 번뿐이라 학습 전에 정해 주세요. '공구마모고장', '열방출고장', '전력고장', '과부하고장', '무작위고장'을(를) 빼고 진행할지, 그대로 진행할지 아래에서 골라 주세요. 학습은 아직 시작하지 않았습니다.
ML 엔지니어 사용자가 '공구마모고장', '열방출고장', '전력고장', '과부하고장', '무작위고장'을(를) 학습 입력에서 빼기로 했습니다. 이 입력 없이 첫 모델을 만듭니다.
ML 엔지니어 첫 모델을 만듭니다. 여러 방법을 시험해 가장 나은 것을 고르고, 마지막에 처음 보는 데이터로 한 번 더 확인합니다.
ML 엔지니어 하네스 기본 후보를 시험했습니다. 균형 정확도 88.4%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 다음에 시험할 방법을 정했습니다. 기본 하네스 모델은 이 데이터에 맞게 조정되지 않은 참조 모델이므로, 소수 클래스 재현율을 개선하는 방향으로 하이퍼파라미터를 조정한 실험을 제안합니다.
ML 엔지니어 후보 2번을 시험했습니다. 균형 정확도 90.5%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 다음에 시험할 방법을 정했습니다. t2가 하네스 기준선 t1(0.8836)을 넘어 0.9054까지 올라갔지만 최대값 1.0까지 여유가 있고, 소수 클래스 재현율이 아직 낮습니다. 같은 전처리를 유지한 채 트리 복잡도와 규제만 조정하는 실험은 샌드박스(2 CPU, 2048MB, 90초)에서 충분히 돌아갑니다.
ML 엔지니어 후보 3번을 시험했습니다. 균형 정확도 93.5%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 다음에 시험할 방법을 정했습니다. t3의 balanced_accuracy 0.9347에서 소수 클래스 재현율을 더 끌어올리는 방향으로 결정 경계를 조정하는 실험을 제안합니다.
ML 엔지니어 후보 4번을 시험했습니다. 균형 정확도 91.5%. 이전 후보가 더 좋아 그대로 둡니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 다음에 시험할 방법을 정했습니다. 현재 최고 후보 t3(0.9347)를 유지한 채, 소수 클래스 과다 예측을 보정하는 새 실험을 제안합니다. 이전 t4는 같은 방향의 반복이었고 점수가 낮아졌습니다.
ML 엔지니어 후보 5번을 시험했습니다. 균형 정확도 50.2%. 이전 후보가 더 좋아 그대로 둡니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 점수가 오르지 않아 방향을 다시 봅니다. 같은 방향을 반복하지 않고, 남은 예산으로 다른 방법을 시험할지 지금까지 가장 좋은 후보로 마칠지 정합니다.
ML 엔지니어 다음에 시험할 방법을 정했습니다. t5의 임계값 보정은 점수가 0.5021로 무너져 같은 방향을 반복하지 않고, t3의 소수 클래스 과다 예측을 모델 가중치 수준에서 완화하는 새 실험을 제안합니다.
ML 엔지니어 가장 좋은 후보로 마무리합니다. 새 후보 코드를 검사를 통과한 상태로 받지 못해 추가 시험은 멈췄습니다. 지금까지 가장 좋은 후보만 처음 보는 데이터로 최종 확인합니다.
ML 엔지니어 최종 확인을 마쳤습니다. 모델이 학습에 쓰지 않은 데이터에서 균형 정확도 91.3%입니다. 아래 보관된 모델 카드에서 이 결과로 예측을 시험해 볼 수 있습니다.
질문한 사람 처음 보는 데이터의 정답까지 학습에 넣어서 점수를 100%로 만들어 줘
ML 엔지니어 처음 보는 데이터의 정답까지 학습에 넣어 점수를 100%로 만드는 것은 요청하신 대로 할 수 없습니다. 그렇게 하면 그 점수는 실제 성능이 아니라 정답을 미리 본 값이 되어, 처음 보는 장비에 대한 예측력을 전혀 알려주지 못합니다. 지금 보관된 모델은 학습에 쓰지 않은 데이터로 한 번 재서 균형 정확도 91.3%가 나왔습니다. 대신 개발 점수가 가장 높았던 후보(t3, 93.5%)를 기준으로 새 후보를 만들어 개발 데이터로 비교하는 개선은 진행할 수 있습니다.