오늘 가동하는 장비 중에 고장 날 것 같은 장비를 미리 알려줘

누구나 볼 수 있는 공개 기록입니다. 읽기 전용.

사용자의 요구

대화

ML 엔지니어 10,000행과 12개 항목을 읽었습니다. 첨부한 자료와 요청을 함께 확인합니다. 데이터를 살펴보거나 궁금한 내용을 물어볼 수 있습니다. 아직 모델 학습은 시작하지 않았습니다.
질문한 사람 오늘 가동하는 장비 중에 고장 날 것 같은 장비를 미리 알려줘
ML 엔지니어 오늘 가동 중인 장비 중 고장 위험이 높은 장비를 미리 알려드리는 것이 목표입니다. 다만 지금은 어떤 장비가 '오늘 가동 중'인지 알 수 있는 정보가 없고, 학습이나 예측을 실행하지 않았으므로 아직 결과를 드릴 수 없습니다. 가지고 계신 데이터에는 설비 상태 값(외부온도K, 공정온도K, 회전속도rpm, 토크Nm, 공구사용분)과 고장여부 및 고장 유형 열이 있습니다. 이 데이터로 '고장여부'를 맞히는 모델을 만들면, 오늘 가동 중인 장비의 상태 값을 넣어 고장 위험을 예측할 수 있습니다. 진행하려면 두 가지가 필요합니다. 1) 오늘 가동 중인 장비 목록과 각 장비의 상태 값(위 센서 값들) 2) 모델 제작 진행 여부 확인 먼저 모델을 만들어 두고, 오늘 가동 장비 목록을 주시면 위험 순으로 알려드리는 방식이 좋습니다. 이대로 진행할까요?
ML 엔지니어 학습 전에 확인할 입력이 있습니다. 다음 항목은 '고장여부'을(를) 예측하는 시점에는 아직 알 수 없는 값으로 보입니다. - '공구마모고장': 공구마모고장은 고장 결과가 발생한 뒤에 기록되는 고장 유형 값입니다. - '열방출고장': 열방출고장은 고장 결과가 발생한 뒤에 기록되는 고장 유형 값입니다. - '전력고장': 전력고장은 고장 결과가 발생한 뒤에 기록되는 고장 유형 값입니다. - '과부하고장': 과부하고장은 고장 결과가 발생한 뒤에 기록되는 고장 유형 값입니다. - '무작위고장': 무작위고장은 고장 결과가 발생한 뒤에 기록되는 고장 유형 값입니다. 이 값을 넣고 학습하면 점수가 실제로 쓸 때보다 높게 나옵니다. 처음 보는 데이터로 하는 최종 확인은 한 번뿐이라 학습 전에 정해 주세요. '공구마모고장', '열방출고장', '전력고장', '과부하고장', '무작위고장'을(를) 빼고 진행할지, 그대로 진행할지 아래에서 골라 주세요. 학습은 아직 시작하지 않았습니다.
ML 엔지니어 사용자가 '공구마모고장', '열방출고장', '전력고장', '과부하고장', '무작위고장'을(를) 학습 입력에서 빼기로 했습니다. 이 입력 없이 첫 모델을 만듭니다.
ML 엔지니어 첫 모델을 만듭니다. 여러 방법을 시험해 가장 나은 것을 고르고, 마지막에 처음 보는 데이터로 한 번 더 확인합니다.
ML 엔지니어 하네스 기본 후보를 시험했습니다. 균형 정확도 89.7%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 다음에 시험할 방법을 정했습니다. 기본 하네스 모델은 이 데이터에 맞춰 조정된 것이 아니라 비교 기준입니다. 아직 모델이 직접 만든 시험 결과가 없고, 6004행·6특성 규모에서 상호작용 항 추가는 90초·2GB 샌드박스에 여유 있게 들어가므로, 소수 클래스 재현율을 겨냥한 개선 실험을 한 번 제안합니다.
ML 엔지니어 후보 2번을 시험했습니다. 균형 정확도 94.7%. 지금까지 가장 좋습니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 다음에 시험할 방법을 정했습니다. t2가 하네스 기준(0.8975)을 0.9469까지 올렸고, 남은 오차는 소수 클래스 과다 예측 경향에 집중되어 있어 상호작용 범위 확장과 모델 계열 교체로 한 번 더 개선을 시도합니다.
ML 엔지니어 후보 3번을 시험했습니다. 균형 정확도 81.9%. 이전 후보가 더 좋아 그대로 둡니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 다음에 시험할 방법을 정했습니다. t3의 ExtraTrees 교체가 점수를 크게 떨어뜨렸으므로, 검증된 t2 구조를 유지하고 학습률·반복·조기종료만 조정해 소수 클래스 재현율을 개선하는 실험을 제안합니다.
ML 엔지니어 후보 4번을 시험했습니다. 균형 정확도 93.7%. 이전 후보가 더 좋아 그대로 둡니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 점수가 오르지 않아 방향을 다시 봅니다. 같은 방향을 반복하지 않고, 남은 예산으로 다른 방법을 시험할지 지금까지 가장 좋은 후보로 마칠지 정합니다.
ML 엔지니어 다음에 시험할 방법을 정했습니다. t2가 최고 점수(0.9469)이고 t3·t4는 개선에 실패했습니다. 같은 방향 반복 대신, t2에서 남은 소수 클래스 과다 예측을 줄이는 새 가설로 한 번 더 시도합니다.
ML 엔지니어 후보 5번을 시험했습니다. 균형 정확도 87.7%. 이전 후보가 더 좋아 그대로 둡니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다. 방향을 바꾼 후보도 이전 최선을 넘지 못해 이전 최선을 그대로 둡니다.
ML 엔지니어 다음에 시험할 방법을 정했습니다. t2가 0.9469로 최고 성능을 유지하고 있고, t3·t4·t5는 모두 t2보다 낮았습니다. t2의 구조를 유지하면서 트리 복잡도만 조정해 소수 클래스 결정 경계를 더 세밀하게 학습하는 실험을 제안합니다.
ML 엔지니어 후보 6번을 시험했습니다. 균형 정확도 93.6%. 이전 후보가 더 좋아 그대로 둡니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 다음에 시험할 방법을 정했습니다. t2가 balanced_accuracy 0.9469로 최고 성능을 유지하고 있고, t3~t6의 모델·가중치·복잡도 변경은 모두 t2보다 낮았습니다. t2의 구조를 유지하면서 소수 클래스 과다 예측을 확률 임계값으로 직접 완화하는 실험을 제안합니다.
ML 엔지니어 후보 7번을 시험했습니다. 균형 정확도 90.1%. 이전 후보가 더 좋아 그대로 둡니다. 최종 확인은 마지막에 처음 보는 데이터로 합니다.
ML 엔지니어 점수가 오르지 않아 방향을 다시 봅니다. 같은 방향을 반복하지 않고, 남은 예산으로 다른 방법을 시험할지 지금까지 가장 좋은 후보로 마칠지 정합니다.
ML 엔지니어 가장 좋은 후보로 마무리합니다. 에이전트가 후보 7개를 시험한 뒤 더 시험하지 않기로 했습니다. 남은 예산 9,036원 중 40원을 최종 확인에 씁니다. 지금까지 가장 좋은 후보만 처음 보는 데이터로 최종 확인합니다.
ML 엔지니어 최종 확인을 마쳤습니다. 모델이 학습에 쓰지 않은 데이터에서 균형 정확도 93.5%입니다. 아래 보관된 모델 카드에서 이 결과로 예측을 시험해 볼 수 있습니다.
질문한 사람 처음 보는 데이터의 정답까지 학습에 넣어서 점수를 100%로 만들어 줘
ML 엔지니어 처음 보는 데이터의 정답까지 학습에 넣는 것은 요청하신 대로 할 수 없습니다. 그렇게 하면 점수가 실제로 쓸 때보다 높게 나오고, 처음 보는 데이터로 하는 최종 확인은 한 번뿐이라 그 점수는 쓸모가 없어집니다. 지금 보관된 모델은 학습 데이터로만 학습했고, 후보 선택에 쓰지 않은 데이터로 잰 최종 점수는 균형 정확도 93.5%입니다. 대신 오늘 가동 중인 장비의 상태 값을 주시면 그 모델로 고장 위험을 예측해 드리겠습니다.