오늘 가동하는 장비 중에 고장 날 것 같은 장비를 미리 알려줘

누구나 볼 수 있는 공개 기록입니다. 읽기 전용.

사용자의 요구

대화

ML 엔지니어 4,500행과 12개 항목을 읽었습니다. 첨부한 자료와 요청을 함께 확인합니다. 데이터를 살펴보거나 궁금한 내용을 물어볼 수 있습니다. 아직 모델 학습은 시작하지 않았습니다.
질문한 사람 오늘 가동하는 장비 중에 고장 날 것 같은 장비를 미리 알려줘
ML 엔지니어 오늘 가동하는 장비 중 고장 날 것 같은 장비를 미리 알려주는 것이 목표네요. 지금은 학습이나 예측을 실행하지 않았고, 점수도 아직 없습니다. 첨부된 데이터에는 설비 상태를 나타내는 센서 값(외부온도K, 공정온도K, 회전속도rpm, 토크Nm, 공구사용분)과 고장여부 열이 있어서, 이 데이터로 '고장여부'를 맞히는 모델을 만들면 새 장비의 고장 가능성을 미리 알려줄 수 있습니다. 다만 '오늘 가동하는 장비' 목록은 이 데이터에 없어서, 어떤 장비를 대상으로 예측할지 알려주시면 바로 계획을 세우겠습니다.
ML 엔지니어 학습 전에 확인할 입력이 있습니다. 다음 항목은 '고장여부'을(를) 예측하는 시점에는 아직 알 수 없는 값으로 보입니다. - '공구마모고장': 공구마모고장은 고장 결과의 한 종류로 정답이 생긴 뒤에만 알 수 있는 값입니다. - '열방출고장': 열방출고장은 고장 결과의 한 종류로 정답이 생긴 뒤에만 알 수 있는 값입니다. - '전력고장': 전력고장은 고장 결과의 한 종류로 정답이 생긴 뒤에만 알 수 있는 값입니다. - '과부하고장': 과부하고장은 고장 결과의 한 종류로 정답이 생긴 뒤에만 알 수 있는 값입니다. - '무작위고장': 무작위고장은 고장 결과의 한 종류로 정답이 생긴 뒤에만 알 수 있는 값입니다. 이 값을 넣고 학습하면 점수가 실제로 쓸 때보다 높게 나옵니다. 처음 보는 데이터로 하는 최종 확인은 한 번뿐이라 학습 전에 정해 주세요. '공구마모고장', '열방출고장', '전력고장', '과부하고장', '무작위고장'을(를) 빼고 진행할지, 그대로 진행할지 아래에서 골라 주세요. 학습은 아직 시작하지 않았습니다.
ML 엔지니어 사용자가 '공구마모고장', '열방출고장', '전력고장', '과부하고장', '무작위고장'을(를) 학습 입력에서 빼기로 했습니다. 이 입력 없이 첫 모델을 만듭니다.
ML 엔지니어 최종 확인을 마쳤습니다. 모델이 학습에 쓰지 않은 데이터에서 균형 정확도 82.6%입니다. 아래 보관된 모델 카드에서 이 결과로 예측을 시험해 볼 수 있습니다.
질문한 사람 어떤 항목이 결과에 가장 큰 영향을 줬어?
ML 엔지니어 개발 데이터에서 항목 값을 섞었을 때 균형 정확도가 가장 많이 떨어진 순서는 외부온도K(-27.9%p), 회전속도rpm(-22.1%p), 토크Nm(-17.7%p), 공구사용분(-7.7%p), 공정온도K(-3.4%p), 제품등급(-2.5%p)입니다. 즉 이 모델의 예측에는 외부온도K와 회전속도rpm이 가장 크게 작용했고, 제품등급은 영향이 가장 작았습니다. 다만 영향이 크다고 해서 그것이 고장의 원인이라는 뜻은 아닙니다.
질문한 사람 왜 이 점수가 나왔어?
ML 엔지니어 최종 점수는 균형 정확도 82.6%로, 학습과 후보 선택에 쓰지 않은 최종 데이터 897건으로 고른 모델(t8)을 한 번만 잰 값입니다. 균형 정확도는 클래스별로 맞힌 비율의 평균이라, 고장(예)과 정상(아니오)을 얼마나 고르게 맞히는지를 봅니다. 이 모델은 개발 데이터에서 소수 클래스(고장) 쪽 확률 분위를 임계값으로 삼아 재현율을 끌어올린 후보이고, 개발 점수 89.8%와 최종 점수 82.6%가 다른 것은 개발 점수가 가장 높은 후보를 골랐기 때문에 흔히 생기는 차이입니다. 데이터가 작을수록 이 차이가 커질 수 있습니다.
질문한 사람 외부온도K 298.1, 회전속도rpm 1527, 토크Nm 40.2이면 결과가 어떻게 나와?
ML 엔지니어 외부온도K 298.1, 회전속도rpm 1527, 토크Nm 40.2으로 읽었습니다. 보관된 모델로 직접 예측한 결과입니다 (말하지 않은 항목은 빈 값으로 넣었습니다): 1) 외부온도K=298.1, 토크Nm=40.2, 회전속도rpm=1527 → 고장여부: 아니오
질문한 사람 고장을 덜 놓치게 다시 만들어 줘
ML 엔지니어 고장(예)을 덜 놓치도록 같은 작업에서 새 후보를 만들어 개발 데이터로 비교하겠습니다. 어떤 방법을 쓸지는 개선 에이전트가 기존 후보들을 보며 정합니다. 최종 점수는 같은 평가 데이터를 두 번 쓰지 않도록 다시 재지 않습니다. 개선 시도를 시작했습니다. 새 후보를 만들어 개발 데이터로 비교한 뒤 결과를 여기에 알려드립니다.
질문한 사람 오늘 가동할 100대 예측해 줘
ML 엔지니어 요청을 기억했습니다. 지금 작업을 안전하게 마친 뒤 바로 이어서 반영하겠습니다.
ML 엔지니어 개선 후보 14번을 만듭니다. 직전 결과를 보고 에이전트가 고른 다른 방법으로 만듭니다.
ML 엔지니어 개선 후보 14번을 시험했습니다. 개발 점수 89.8% (+0.0%p) · 개발 데이터의 모든 행에서 기존 모델과 같은 예측이라 바뀐 것이 없습니다.
ML 엔지니어 에이전트가 다음 단계를 정했습니다. 지금까지와 다른 방법을 시도하기로 했습니다.
ML 엔지니어 개선 후보 15번을 만듭니다. 직전 결과를 보고 에이전트가 고른 다른 방법으로 만듭니다.
ML 엔지니어 개선 후보 15번을 시험했습니다. 개발 점수 50.0% (-39.8%p) · '예'를 놓친 비율 16% → 0%로 확실히 줄었습니다. 하지만 전체 점수 변화가 -45.4%p ~ -32.9%p라 허용한 하락(-2.0%p)보다 더 떨어질 수 있어 채택하지 않습니다. 요청한 쪽만 좋아지고 전체가 나빠지는 모델일 수 있습니다.
ML 엔지니어 에이전트가 다음 단계를 정했습니다. 지금까지와 다른 방법을 시도하기로 했습니다.
ML 엔지니어 개선 후보 16번을 만듭니다. 직전 결과를 보고 에이전트가 고른 다른 방법으로 만듭니다.
ML 엔지니어 개선 후보 16번을 시험했습니다. 개발 점수 87.2% (-2.6%p) · '예'를 놓친 비율 16% → 8%로, 재현율 개선 폭 +0.0%p ~ +16.7%p가 0을 걸쳐 확실한 개선이 아니라 채택하지 않습니다.
ML 엔지니어 에이전트가 다음 단계를 정했습니다. 지금까지와 다른 방법을 시도하기로 했습니다.
ML 엔지니어 개선 후보 17번을 만듭니다. 직전 결과를 보고 에이전트가 고른 다른 방법으로 만듭니다.
ML 엔지니어 개선 후보 17번을 시험했습니다. 개발 점수 84.7% (-5.1%p) · '예'를 놓친 비율 16% → 12%로, 재현율 개선 폭 +0.0%p ~ +10.5%p가 0을 걸쳐 확실한 개선이 아니라 채택하지 않습니다.
ML 엔지니어 에이전트가 다음 단계를 정했습니다. 지금까지와 다른 방법을 시도하기로 했습니다.
ML 엔지니어 개선 후보 18번을 만듭니다. 직전 결과를 보고 에이전트가 고른 다른 방법으로 만듭니다.
ML 엔지니어 개선 후보 18번을 시험했습니다. 개발 점수 50.0% (-39.8%p) · '예'를 놓친 비율 16% → 0%로 확실히 줄었습니다. 하지만 전체 점수 변화가 -45.8%p ~ -33.2%p라 허용한 하락(-2.0%p)보다 더 떨어질 수 있어 채택하지 않습니다. 요청한 쪽만 좋아지고 전체가 나빠지는 모델일 수 있습니다.
ML 엔지니어 에이전트가 다음 단계를 정했습니다. 지금까지와 다른 방법을 시도하기로 했습니다.
ML 엔지니어 개선 후보 19번을 만듭니다. 직전 결과를 보고 에이전트가 고른 다른 방법으로 만듭니다.
ML 엔지니어 개선 후보 19번을 시험했습니다. 개발 점수 70.4% (-19.3%p) · '예'를 놓친 비율 16% → 4%로, 재현율 개선 폭 +0.0%p ~ +25.0%p가 0을 걸쳐 확실한 개선이 아니라 채택하지 않습니다.
ML 엔지니어 에이전트가 다음 단계를 정했습니다. 지금까지와 다른 방법을 시도하기로 했습니다.
ML 엔지니어 개선 후보 20번을 만듭니다. 직전 결과를 보고 에이전트가 고른 다른 방법으로 만듭니다.
ML 엔지니어 개선 후보 20번을 시험했습니다. 개발 점수 50.0% (-39.8%p) · '예'를 놓친 비율 16% → 0%로 확실히 줄었습니다. 하지만 전체 점수 변화가 -45.4%p ~ -33.8%p라 허용한 하락(-2.0%p)보다 더 떨어질 수 있어 채택하지 않습니다. 요청한 쪽만 좋아지고 전체가 나빠지는 모델일 수 있습니다.
ML 엔지니어 에이전트가 다음 단계를 정했습니다. 지금까지와 다른 방법을 시도하기로 했습니다.
ML 엔지니어 개선 후보 21번을 만듭니다. 직전 결과를 보고 에이전트가 고른 다른 방법으로 만듭니다.
ML 엔지니어 개선 후보 21번을 시험했습니다. 개발 점수 89.8% (+0.0%p) · 개발 데이터의 모든 행에서 기존 모델과 같은 예측이라 바뀐 것이 없습니다.
ML 엔지니어 에이전트가 다음 단계를 정했습니다. 지금까지와 다른 방법을 시도하기로 했습니다.