영상에서 자동으로 진단하는 의료 영상 애플리케이션을 사용하고 있다고 가정합니다. 기본적인 훈련 외에 이전의 의학 경력이 없는 일반인은 이 작업에서 15%의 오류를 달성한다. 하급 의사는 10%의 오류를 달성한다. 경험이 많은 의사는 5%의 오류를 달성한다. 그리고 각각의 이미지에 대해 토론하고 토론하는 소규모 의사 팀은 2%의 오류를 달성합니다. 다음 중 “인간 수준의 성능”을 정의하는 오류율은 무엇입니까? 이 경우 최적의 오류율을 위해 2%를 인간 수준의 퍼포먼스 프록시로 사용합니다.
또한 인간 수준의 퍼포먼스와 비교해야 하는 이전 장의 세 가지 이유가 모두 적용되므로 2%를 원하는 퍼포먼스 수준으로 설정할 수도 있습니다. 라벨이 붙은 데이터를 입수하는 경우, 모든 이미지를 의사 팀 전체와 논의하는 것은 바람직하지 않을 수 있습니다.이는 시간이 많이 걸리기 때문입니다. 아마도 당신은 한 명의 하급 의사에게 대부분의 사례에 라벨을 붙이고 더 경험이 많은 의사나 의사 팀에게 더 어려운 사례만 가져다 줄 수 있을 것이다. 현재 시스템의 오류가 40%인 경우 데이터에 라벨을 붙이고 직관을 제공하기 위해 하위 의사(10% 오류) 또는 경험이 풍부한 의사(5%)를 사용해도 크게 문제가 되지 않습니다. 그러나 시스템이 이미 10%의 오류를 가지고 있는 경우, 인간 수준의 참조를 2%로 정의하면 시스템을 지속적으로 개선하기 위한 더 나은 도구를 제공할 수 있습니다.
음성 인식에 대해 연구하고 있으며 오디오 클립의 데이터 세트를 가지고 있습니다. 데이터 세트에 노이즈가 많은 오디오 클립이 있어 인간도 10%의 오류를 발생시킨다고 가정해 보십시오. 시스템이 이미 8%의 오류를 달성했다고 가정합니다. 33장에서 설명한 세 가지 기술 중 하나를 사용하여 빠른 발전을 계속할 수 있습니까? 인간이 시스템을 크게 능가하는 데이터의 서브셋을 특정할 수 있는 경우에도 그 기술을 사용하여 급속한 발전을 도모할 수 있습니다. 예를 들어, 당신의 시스템이 시끄러운 음성으로 말하는 것을 인식하는 데 있어서 사람들보다 훨씬 더 뛰어나지만, 인간은 여전히 매우 빠르게 말하는 말을 번역하는 데 더 뛰어나다고 가정해 보자. 보다 일반적으로, 인간이 옳고 알고리즘이 잘못된 개발 집합의 예가 있는 한, 앞에서 설명한 많은 기술이 적용됩니다.
이는 전체 개발/테스트 세트에 걸쳐 평균화된 성능이 이미 인간 수준의 성능을 능가하는 경우에도 마찬가지입니다. 기계가 인간 수준의 성능을 능가하는 중요한 기계 학습 애플리케이션이 많이 있습니다. 예를 들어, 기계는 영화 시청률, 배달 차량이 어딘가로 가는 데 걸리는 시간, 대출 신청을 승인할지 여부를 더 잘 예측합니다. 알고리즘이 명백히 잘못되고 있는 예를 식별하기 어려운 경우에는 일부 기술만 적용됩니다. 따라서 기계가 이미 인간 수준의 성능을 능가하는 문제에서는 대개 진도가 느리지만, 기계가 여전히 인간을 따라잡으려고 할 때는 진도가 더 빠릅니다.
고양이 사진 앱 사용자가 10,000개의 이미지를 업로드했습니다.수동으로 고양이 포함 여부를 라벨링했습니다. 인터넷에서 다운로드한 200,000개의 이미지 세트도 있습니다. 트레인/개발/테스트 세트를 어떻게 정의해야 합니까? 10,000개의 사용자 이미지는 잘 수행하고자 하는 데이터의 실제 확률 분포를 밀접하게 반영하므로 개발 및 테스트 세트에 사용할 수 있습니다.
대량의 데이터를 필요로 하는 딥 러닝 알고리즘을 트레이닝 하는 경우는, 트레이닝용으로 200,000개의 인터넷 이미지를 추가할 수 있습니다. 따라서 교육 및 개발/검정 집합은 서로 다른 확률 분포에서 추출됩니다. 이것이 업무에 어떤 영향을 미칩니까? 데이터를 열차/개발/테스트 세트로 분할하는 대신 210,000개의 이미지를 모두 가져와 열차/개발/테스트 세트로 무작위로 셔플할 수 있습니다. 이 경우 모든 데이터는 동일한 분포에서 가져옵니다.
단, 개발/테스트 데이터의 약 205,000/210,000 9797.6%가 인터넷 이미지에서 생성되기 때문에 이 방법을 사용하는 것이 좋습니다.이는 실제로 원하는 분포를 반영하지 않습니다. 개발/테스트 세트 선택에 대한 권장 사항을 기억하십시오. 미래에 얻을 것으로 예상되고 잘 되고 싶은 데이터를 반영하려면 개발 및 테스트 세트를 선택합니다.
기계 학습에 관한 학술 문헌의 대부분은 교육 세트, 개발 세트 및 테스트 세트가 모두 동일한 분포에서 나온다고 가정합니다. 기계 학습 초기에는 데이터 11이 부족했습니다. 우리는 보통 확률 분포에서 하나의 데이터 세트만 추출했습니다. 따라서 데이터를 무작위로 열차/개발/테스트 세트로 분할하고, 모든 데이터가 동일한 소스에서 온다는 가정은 일반적으로 충족되었습니다.