베이즈 규칙

우리는 확률 계산의 세부 사항과 그것이 다양한 AI 응용 프로그램에서 사용될 수 있는 모든 방법에 대해 너무 깊이 다루지는 않겠지만 매우 중요한 공식 하나에 대해 논의할 것입니다.

이 특정 공식은 간단하고 우아하며 믿을 수 없을 만큼 강력하기 때문에 이렇게 할 것입니다. 이는 의학, 법원 및 많은(전부는 아니지만) 과학 분야에서 상충되는 증거를 평가하는 데 사용될 수 있습니다. 이 공식을 베이즈 규칙(또는 베이즈 공식)이라고 합니다.

우리는 우리의 직관이 상충되는 증거를 결합하는 데 얼마나 적합하지 않은지를 강조하는 간단한 의학적 진단 문제를 통해 베이즈 규칙의 힘을 입증하는 것부터 시작할 것입니다. 그런 다음 베이즈 규칙을 사용하여 상충되고 시끄러운 관찰에 대처할 수 있는 AI 기법을 구축하는 방법을 보여줍니다.

확률이 어떻게 변하는가

새로운 정보를 평가하고 정보가 제공될 때 확률이 어떻게 변하는지 결정하려면 대체 상황에서 이 정보를 접할 가능성이 얼마나 되는지 고려해야 합니다. 오늘 늦게 비가 올 확률을 예로 들어보겠습니다. 핀란드에서 아침에 일어난다고 상상해 보세요. 비 올 확률은 365분의 206입니다(비, 눈, 우박 포함. Brrr). 따라서 비가 내리지 않는 날 수는 159입니다. 이는 비가 올 확률 206:159로 변환되므로 눈을 뜨기 전에 이미 카드가 쌓여 있습니다.

그러나 눈을 뜨고 밖을 보면 구름이 잔뜩 끼어 있습니다. 비가 오는 날 아침에 흐린 날이 있을 확률이 10분의 9라고 가정해 보겠습니다. 즉, 비가 오는 날 중 10일 중 단 하루만 파란 하늘로 시작한다는 의미입니다. 하지만 때로는 비가 내리지 않는 구름도 있습니다. 비가 내리지 않는 날 구름이 생길 확률은 1/10입니다. 이제 비가 오지 않는 날에 비해 비오는 날 구름이 생길 확률은 얼마나 더 높습니까? 질문을 이해하고 다음 내용에서 답을 얻는 것이 중요하므로 주의 깊게 생각해 보십시오.

대답은 비오는 날 구름이 생길 확률은 비가 내리지 않는 날 구름이 생길 확률보다 9배 높다는 것입니다. 비오는 날에는 확률이 10분의 9이고, 비가 오지 않는 날에는 확률이 10분의 1로 9배 높습니다.

9/10과 1/10이라는 두 확률의 합이 9/10 + 1/10 = 1이 되더라도 항상 그런 것은 아닙니다. 다른 도시에서는 비가 오는 날 아침 열 번 중 여덟 번은 흐릴 수 있습니다. 그러나 이것이 비가 내리지 않는 날이 열 번 중 두 번 흐린다는 의미는 아닙니다. 계산이 올바르게 되도록 주의해야 합니다. (하지만 한두 가지 실수를 하더라도 걱정하지 마세요. 포기하지 마세요! 베이즈 규칙은 우리 모두를 위한 근본적인 사고 도구입니다.)

그래서 우리는 흐린 아침에 다음과 같은 결론을 내렸습니다. 우도 비율 = (9/10) / (1/10) = 9

사전 배당률을 사후 배당률로 변환하는 강력한 베이즈 규칙은 바로 짜잔! – 다음과 같습니다: 사후 확률 = 우도 비율 × 사전 확률

이제 여러분은 아마도 이렇게 생각하고 있을 것입니다. 잠깐, 그게 공식이군요? 그것은 단지 하나의 곱셈일 뿐입니다! 그것이 공식입니다. 우리는 그것이 간단하다고 말했습니다. 그렇죠? 간단한 곱셈이 믿을 수 없을 정도로 유용한 모든 종류의 응용 프로그램에 사용될 수 있다고 상상하지 못하시겠지만, 실제로는 가능합니다. 우리는 이를 입증할 몇 가지 예를 연구할 것입니다.

이 연습은 처음에 어렵게 느껴질 수 있습니다. 정답 개수보다 중요한 것은 문제를 직접 풀어 보며 수학과 알고리즘이 어떻게 연결되는지 이해하는 것입니다.
막히면 앞의 설명과 예제를 천천히 다시 확인하세요. 실수한 부분을 찾는 과정도 학습의 일부입니다.
준비가 되었다면 다음 내용으로 넘어가세요.

베이즈 규칙의 실제: 유방암 검진

우리의 첫 번째 현실적인 적용은 베이즈 규칙을 사용하는 고전적인 예, 즉 의료 진단입니다. 이 예는 또한 기본율 오류라고 불리는 불확실한 정보를 다룰 때 나타나는 일반적인 편견을 보여줍니다.

유방암에 대한 유방조영술 검진을 고려해보세요. 숫자를 단순화하기 위해 백분율을 사용하여 여성 100명 중 5명이 유방암에 걸렸다고 가정해 보겠습니다. 어떤 사람이 유방암에 걸렸다면 유방촬영술 검사에서 100번 중 80번이 발견된다고 가정해 보겠습니다. 검사 결과 유방암이 존재한다고 나오면 우리는 결과가 양성이라고 말합니다. 물론 검사를 받는 사람에게는 이에 대해 긍정적인 것이 없지만(기술적으로 말하면 검사의 민감도는 80%라는 것입니다).

검사는 다른 방향, 즉 유방암이 없는데도 유방암을 나타내기 위해 실패할 수도 있습니다. 이를 위양성 결과라고 합니다. 검사를 받는 사람이 실제로 유방암이 아닌 경우에도 검사 결과가 양성으로 나올 확률은 100분의 10이라고 가정합니다. (기술적으로 말하면 검사의 특이도는 90%라고 합니다.)

위의 확률을 바탕으로 우도비를 계산할 수 있습니다. 다음 연습에서 그 사용법을 알게 될 것입니다. 우도 비율 계산 방법을 잊어버린 경우 이 섹션 앞부분의 용어 상자를 확인하고 비 예시를 다시 살펴보는 것이 좋습니다.

참고: 위의 다이어그램을 막대기 그림과 함께 사용하여 결과가 야구장에 있는지 확인할 수 있지만(오른쪽 정도) 다이어그램이 매우 정확하지는 않습니다. 암이 없는 95명의 여성(상단 패널의 회색 수치) 중 약 9명 반이 (거짓) 양성 결과를 얻을 것으로 예상됩니다. 나머지 85개 반은 (사실) 부정적인 결과를 얻을 것으로 예상됩니다. 우리는 사람(막대기 사람이라도)을 반으로 자르는 잔인함을 원하지 않았기 때문에 9와 86을 근사값으로 사용했습니다.

기준금리의 오류

위의 연습을 수행하는 동안 우리의 직관이 다양한 증거를 평가하는 데 적합하지 않다는 것을 알아차렸을 것입니다. 특히 증거가 서로 충돌하는 경우에는 더욱 그렇습니다. 위의 예에서는 한편으로는 유방암의 기본 발생률이 상대적으로 낮았으며 이는 유방암이 상대적으로 드물다는 것을 의미합니다. 그래서 우리 뇌는 사람이 그런 증상을 가질 가능성이 없다고 생각합니다. 반면, 유방촬영술 양성반응은 그 반대를 시사한다. 우리의 뇌는 이러한 증거 중 하나를 선택하고 다른 하나는 무시하는 경향이 있습니다. 일반적으로 무시되는 낮은 기본 요율입니다. 이것이 바로 여러분의 직관이 양성 검사 결과를 바탕으로 유방암에 걸릴 사후 확률이 30%보다 훨씬 높다고 말하는 이유일 것입니다. 이를 소위 기본율 오류라고 합니다. 베이즈 규칙을 아는 것이 이에 대한 최선의 치료법입니다.