확률의 기초

I. 확률 기초

많은 실제 AI 애플리케이션은 부정확성과 불확실성을 처리해야 합니다. 모바일 장치를 사용하여 친구에게 메시지를 입력할 때 손가락이 화면의 키를 약간 부정확하게 터치하는 경우가 종종 있습니다.

아니면 이미 음성을 텍스트로 전환했을 수도 있습니다. 말할 때 캡처되는 오디오 신호에도 동일하게 적용됩니다. 배경 소음의 변화, 입에 대한 마이크의 위치, 생리적 매개변수의 변화로 인해 음성은 이전과 똑같이 캡처되지 않습니다. 터치 스크린이나 마이크에서 나오는 데이터는 부정확하며 모순되는 요소를 포함할 수 있습니다. 따라서 장치는 사용자가 의미한 키나 단어가 'A'였는지 아니면 'S'였는지 완전히 확실하게 결정할 수 없습니다. '캐슈'라고 했나요, 아니면 '에추'라고 했나요?

참고!

확률의 중요성

확률은 아마도('메타'를 보세요 – 여러분도 그것을 좋아합니까? 아, 신경쓰지 마세요) 불확실성을 다루는 가장 좋은 방법일 것입니다. 이것이 확률이 대부분의 통계의 기초가 되는 견고한 기초인 이유이기도 합니다. 여러분은 그것에 대해 생각하지 않았을 수도 있지만 확률을 탐구하기 위해 프로그래밍은 특히 재미 있고 유용한 도구입니다. 컴퓨터 시뮬레이션을 이용하여 확률과 관련된 간단한 실험을 하는 것은 매우 쉽습니다. 프로그래밍 방법을 배워야 하는 또 다른 이유는 확률을 더 잘 이해하는 방법을 배울 때 실제로 도움이 된다는 것입니다.

기본보다 더 이상 확률에 대해 다루지는 않겠지만 천천히 진행하여 기억을 되살려야 한다고 생각되면 AI 소개의 3장을 살펴보는 것이 좋습니다. 대안으로 또는 추가로 확률에 관한 Khan Academy 비디오(전체 시리즈 포함) 또는 David Spiegelhalter의 The Art of Statistics: Learning from Data(특히 8장 참조)를 시청할 수도 있습니다. 이 비디오는 접근성이 매우 높고 유익합니다.

첫 번째 연습에는 동전 뒤집기가 포함됩니다. 동전 뒤집기는 시행(동전 뒤집기)을 반복하면 후속 시행이 독립적인 상황(주어진 동전 뒤집기의 결과는 이전 결과에 의존하지 않음)의 전형적인 예입니다. 이는 개별 사건의 확률을 곱할 수 있음을 의미합니다.

동전을 던질 때 앞면과 뒷면이라는 두 가지 결과가 나올 수 있습니다.

주요 용어

몬테카를로 방법

이전 코딩 연습 – 초보자 연습을 선호하더라도 자유롭게 살펴보세요 – 소위 몬테카를로 방법(임의의 데이터를 시뮬레이션하고 발생 횟수를 계산하여 확률을 추정)을 보여줍니다. 단순하지만 종종 매우 유용합니다. 때로는 복잡한 수학을 하느라 시간을 낭비하지 않는 가장 좋은 방법이기도 합니다.

확률을 논의하는 우리의 동기는 단순히 동전 뒤집기나 다른 게임을 이해하려는 것이 아닙니다. 우리는 추론을 위해 확률을 사용할 것입니다. 즉, 한 가지를 다른 것에서 추론하는 것입니다. 이는 조건부 확률을 기반으로 합니다. 조건부 확률은 실제로 매우 간단한 개념입니다. 여기서는 매우 간략하게 요약하겠지만 천천히 진행해야 한다고 생각되면 AI 소개의 3장을 다시 살펴보는 것이 좋습니다. Khan Academy에도 관련 동영상이 있습니다.

구체적인 예부터 시작해 보겠습니다. 최근 OECD 통계에 따르면 2652 2652명의 전문 어부(공식적으로 인정되지는 않지만 이 용어는 어부/여자 어부/어부 대신 사용함)가 핀란드 어업에 종사하고 있습니다. 가장 "최근" 통계는 2013년의 것이지만 이는 요점을 설명하는 데 중요하지 않습니다. 2013년 핀란드의 전체 인구는 5,439,000 5,439,000명이므로 어업에 종사하는 사람은 대략 5,439,000명에 불과합니다. 0.049 0.049% 또는 1분의 1 미만 2000 2000년 핀란드. 한편 노르웨이에서는 어부 수가 11,611 전체 인구 중 11,611명 5,080,000 5,080,000개로 약 5,080,000개입니다. 0.229 0.229%, 약 1분의 1 438 노르웨이인 438명. 다음 표에는 모든 북유럽 국가의 수치가 포함되어 있습니다.

국가 인구 어부 어부 비율
덴마크 5,615,000 1,891 0.034%
핀란드 5,439,000 2,652 0.049%
아이슬란드 324,000 3,800 1.173%
노르웨이 5,080,000 11,611 0.229%
스웨덴 9,609,000 1,757 0.018%
합계 26,067,000 21,711 0.083%

이는 북유럽 국가의 천연자원과 전통적인 산업 구조에 익숙한 사람에게는 전혀 놀라운 일이 아닙니다. 덴마크, 핀란드, 스웨덴은 숲이 풍부하고 과거 농업이 강했던 상대적으로 큰 국가인 반면, 노르웨이와 특히 아이슬란드는 풍부한 바다에 더 많이 의존합니다. 따라서 어업에 종사하는 더 많은 수의 사람들(절대적인 숫자와 백분율로 보면)이 이 두 국가에 살고 있습니다.

확률이라는 주제로 돌아가서, 북유럽 국가의 시민을 무작위로 선택하는 복권을 운영할 수 있다고 상상해 봅시다. 스웨덴은 아이슬란드보다 인구가 훨씬 많기 때문에 승자는 아이슬란드 사람보다는 스웨덴 사람일 가능성이 더 높습니다. 특정 국가에서 한 사람을 선택할 확률은 해당 국가의 인구를 북유럽 국가의 전체 인구로 나누어 계산할 수 있으며, 26,067,000 26,067,000.

각 국가별 우승자가 나올 확률은 다음과 같습니다.

국가 우승자를 선택할 확률
덴마크 21.5%
핀란드 20.9%
아이슬란드 1.2%
노르웨이 19.5%
스웨덴 36.9%

이런 종류의 계산은 수학 공식을 작성하지 않고도 아주 잘 할 수 있는 일이지만, 위의 계산을 공식으로 표현하고 싶다면 다음과 같습니다.

𝑃(𝑐𝑜𝑢𝑛𝑡𝑟𝑦)=𝑝𝑜𝑝𝑢𝑙𝑎𝑡𝑖𝑜𝑛(𝑐𝑜𝑢𝑛𝑡𝑟𝑦) / 𝑡𝑜𝑡𝑎𝑙𝑝𝑜𝑝𝑢𝑙𝑎𝑡𝑖𝑜𝑛 P(국가)=인구(국가)/총인구

이것의 의미는 다음과 같습니다 𝑃(𝑐𝑜𝑢𝑛𝑡𝑟𝑦) P(국가)는 확률입니다(따라서 문자는 𝑃 P) 우승자가 특정 국가(예: 덴마크)에 있음 𝑝𝑜𝑝𝑢𝑙𝑎𝑡𝑖𝑜𝑛(𝑐𝑜𝑢𝑛𝑡𝑟𝑦) 인구(국가)는 해당 국가의 주민 수입니다. 분모(나누는 기준)는 전체 인구입니다. 이 경우 26,067,000 26,067,000. 위 표에서는 다음과 같은 "원시" 숫자 값을 변환했습니다. 0.2154065 0.2154065를 소수점 이하 한 자리의 백분율로 표시(예: 21.5 % 21.5%.

우승자가 선택되었고 그 사람이 어부라는 소식을 들었다면 어떨까요? 특정 국가 출신의 승자가 나올 확률은 이제 해당 국가의 어부 수를 위의 모든 국가의 총 어부 수로 나누어 계산할 수 있습니다. 21,711 21,711. 승자가 낚시로 생계를 유지한다는 점을 고려할 때 승자가 특정 국가의 시민일 확률은 승자가 어부인지 아닌지를 명시하지 않고 동일한 국가의 시민이 될 확률과 상당히 달라 보입니다.

국가 우승자를 선택할 확률
덴마크 8.7%
핀란드 12.2%
아이슬란드 17.5%
노르웨이 53.5%
스웨덴 8.1%

승자가 어부인 경우 각 국가 출신의 승자가 나올 조건부 확률입니다. 표현식은 "Y가 주어졌을 때 X의 확률" 형식을 가지며, 여기서 X와 Y는 특정 사건입니다. 예를 들어,

𝑃(𝐷𝑒𝑛𝑚𝑎𝑟𝑘 ∣ 𝑓𝑖𝑠ℎ𝑒𝑟)=𝑓𝑖𝑠ℎ𝑒𝑟𝑠(𝐷𝑒𝑛𝑚𝑎𝑟𝑘) / 𝑓𝑖𝑠ℎ𝑒𝑟𝑠(𝑡𝑜𝑡𝑎𝑙) P(덴마크 ∣ 어부)=어부(덴마크) /어부(전체)

이는 다음과 같습니다
0.08709871
0.08709871 – 이를 반올림하여 백분율로 표시합니다.
8.7
%
8.7%.

요약하자면, 위의 예가 보여주는 것은 복권 당첨자의 국적에 대한 우리의 믿음을 업데이트하기 위해 조건부 확률을 사용하는 것입니다. 승자가 어부라는 사실을 알기 전에는 스웨덴이 북유럽 국가 중 인구가 가장 많다는 점으로 볼 때 국적이 스웨덴일 가능성이 가장 높았습니다. 승자가 어부라는 사실을 알게 된 후 국적은 노르웨이일 가능성이 가장 높습니다.

불확실성을 표현하기 위해 확률을 사용하는 것의 이점은 예를 들어 승자가 남성인지 여성인지 또는 나이와 같은 여러 정보를 배울 수 있는 더 복잡한 시나리오로 이어집니다. 이를 통해 우리는 우승자의 국적 및 기타 속성에 대한 우리의 믿음을 더욱 구체화하고 업데이트할 수 있습니다.

노르웨이인이라면 승자가 어부일 확률은 얼마입니까? Y가 주어졌을 때 X가 나올 확률과 X가 주어졌을 때 Y가 나올 확률 사이의 순진한 차이에 유의하세요.