머신러닝의 종류

손으로 쓴 숫자는 머신러닝을 사용하는 이유를 논의할 때 자주 사용되는 고전적인 사례이며, 우리도 예외는 아닙니다.

아래에서는 매우 일반적으로 사용되는 MNIST 데이터세트의 손글씨 이미지 예를 볼 수 있습니다.

각 이미지 위에 올바른 라벨(작가가 써야 했던 숫자)이 표시됩니다. "올바른" 클래스 라벨 중 일부는 의심스럽습니다. 예를 들어 왼쪽에서 두 번째 이미지를 참조하세요. 정말 7인가요, 아니면 실제로 4인가요?

가장 일반적인 기계 학습 문제에서는 한 번에 정확히 하나의 클래스 값이 정확합니다. 이는 MNIST의 경우에도 마찬가지입니다. 앞서 말했듯이 정답을 말하기 어려운 경우가 많습니다. 이런 종류의 문제에서는 인스턴스가 동시에 여러 클래스에 속하거나 전혀 속하지 않는 것이 불가능합니다. 우리가 달성하고자 하는 것은 위와 같은 이미지를 제공하고 올바른 라벨(0에서 9 사이의 숫자)을 자동으로 출력할 수 있는 AI 기법입니다.

머신러닝의 세 가지 유형

머신러닝의 뿌리는 통계에 있습니다. 통계는 데이터에서 지식을 추출하는 기술이라고도 볼 수 있습니다. 특히 이미 200년이 넘은(!) 선형 회귀 및 베이지안 통계와 같은 방법은 오늘날에도 기계 학습의 핵심입니다. 더 많은 예와 간략한 역사를 보려면 기계 학습 타임라인(Wikipedia)을 참조하세요.

머신러닝 영역은 공격받는 문제의 종류에 따라 하위 영역으로 구분되는 경우가 많습니다. 대략적인 분류는 다음과 같습니다.

지도 학습: 교통 표지판이 있는 사진과 같은 입력이 주어지고, 작업은 사진에 어떤 교통 표지판(속도 제한, 정지 표지판 등)이 있는지와 같은 올바른 출력 또는 레이블을 예측하는 것입니다. 가장 간단한 경우 대답은 예/아니오 형태입니다(이를 이진 분류 문제라고 부릅니다).

비지도 학습: 라벨이나 올바른 출력이 없습니다. 작업은 데이터의 구조를 발견하는 것입니다. 예를 들어 유사한 항목을 그룹화하여 "클러스터"를 형성하거나 데이터를 소수의 중요한 "차원"으로 축소합니다. 데이터 시각화는 비지도 학습으로도 간주될 수 있습니다.

강화 학습: 자율 주행 자동차와 같은 AI에이전트가 환경에서 작동해야 하고 좋은 선택이나 나쁜 선택에 대한 피드백이 약간의 지연을 통해 제공되는 상황에서 일반적으로 사용됩니다. 또한 게임이 종료되어야 결과가 결정되는 게임에서도 사용됩니다.

범주는 다소 중복되고 모호하므로 특정 방법을 하나의 범주에 배치하기 어려울 수 있습니다. 예를 들어, 이름에서 알 수 있듯이 소위 준지도 학습(semisupervised learning)은 부분적으로는 지도되고 부분적으로는 비지도됩니다.

인간을 가르치는 기계: 지도 학습

분류를 수행하기 위해 정확한 규칙을 수동으로 작성하는 대신 지도 기계 학습의 요점은 여러 예제를 선택하고 각 예제에 올바른 레이블을 지정하고 이를 사용하여 AI 기법을 "훈련"하여 훈련 예제와 (적어도 희망적으로) 다른 이미지에 대한 올바른 레이블을 자동으로 인식하는 것입니다. 물론 이를 위해서는 올바른 레이블이 제공되어야 하며, 이것이 지도 학습에 대해 이야기하는 이유입니다. 올바른 라벨을 제공하는 사용자는 학습 알고리즘을 정답으로 안내하여 결국 알고리즘이 독립적으로 정답을 생성할 수 있도록 하는 감독자입니다.

분류 문제에서 올바른 레이블을 예측하는 방법을 학습하는 것 외에도 지도 학습은 예측 결과가 숫자인 상황에서도 사용할 수 있습니다. 예를 들어 광고 콘텐츠와 사용자의 이전 온라인 행동에 대한 데이터를 기반으로 Google 광고를 클릭할 사람 수를 예측하거나, 도로 상황 및 속도 제한을 기반으로 교통사고 횟수를 예측하거나, 위치, 크기 및 상태를 기반으로 부동산 판매 가격을 예측하는 등이 있습니다. 이러한 문제를 회귀라고 합니다. 여러분은 선형 회귀라는 용어를 알고 계실 것입니다. 선형 회귀는 고전적이면서도 여전히 널리 사용되는 회귀 기술입니다.

주의사항: 머신러닝 알고리즘에 주의하세요.

여러분에게 알려드리고 싶은 몇 가지 잠재적인 실수가 있습니다. 이는 기계 학습 방법을 주의 깊게 적용하지 않으면 예측의 정확성에 대해 너무 확신을 갖게 되고 정확도가 예상보다 나쁠 경우 크게 실망할 수 있다는 사실과 관련이 있습니다.

큰 실수를 피하기 위해 가장 먼저 명심해야 할 것은 데이터 세트를 훈련 데이터와 테스트 데이터의 두 부분으로 나누는 것입니다. 먼저 훈련 데이터만 사용하여 알고리즘을 훈련합니다. 이는 입력 변수를 기반으로 출력을 예측하는 모델 또는 규칙을 제공합니다.

실제로 출력을 얼마나 잘 예측할 수 있는지 평가하려면 훈련 데이터에 의존할 수 없습니다. 모델은 훈련 데이터에서 매우 좋은 예측 변수일 수 있지만 다른 데이터로 일반화할 수 있다는 증거는 아닙니다. 테스트 데이터가 유용한 곳은 바로 여기입니다. 훈련된 모델을 적용하여 테스트 데이터의 출력을 예측하고 예측을 실제 출력(예: 향후 아파트 판매 가격)과 비교할 수 있습니다.

과적합을 피하고 너무 제한적이지도 않고 너무 유연하지도 않은 모델을 선택하는 방법을 배우는 것은 데이터 과학자의 가장 필수적인 기술 중 하나입니다.

교사 없이 학습: 비지도 학습

위에서 우리는 정답이 있는 지도학습에 대해 논의했고, 머신러닝 알고리즘의 임무는 입력 데이터를 기반으로 정답을 예측하는 모델을 찾는 것입니다.

비지도 학습에서는 정답이 제공되지 않습니다. 훈련 데이터에 대한 정답을 맞추는 방식으로 모델을 구축할 수 없기 때문에 상황이 상당히 달라집니다. 또한 학습된 모델이 잘 작동하는지 여부를 확인할 수 없기 때문에 성능 평가가 더욱 복잡해집니다.

일반적인 비지도 학습 방법은 데이터의 기본이 되는 일종의 "구조"를 학습하려고 시도합니다. 예를 들어, 유사한 항목은 서로 가까이 배치되고 서로 다른 항목은 서로 멀리 배치되는 시각화를 의미할 수 있습니다. 이는 또한 데이터를 사용하여 서로 유사하지만 다른 클러스터의 데이터와 다른 항목의 그룹 또는 "클러스터"를 식별하는 클러스터링을 의미할 수도 있습니다.

비지도 학습의 또 다른 예는 생성 모델링이라고 할 수 있습니다. GAN(Generative Adversarial Network)이라는 딥 러닝 기술이 큰 발전을 이루면서 이는 지난 몇 년 동안 눈에 띄는 접근 방식이 되었습니다. 예를 들어 사람의 얼굴 사진과 같은 일부 데이터가 주어지면 생성 모델은 더 실제처럼 보이지만 사람의 얼굴에 대한 인공적인 이미지를 더 많이 생성할 수 있습니다.

우리는 과정 후반부에 GAN과 고품질 인공 이미지 콘텐츠를 생성할 수 있다는 의미로 돌아갈 것입니다. 하지만 다음에는 지도 학습에 대해 자세히 살펴보고 몇 가지 특정 방법에 대해 더 자세히 논의할 것입니다.