베이지안 파라미터 추정 (Bayesian parameter estimation) 및 샘플링 방법

+ 이나스AI에는 인공지능 관련 다양한 강의가 있습니다.

- Object detection, Text To Speech, Reinforcement learning, OCR, Chatbot, Time series prediction,

- Meta learning, eXplainable AI, Transformer/BERT/GPT, Graph-based ML, etc

- 소스코드, 다이어그램 및 중간데이터에 기반하여 인공지능 알고리즘들의 작동원리와 구조를 이해하기 쉽고 정확하게 설명합니다.


+ 작업할 때 켜놓는 라이브 스트리밍 study with me 채널도 운영하고 있습니다.

 

1. 베이지안 파라미터 추정

1-1. 베이즈 규칙 관점 고찰

- 가설 H에 대한 사후확률은 아래와 같이 베이즈규칙에 의해 표현되며, $$$P(D)$$$ 는 전체 확률의 법칙으로 다시 쓸 수 있다.

$$$P(H|D) = \dfrac{P(D|H)P(H)}{P(D)}$$$

$$$= \dfrac{P(D|H)P(H)}  {P(D|H)P(H)+P(D|\sim{H})P(\sim{H})}$$$

H : 가설

D : 데이터

- 가설 H가 여러개라면, 아래와 같이 표현 할 수 있다.

$$$P(H_i|D) = \dfrac{P(D|H_i)P(H_i)}{P(D)}$$$, $$$i=1,2,3$$$

$$$= \dfrac{P(D|H_i)P(H_i)}  {P(D|H_1)P(H_1)+P(D|H_2)P(H_2)+P(D|H_3)P(H_3)}$$$, $$$i=1,2,3$$$

$$$=\dfrac{P(D|H_i)P(H_i)}{\sum_{i=1}^{3}P(D|H_i)P(H_i)}$$$

- 가설 H의 개수가 연속형으로 아주 많다면, 아래 처럼 쓸 수 있다.

$$$P(H_i|D) = \dfrac{P(D|H_i)P(H_i)}{\int_i P(D|H_i)P(H_i)}$$$

1-2. 베이지안 파라미터 추정 관점 고찰

- 베이지안 파라미터 추정 관점에서 생각해 보기 위해, 두개의 파라미터를 가지는 선형모형을 가정한다. 예측값 $$$\hat{y}$$$ 는 데이터가 주어졌을 때, 파라미터 $$$\theta_1, \theta_2$$$ 의 결합 사후 분포를 따른다.

$$$\hat{y} = \hat{\theta}_1 x + \hat{\theta}_2$$$

$$$\hat{y} \sim P(\hat{\theta}_1,\hat{\theta}_2|D)$$$

- 관측 데이터와 가정한 위의 파라미터의 분포를 가지고, MAP 를 시행해서 최적의 파라미터 (사후분포)를 찾아야한다. 각 파라미터의 사후분포는 아래와 같이 쓸 수 있다.

$$$P(\theta_2|D) = \dfrac{P(D|\theta_2)P(\theta_2)}{P(D)}$$$

$$$P(\theta_1|D) = \dfrac{P(D|\theta_1)P(\theta_1)}{P(D)}$$$

- 여기서 다시 상황을 고찰해보자면, 우리는 파라미터 2개를 갖는 선형 모형을 가정했고, 이 두개의 파라미터의 특정값을 가정한 것이 아니라, 분포가 어떠할 것이다 라고 가정했다 (사전 분포). 사전분포와 사전분포를 가정했을 때, 발생한 데이터에 대한 가능도를 곱하여, 파라미터의 사후분포를 베이즈규칙에 따라 표현했다. 즉, 관측된 데이터에 따라, 파라미터에 대하여 우리가 가지고 있던 사전지식을 업데이트하는 것이며, 업데이트된 파라미터에 대한 지식도 하나의 값으로 표현된 것이 아니라 분포형태 (사후분포) 로 표시되었다. MAP를 통해 최적의 파라미터 분포를 찾았다면, 이 파라미터 분포를 선형 모형에 적용할 수 있는 것이다.

1-3. 베이지안 파라미터 추정 풀이 방법

- 앞서 언급했듯이, 우리는 관측 데이터와 가정한 파라미터의 분포 (파라미터에 대한 사전 분포) 를 가지고, MAP 를 시행해서, 최적의 파라미터 분포 (사후 분포) 를 찾아야한다.

- 사후분포를 구하기위해 MAP 를 하기 위해 아래와 같은 방법을 사용할 수 있다.

  1) 대수적 방법 (미적분 사용, 주로 켤레 사전 분포를 적용할 때 사용한다)

  2) 수치적 방법 (Grid 처럼 여러 후보 값들을 만들고 대입해보면서 최적의 분포를 찾는다. 연산량이 많다)

  3) 샘플링 방법 : 목표 분포인 사후 분포의 패턴을 보존하면서, 샘플링을 한다. 그리고 이 샘플링된 데이터에 대해서만 연산을 한다. 이산형 정의역으로 변화했으므로 베이즈규칙 내에서 가능도분포 $$$P(D|\theta_1)$$$, 사전분포 $$$P(\theta_1)$$$ 및 데이터관찰 확률 분포 $$$P(D)$$$ 끼리 곱하기 및 나누기 연산이 가능해진다.

1-4. 샘플링 방법 고찰

- 아래의 그림은 표준 정규분포에서 1000개의 데이터를 임의 추출 했을 때, 표본의 분포를 나타낸것이다. 원래의 분포와는 다른것을 알 수 있다.


- 위의 방법은 모집단 분포에서 표본을 임의 추출한 방식이다, 이것과는 다르게 특정 분포의 패턴을 그대로 유지하면서 수치적 방법으로 샘플링 할 수 도 있는데, 이 방법은 아래의 과정을 따르며 간단하지 않은 작업이 된다.

  1) 목표로 하는 확률 함수를 알고 있어야 한다.

  2) 확률 밀도 함수가 주어졌다면, 적분을 통해서 누적 분포 함수를 구해야한다.

  3) 누적 분포 함수에서 역함수를 구해야한다.

  4) 균등한 구간으로 값들을 역함수에 넣어주면 원래함수의 분포를 따르는 표본이 추출된다.

아래 그림은 누적 분포함수에서 (역함수를 구하기 전) y쪽에서 균등한 구간으로 값을 넣었을 때, x쪽에서 원래 함수의 분포를 따르는 데이터가 생성되는 모습을 보여준다.



2. 샘플링 방법

2-1. 개념

- 분포의 패턴을 유지하면서 샘플링하는 방법에는 기각 샘플링 (rejection sampling), 깁스 샘플링 (Gibbs' sampling), metropolis hastings 알고리즘, MCMC (Monte Carlo Markov Chain) 샘플링 등이 있다.

- 베이지안 파라미터 추정과정에서 샘플링을 할 때, 일반적으로 MCMC 방법을 사용한다.

2-2. MCMC 샘플링

- Monte Carlo 방법이란 반복 시행하는 방법을 지칭한다.

- Markov Chain 은 Markov 특성 또는 Markov 가정을 가지는 방법이다. Markov 특성이란, 계산의 편의를 위해, 다음 시점 ($$$t$$$) 의 상태를 예측 할 때는, 그 직전 시점 ($$$t-1$$$) 의 상태만 고려하면 되고, $$$t-1$$$ 이전 시점들 ($$$t-2, t-3, \dots$$$) 에서의 상태는 고려하지 않아도 되는 특성을 의미한다. 수식으로는 아래와 같이 표현 한다.

$$$P(w_t|w_{t-1},w_{t-2},\dots,w_{t-n}) \approx P(w_t|w_{t-1})$$$

- Markov 특성이 사용된 예시는 n-gram 모델, 그중에서 bi-gram 모델이다. 아래의 예시에서 today 단어를 예측하기 위해서 school 의 영향을 고려하면 되는 방법이 bi-gram 모델이다.

Sentence : I go to school

Tokens : [I, go, school, today]


- Markov 특성이 사용된 다른 예시로는 강화학습에서 사용되는 MDP (Markov Decision Process) 개념이 있다. 

- 아래의 예시는 action3를 예측하는데, state3만 고려한 것을 나타낸다.

$$$P(action3|state3,state2,action2,state1,action1) \approx P(action3|state3)$$$

- 아래의 예시는 state4를 예측하는데, state3와 action3를 고려한 것을 나타낸다.

$$$P(state4|state3,action3,state2,action2,state1,action1) \approx P(state4|state3,action3)$$$



- MCMC  방법은 위에서 설명된 Monte Carlo 와 Markov Chain 특성을 사용한 샘플링 방법이다.

 

https://www.youtube.com/watch?v=WMnmT1S25WM

https://www.youtube.com/watch?v=vHOcHTiw1_Y

https://www.youtube.com/watch?v=x0qhLFnTfV8

https://www.youtube.com/watch?v=5QAfQZjCrRM



+ 이나스AI에는 인공지능 관련 다양한 강의가 있습니다.

- Object detection, Text To Speech, Reinforcement learning, OCR, Chatbot, Time series prediction,

- Meta learning, eXplainable AI, Transformer/BERT/GPT, Graph-based ML, etc

- 소스코드, 다이어그램 및 중간데이터에 기반하여 인공지능 알고리즘들의 작동원리와 구조를 이해하기 쉽고 정확하게 설명합니다.


+ 작업할 때 켜놓는 라이브 스트리밍 study with me 채널도 운영하고 있습니다.

댓글

댓글 쓰기

이 블로그의 인기 게시물

[논문 full 번역 + 이해를 위한 추가설명] CRNN, An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition

이미지
[] 안에는 의미를 명확히 하고자 원문 영어 표현이, () 안에는 원문에서 작성된 부연 설명이, <> 안에는 이해를 돕기 위해 번역자가 추가한 부연 설명이 작성되었습니다. 더 나은 표현 및 코멘트를 위해 계속 업데이트 합니다. 최종 수정 2022 10 04 Tue https://arxiv.org/pdf/1507.05717.pdf Abstract Image 기반으로 sequence를 인식하는 것은 computer vision분야에서 오랜 연구 주제이다. 이 연구에서, 우리는 image 기반의 sequence 인식에서 가장 중요하고 도전적인 작업인, 장면에서 text를 인식하는 문제를 살펴볼 것이다. Feature 추출, sequence modeling, transcription 을 통합하는 참신한 neural network 구조가 제안된다. Scene text recognition을 위한 이전의 systems와 달리, 제안된 구조는 네개의 뚜렷한 특징을 갖는다. (1) train과 tune이 개별적으로 진행되는 대부분의 기존 algorithm과 달리 end-to-end로 훈련가능하다. (2) 문자 segmentation이나 수평적인 scale 정규화없이도 임의의 길이에 대한 sequences를 다룰 수 있다. (3) 우리의 방법은 사전에 정의된 lexicon에 구속되지 않으며, lexicon-free 및 lexicon-based scene text recognition tasks에서 높은 성능을 달성했다. (4) 효과적이지만 작은 model로 구현되기때문에, real-world application scenarios에서 실용적이다. IIIT-5K, Street View Text 그리고 ICDAR datasets과 같은 표준 benchmarks에서의 실험들은 과거의 연구를 능가하는 제안된 algorithm의 우수성을 입증한다. 더욱이, 제안된 algorithm은 image 기반의 음표 인식 작업에서 잘 동작하며, 이것은 우리 model의 일반화 성능을 ...
자세한 내용 보기

[논문 full 번역 + 이해를 위한 추가설명] DQN, Playing Atari with Deep Reinforcement Learning

이미지
[] 안에는 의미를 명확히 하고자 원문 영어 표현이, () 안에는 원문에서 작성된 부연 설명이, <> 안에는 이해를 돕기 위해 번역자가 추가한 부연 설명이 작성되었습니다. 더 나은 표현 및 코멘트를 위해 계속 업데이트 합니다. 최종 수정 2022 10 04 Tue https://www.cs.toronto.edu/~vmnih/docs/dqn.pdf Abstract Reinforcement learning을 사용해 고차원의 sensory input으로부터 control policies를 성공적으로 학습할 수 있는 첫번 째 deep learning model을 제안한다. model은 convolutional neural network로 구현되었고, Q-learning의 변형 방식으로 훈련되었다. Input은 raw pixels이며 output은 future reward를 추정하는 value fuction이다. 우리의 방법을 Arcade Learning Environment로 부터 7개의 Atari 2600 games에 구조 또는 learning algorithm의 조정 없이 적용하였다. 우리의 방법은 7개의 games에서 모든 이전의 접근법들의 성능을 능가하였고, 3개의 games에서는 인간 전문가도 능가하였다. 1 Introduction 시각 또는 음성과 같은 고차원의 sensory inputs으로 부터 agents를 control하는 것을 학습하는 것은 reinforcement learning (RL)의 오랜 도전 과제 중 하나이다. 이러한 domains에서 동작하는 대부분의 성공적인 RL applications는 linear value functions 또는 policy representations와 결합된 hand-crafted features에 의존한다. 당연히, 그러한 systems의 성능은 feature representation의 질적 수준에 강하게 의존한다. deep learning에서의 최근 발전은 raw sensory data로 부터 ...
자세한 내용 보기

CUDA 와 CuDNN 의 설치, 삭제 및 버전 변경

이미지
우분투 리눅스 환경 기준 으로 설명 1. CUDA 설치 - 아래 NVIDIA 사이트의 CUDA 다운로드 페이지에서 원하는 버전을 다운로드 받는다. https://developer.nvidia.com/cuda-toolkit-archive - 아래의 명령어 형식으로 다운로드 받은 CUDA 파일을 실행한다. 다운로드 받은 CUDA 파일이 위치하는 경로 (your_path 부분) 및 다운로드 받은 CUDA 파일명 (<> 부분) 을 본인의 상황에 맞게 수정하고 실행한다. sudo /your_path/<cuda_11.2.1_460.32.03_linux.run> 2. CUDA 버전 번경 - 다양한 오픈소스 딥러닝 모델을 실행하다보면, 해당 딥러닝 소스코드들의 요구에 따라 CUDA 버전을 변경해야할 때가 있다. CUDA 버전을 쉽게 변경 적용하는 방법은 나에게 필요한 버전의 CUDA 를 모두 각각의 버전 폴더에 설치해놓고, 필요한 특정 버전의 CUDA 를 /usr/local/cuda 폴더로 symbolic link 시켜주는 것이다. - CUDA 버전을 변경하고자 한다면, 우선 기존에 존재하는 soft link 인 /usr/local/cuda 을 삭제한다. sudo rm -rf /usr/local/cuda - CUDA 11.2 로 버전을 변경하고자 한다면, CUDA 11.2 이 설치되어 있는 /usr/local/cuda-11.2 경로를 /usr/local/cuda 로 symbolic link 를 생성한다. sudo ln -s /usr/local/cuda-11.2 /usr/local/cuda 3. CuDNN 설치 방법 - 내가 원하는 특정 버전의 CuDNN 을 아래 페이지에서 다운로드 받는다. https://developer.nvidia.com/rdp/cudnn-archive - 다운로드 받은 CuDNN 파일의 압축을 풀고, 기존에 존재하는 cuda 디렉토리 쪽으로 CuDNN 파일들을 복사한다. 아래 명령어로 수행하면 되고, CuDNN 파일이 위치하...
자세한 내용 보기