2. Neural Networks / L8. TensorFlow - Mini-batch
Mini-batch - Mini-batch는 한번에 모든 데이터를 처리하는 대신 - 하위집합으로 데이터셋을 분류하여 학습시키는 기술이다. - 컴퓨터에 전체 데이터셋을 저장할 여유가 없을 때에도 모델을 학습시킬 수 있게 해준다. - Mini-batching은 모든 샘플에서 동시에 손실(loss)을 계산할 수 없기 때문에 - 컴퓨터의 계산처리상 비효율적이라 할 수 있다. - 하지만 이는 모델을 전혀 실행할 수 없는 상황에 비해서는 작은부분이라 볼 수 있다. - 또한 Mini-batch 기술은 SGD와 결합하였을때 매우 유용하다. - 이 기술의 기본 개념은 매 epoch마다 데이터를 랜덤하게 섞은다음 mini-batch들을 생성하는것이다. - 그리고 각 mini-batch 에 대해 gradient descen..
Deep Learning
2018. 8. 17. 19:57