2. Neural Networks / L8. TensorFlow - TensorFlow Cross Entropy

Cross Entropy in TensorFlow

 - softmax 함수와 마찬가지로 텐서플로우에선 크로스 엔트로피 계산이 함수화 되어있다.

 - 텐서플로우에서 크로스 엔트로피 함수를 생성하려면

 - tf.reduce_sum(), tf.log() 이 두가지 함수를 사용해야한다.

Reduce Sum

 - tf.reduce_sum() 함수는 숫자들의 배열을 받아 그 합을 리턴해준다.

Natural Log

 - tf.log() 함수는 특정 숫자의 자연로그를 취한 결과값을 리턴해줌

<quiz.py>

 - softmax_data 와 one_hot_encod_label을 사용하여 cross entropy를 출력

import tensorflow as tf
 
softmax_data = [0.7, 0.2, 0.1]
one_hot_data = [1.0, 0.0, 0.0]
 
softmax = tf.placeholder(tf.float32)
one_hot = tf.placeholder(tf.float32)
 
# ToDo: Print cross entropy from session
cross_entropy = -tf.reduce_sum(tf.multiply(one_hot, tf.log(softmax)))
 
with tf.Session() as sess:
    print(sess.run(cross_entropy, feed_dict={softmax: softmax_data, one_hot: one_hot_data}))