이론

처음으로 가장 간단한 Linear Regression에 대해 배워보겠습니다.

• (x, y)의 형태로 많은 수의 데이터를 입력한다. 
• 이를 x-y 그래프 상에 표시한다.
• 각각의 점들로부터의 거리가 최소인 일차함수를 찾아낸다.

01) 가설 설정

가설: 

02) Cost function

각각의 점(데이터)에서 직선까지의 거리를 구해야합니다.(정확히 말해 거리는 아니지만…)

 

다음과 같이 표현할 경우 양수, 음수 계산에 있어 문제가 발생할 수 있으므로 제곱의 평균을 구하도록 합시다.

03) Minimize cost

이제 의 값을 가장 작게만 만들어주면 됩니다.

 

실습

1. Graph 구성하기

01) 가설 설정

 를 만들어 봅시다.

import tensorflow as tf

# 가설 설정을 위한 변수를 설정합니다.
# 머신러닝은 변수를 조정하는 학습을 시키는 것입니다.
W = tf.Variable(tf.random_normal([1]), name='weight')
b = tf.Variable(tf.random_normal([1]), name='bias')

# 학습을 시키기 위한 데이터를 입력합니다.
x_train = [1,2,3]
y_train = [2,4,6]

# 우리의 가설입니다. : WX + b
hypothesis = W * x_train + b2

 02) Cost function 설정

위에서 Cost function을

로 설정하기로 했으니깐 코딩을 짜보면 아래와 같이 되겠네요.

# cost function
cost = tf.reduce_mean(tf.square(hypothesis - y_train))

** reduce_mean() 함수에 관하여

tf.reduce_mean(input_tensor, reduction_indices=None, keep_dims=False, name=None)<fn>https://tensorflowkorea.gitbooks.io/tensorflow-kr/content/g3doc/api_docs/python/math_ops.html</fn>

 – 주어진 Tensor(input_tensor)의 평균을 구해주는 함수입니다. 이 때 두번 째 인자인 reduction_indices 를 참조하는데요.  이 값이 0 이라면 행끼리, 1 이라면 열끼리 연산을 해주네요. 아무런 값이 주어지지 않으면 input_tensor 의 전체를 return 합니다.<fn>https://penglover.github.io/2017/01/15/tensorflow-reduction-indices/</fn>

For example:

# 'x' is [[1., 1.]
        # [2., 2.]]
tf.reduce_mean(x) ==> 1.5
tf.reduce_mean(x, 0) ==> [1.5, 1.5]
tf.reduce_mean(x, 1) ==> [1., 2.]

Args:

• input_tensor: 반드시 numeric type이어야 합니다.
• reduction_indices: 연산의 방향입니다. None(기본값)이라면 모든 값을 연산합니다.
• keep_dims: If true, retains reduced dimensions with length 1. (?)
• name: A name for the operation (optional).

Returns:

The reduced tensor.

 

03) GradientDescent

위에서 설정한 cost를 줄여주는 작업에 들어갑니다. 정확히 말하면 작업에 들어가는 것이 아니라 그 작업을 실행시킬 준비를 하는 것이겠네요. TensorFlow의 train에 저장되어 있는 GradientDescentOptimizer 함수를 이용하여 optimizer라는 op를 만들고 cost를 줄이는 것이 목적이니 optimizer의 minimize를 호출시켜 우리가 값을 줄이고자하는 cost를 전달해줍니다. * GradientDescentOptimizer는 경사를 내려오기를 이용하는 알고리즘의 한 형태입니다.

# Minimize
optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.01)
train = optimizer.minimize(cost)

** train에 관하여

train은 하나의 훈련을 의미한다고 볼 수 있습니다. 이 정도로만 이해하고 넘어가야겠습니다. <fn>https://www.slideshare.net/KhorSoonHin/gentlest-intro-to-tensorflow-part-2-62006222</fn>

 

2. Session에서 실행하기

세션에서의 실행은 어렵지 않습니다.

# sess라는 세션을 만들고
sess = tf.Session()

# 세션 상에서 모든 변수를 초기화 한 후
sess.run(tf.global_variables_initializer())

# 2001번 훈련(train)을 실행(run)시킵니다.
for step in range(2001):
    sess.run(train)
    # 그리고 그 결과를 40번 정도만 보고자 합니다.
    # 훈련은 이미 위에서 진행되었지만 각각의 op를 출력하기 위해서는
    # 각각의 op 역시 실행(run) 시켜주어야 합니다.
    if step % 50 == 0:
        print(step, sess.run(cost), sess.run(W), sess.run(b))

 

3. Placeholder 이용하기

더 좋은 방법은 Session 상에서 데이터를 입력해주는 것입니다.

X = tf.placeholder(tf.float32)
Y = tf.placeholder(tf.float32)

훈련용 데이터 X, Y를 placeholder로 지정하고

# Our hytothesis : WX + b
hypothesis = W * X + b

# cost function
cost = tf.reduce_mean(tf.square(hypothesis - Y))

# Minimize
optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.01)
train = optimizer.minimize(cost)

나머지 부분도 이렇게 바뀌어야겠지요.

# 세션 생성 및 변수 초기화
sess = tf.Session()
sess.run(tf.global_variables_initializer())

# 훈련 실행
for step in range(2001):
    # 아래와 같이 리스트에 담아 한번에 op를 실행할 수도 있습니다.
    # 이 때 run의 두번째 인자로 feed_dict=""를 사용하여
    # 라이브러리 형태로 데이터를 전달합니다.
    # 리스트에 담겨 실행된 값을 출력하기 위해 각각의 _val에 담습니다.
    # train op의 값은 의미가 없으니 그냥 _ 에 담아주었네요.
    # cost_val, W_val, b_val, _ = sess.run([cost, W, b, train], feed_dict={X:[1,2,3], Y:[1,2,3]})
    # 다른 값을 대입할 수도 있습니다.
    cost_val, W_val, b_val, _ = sess.run([cost, W, b, train], feed_dict={X:[1.1,2.1,3.1,4.1,5.1], Y:[2.3,4.3,6.3,8.3,10.3]})
    if step % 50 == 0:
        print(step, cost_val, W_val, b_val)

끝으로 우리의 Model이 제대로 학습되었는지 알아보기 위한 코딩은 아래와 같습니다.

# 가설(hypothesis)를 실행(run)시키면서 역시나 run의 두번째 인자를 feed_dict를 통해 전달해주었습니다.
print(sess.run(hypothesis, feed_dict={X:[5]}))