RNN 文本分类

RNN 文本分类 大作业 BASICRNN BASICLSTM GRU RNN 文本分类 大作业 BASICRNN BASICLSTM GRU

import tensorflow as tf

def weight_variable（shape）:  # you can use this func to build new variables
    or_init = tf.orthogonal_initializer（）
    #initial = tf.truncated_normal（shape stddev=0.01）
    initial = or_init（shape）
    return tf.Variable（initial）


def bias_variable（shape）:  # you can use this func to build new variables
    initial = tf.constant（1.0 shape=shape）
    return tf.Variable（initial）

class BasicRNNCell（tf.contrib.rnn.RNNCell）:

    def __init__（self num_units activation=tf.tanh reuse=None）:
        self._num_units = num_units
        self._activation = activation
        self._reuse = reuse
        self._Wxh = weight_variable（[300 self._num_units]） 
        self._Whh = weight_variable（[self._num_units self._num_units]） 
        self._B = bias_variable（[self._num_units]）

    @property
    def state_size（self）:
        return self._num_units

    @property
    def output_size（self）:
        return self._num_units

    def __call__（self inputs state scope=None）:
        with tf.variable_scope（scope or “basic_rnn_cell“ reuse=self._reuse）:
            #todo: implement the new_state calculation given inputs and state
            self._linear = tf.matmul（inputs self._Wxh） + tf.matmul（state self._Whh） + self._B
            new_state = self._activation（self._linear）
        return new_state new_state

class GRUCell（tf.contrib.rnn.RNNCell）:
    ‘‘‘Gated Recurrent Unit cell （http://arxiv.org/abs/1406.1078）.‘‘‘

    def __init__（self num_units activation=tf.tanh reuse=None）:
        self._num_units = num_units
        self._activation = activation
        self._reuse = reuse
        self._Wxr = weight_variable（[300 self._num_units]） 
        self._Whr = weight_variable（[self._num_units self._num_units]） 
        self._br = bias_variable（[self._num_units]）
        self._Wxz = weight_variable（[300 self._num_units]） 
        self._Whz = weight_variable（[self._num_units self._num_units]） 
        self._bz = bias_variable（[self._num_units]）
        self._Wxh = weight_variable（[300 self._num_units]） 
        self._Whh = weight_variable（[self._num_units self._num_units]） 
        self._bh = bias_variable（[self._num_units]）

    @property
    def state_size（self）:
        return self._num_units

    @property
    def output_size（self）:
        return self._num_units

    def __call__（self inputs state scope=None）:
        with tf.variable_scope（scope or “gru_cell“ reuse=self._reuse）:
            #We start with bias of 1.0 to not reset and not update.
            #todo: implement the new_h calculation given inputs and state
            r = tf.sigmoid（tf.matmul（inputs self._Wxr） + tf.matmul（state self._Whr） + self._br）
            z = tf.sigmoid（tf.matmul（inputs self._Wxz） + tf.matmul（state self._Whz） + self._bz）
            h1 = tf.tanh（tf.matmul（inputs self._Wxh） + tf.matmul（state * r self._Whh） + self._bh）
            new_h = z * state + （1 - z） * h1
        return new_h new_h

class BasicLSTMCell（tf.contrib

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2017-11-20 22:30  code\
     文件        6148  2017-11-20 22:30  code\.DS_Store
     目录           0  2017-11-20 22:30  __MACOSX\
     目录           0  2017-11-20 22:30  __MACOSX\code\
     文件         120  2017-11-20 22:30  __MACOSX\code\._.DS_Store
     文件        5087  2017-11-20 20:14  code\cell.py
     文件         212  2017-11-20 20:14  __MACOSX\code\._cell.py
     目录           0  2017-10-30 21:07  code\data\
     文件      117239  2017-10-30 21:01  code\data\dev.txt
     目录           0  2017-11-20 22:30  __MACOSX\code\data\
     文件         212  2017-10-30 21:01  __MACOSX\code\data\._dev.txt
     文件      233634  2017-10-30 21:00  code\data\test.txt
     文件         212  2017-10-30 21:00  __MACOSX\code\data\._test.txt
     文件      902818  2017-10-30 21:00  code\data\train.txt
     文件         212  2017-10-30 21:00  __MACOSX\code\data\._train.txt
     文件    45628624  2017-10-30 21:01  code\data\vector.txt
     文件         212  2017-10-30 21:07  __MACOSX\code\._data
     文件        7639  2017-11-20 22:28  code\main.py
     文件         328  2017-11-20 22:28  __MACOSX\code\._main.py
     文件        5230  2017-11-20 22:29  code\model.py
     文件         328  2017-11-20 22:29  __MACOSX\code\._model.py
     文件         212  2017-11-20 22:30  __MACOSX\._code
     文件     1292116  2017-11-20 20:11  report.pdf