LSTM+CRF模型项包含完整代码

LSTM+CRF模型项包含完整代码LSTM+CRF模型项包含完整代码

from model.config import Config
from model.data_utils import CoNLLDataset get_vocabs UNK NUM \
    get_glove_vocab write_vocab load_vocab get_char_vocab \
    export_trimmed_glove_vectors get_processing_word


def main（）:
    “““Procedure to build data

    You MUST RUN this procedure. It iterates over the whole dataset （train
    dev and test） and extract the vocabularies in terms of words tags and
    characters. Having built the vocabularies it writes them in a file. The
    writing of vocabulary in a file assigns an id （the line #） to each word.
    It then extract the relevant GloVe vectors and stores them in a np array
    such that the i-th entry corresponds to the i-th word in the vocabulary.


    Args:
        config: （instance of Config） has attributes like hyper-params...

    “““
    # get config and processing of words
    config = Config（load=False）
    processing_word = get_processing_word（lowercase=True）

    # Generators
    dev   = CoNLLDataset（config.filename_dev processing_word）
    test  = CoNLLDataset（config.filename_test processing_word）
    train = CoNLLDataset（config.filename_train processing_word）

    # Build Word and Tag vocab
    vocab_words vocab_tags = get_vocabs（[train dev test]）
    vocab_glove = get_glove_vocab（config.filename_glove）

    vocab = vocab_words & vocab_glove
    vocab.add（UNK）
    vocab.add（NUM）

    # Save vocab
    write_vocab（vocab config.filename_words）
    write_vocab（vocab_tags config.filename_tags）

    # Trim GloVe Vectors
    vocab = load_vocab（config.filename_words）
    export_trimmed_glove_vectors（vocab config.filename_glove
                                config.filename_trimmed config.dim_word）

    # Build and save char vocab
    train = CoNLLDataset（config.filename_train）
    vocab_chars = get_char_vocab（train）
    write_vocab（vocab_chars config.filename_chars）


if __name__ == “__main__“:
    main（）

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2018-12-20 03:16  LSTM+CRF_seq_tagging-master\
     文件          51  2017-11-09 03:14  LSTM+CRF_seq_tagging-master\.gitignore
     文件       10762  2017-11-09 03:14  LSTM+CRF_seq_tagging-master\LICENSE.txt
     文件        2654  2017-11-09 03:14  LSTM+CRF_seq_tagging-master\README.md
     文件        1920  2017-11-09 03:14  LSTM+CRF_seq_tagging-master\build_data.py
     目录           0  2018-12-20 03:16  LSTM+CRF_seq_tagging-master\data\
     文件         819  2017-11-09 03:14  LSTM+CRF_seq_tagging-master\data\test.txt
     文件        2141  2017-11-09 03:14  LSTM+CRF_seq_tagging-master\evaluate.py
     文件         202  2017-11-09 03:14  LSTM+CRF_seq_tagging-master\makefile
     目录           0  2018-12-20 03:16  LSTM+CRF_seq_tagging-master\model\
     文件           0  2017-11-09 03:14  LSTM+CRF_seq_tagging-master\model\__init__.py
     文件        4828  2017-11-09 03:14  LSTM+CRF_seq_tagging-master\model\base_model.py
     文件        3321  2017-11-09 03:14  LSTM+CRF_seq_tagging-master\model\config.py
     文件       11676  2017-11-09 03:14  LSTM+CRF_seq_tagging-master\model\data_utils.py
     文件        4682  2017-11-09 03:14  LSTM+CRF_seq_tagging-master\model\general_utils.py
     文件       13429  2017-11-09 03:14  LSTM+CRF_seq_tagging-master\model\ner_model.py
     文件          30  2017-11-09 03:14  LSTM+CRF_seq_tagging-master\requirements.txt
     文件         753  2017-11-09 03:14  LSTM+CRF_seq_tagging-master\train.py