• 大小: 609KB
    文件类型: .zip
    金币: 1
    下载: 0 次
    发布日期: 2021-01-11
  • 语言: 其他
  • 标签: NER  NLP  CRF  

资源简介

# 中文命名实体识别 基于条件随机场(Conditional Random Field, CRF)的NER模型 ## 数据集 数据集用的是论文ACL 2018[Chinese NER using Lattice LSTM](https://github.com/jiesutd/LatticeLSTM)中收集的简历数据,数据的格式如下,它的每一行由一个字及其对应的标注组成,标注集采用BIOES,句子之间用一个空行隔开。 ``` 美 B-LOC 国 E-LOC 的 O 华 B-PER 莱 I-PER 士 E-PER

资源截图

代码片段和文件信息

from sklearn_crfsuite import CRF


class CRFModel(object):
    def __init__(self
                 algorithm=‘lbfgs‘
                 c1=0.1
                 c2=0.1
                 max_iterations=100
                 all_possible_transitions=False
                 ):

        self.model = CRF(algorithm=algorithm
                         c1=c1
                         c2=c2
                         max_iterations=max_iterations
                         all_possible_transitions=all_possible_transitions)

    def train(self sentences tag_lists):
        features = [self.sent2features(s) for s in sentences]
        self.model.fit(features tag_lists)

    def test(self sentences):
        features = [self.sent2features(s) for s in sentences]
        pred_tag_lists = self.model.pred

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2019-06-29 09:00  crf_chinese_ner\
     文件        1584  2019-06-29 07:36  crf_chinese_ner\crf.py
     文件        2799  2019-06-29 08:41  crf_chinese_ner\main.py
     文件          79  2019-06-29 08:51  crf_chinese_ner\requirement.txt
     文件       13713  2019-06-29 08:58  crf_chinese_ner\output.txt
     文件        6449  2019-06-29 08:57  crf_chinese_ner\evaluating.py
     文件        1002  2019-06-29 09:00  crf_chinese_ner\README.md
     文件          31  2019-04-09 13:35  crf_chinese_ner\.gitignore
     目录           0  2019-06-29 08:40  crf_chinese_ner\model\
     文件      991931  2019-06-29 08:58  crf_chinese_ner\model\crf.pkl
     目录           0  2019-06-29 08:49  crf_chinese_ner\data\
     文件     1094528  2019-06-29 08:49  crf_chinese_ner\data\train.char.txt
     文件      135064  2019-06-29 08:49  crf_chinese_ner\data\test.char.txt
     文件      120251  2019-06-29 08:49  crf_chinese_ner\data\dev.char.txt
     目录           0  2019-06-29 08:57  crf_chinese_ner\__pycache__\
     文件        5677  2019-06-29 08:57  crf_chinese_ner\__pycache__\evaluating.cpython-35.pyc
     文件        2145  2019-06-29 08:57  crf_chinese_ner\__pycache__\crf.cpython-35.pyc

评论

共有 条评论