NLP实战之fasttext进行THUCNews文本分类python

计划赶不上变化快的fasttext来啦~ 包括代码和分好词的训练集、测试集、停词表，测试集F1值0.941，虽然没比TextCNN高但是快啊！fasttext模块安装麻烦一点，具体看博客内容吧。

# -*- coding: utf-8 -*-
“““
Created on Mon Jul 27 21:12:20 2020

@author: 29811
“““

import logging
import fasttext
import time
from datetime import timedelta

basedir = ‘D:/S/Learn/CNew/Cnews_Fasttext/‘
logging.basicConfig（format=‘%（asctime）s : %（levelname）s : %（message）s‘ level=logging.INFO）


start_time = time.time（）
# 训练
model = fasttext.train_supervised（basedir + ‘cnews.seg.train‘ label_prefix = ‘__label__‘ word_ngrams=3 bucket=2000000）

end_time = time.time（）
time_dif = end_time - start_time
print（‘time of train:‘  timedelta（seconds=int（round（time_dif））））

# 保存
model.save_model（basedir + ‘cnews.fasttext‘）

# 加载
model = fasttext.load_model（basedir + ‘cnews.fasttext‘）

#测试
num  precision  recall = model.test（basedir + ‘cnews.seg.test‘）



print（precision * recall * 2 / （recall + precision））

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----

     文件       2867  2020-07-28 22:03  data_process.py

     文件  112538995  2020-07-28 22:00  cnews.seg.train

     文件   23865365  2020-07-28 22:03  cnews.seg.test

     文件        869  2020-07-29 12:00  CNEW_Fasttext.py

     文件      19782  2020-03-01 19:48  cnews.vocab.txt

----------- ---------  ---------- -----  ----

            136427878                    5