最大匹配法分词Python

最大匹配法分词Python，文档，代码齐全。注释齐全。输入为人民日报标准语料库。10分绝对不亏。

# -*- coding: cp936 -*-
#最大匹配法进行分词----创建词表文件.
#author 徐能
#date 2013/3/23
import string
import re

#输入:语料库199801.txt文件; 输出:换行分割后的词表文件dict.txt（已经去重复 去日期）
def create_dict（filename）:
	print（“读取文件......“）
	src_data = open（filename‘r‘）.read（）
	sp_data = src_data.split（）#分割

	print（“原始词数为:“len（sp_data））
	set_data = set（sp_data）	#去重复
	data = list（set_data） #set转换成list 否则不能索引
	print（“去除重复后总词数为:“len（data））

	print（“正在建立词表文件......“）
	tmp = []
	for i in range（0len（data））:
		if re.compile（r‘\d+\-\S+‘）.match（data[i]）:  #去除类似这样的词‘19980101-01-001-002/m‘
			continue
		else:
			p_ok_data = re.compile（r‘\/\w+‘）.sub（‘\n‘data[i]） #将类似的词‘埃特纳/ns‘替换为‘埃特纳‘
			if re.compile（r‘（\[\S+）|（\]\S+）‘）.match（p_ok_data）:    #找到以‘[‘或‘]‘开头的词
				ok_data = re.compile（r‘（\]\w+\[）|（\]）|（\[）‘）.sub（‘‘p_ok_data） #去除‘]nt[澳门‘‘]澳门‘‘[澳门‘三类词的头部无用部分（先匹配长的部分）
				tmp.append（ok_data）
				continue

			tmp.append（p_ok_data）


	print（“最终得到的词表文件中总词数为:“len（tmp））
	open（‘dict_tmp.txt‘‘w‘）.writelines（tmp）
	print（“初步词表文件建立完成! （dict_tmp.txt）“）


#运行
if __name__ == ‘__main__‘:
    create_dict（‘199801.txt‘）
##    create_dict（‘testdict1.txt‘）
##    create_dict（‘testdict2.txt‘）

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2013-03-25 22:09  中文信息处理作业_徐能_2010241060\
     目录           0  2013-03-25 22:10  中文信息处理作业_徐能_2010241060\文档\
     文件      103936  2013-03-25 22:00  中文信息处理作业_徐能_2010241060\文档\最大匹配法分词算法分析与说明.doc
     目录           0  2013-03-25 22:13  中文信息处理作业_徐能_2010241060\源码\
     文件     8830154  2000-12-15 17:03  中文信息处理作业_徐能_2010241060\源码\199801.txt
     文件      398406  2013-03-25 22:12  中文信息处理作业_徐能_2010241060\源码\dict.txt
     文件        1351  2013-03-25 21:38  中文信息处理作业_徐能_2010241060\源码\MaxBuildDict.py
     文件         893  2013-03-25 21:41  中文信息处理作业_徐能_2010241060\源码\MaxBuildDictModify.py
     文件        1799  2013-03-25 21:28  中文信息处理作业_徐能_2010241060\源码\MaxWordSegmentation.py
     文件         472  2013-03-25 22:35  中文信息处理作业_徐能_2010241060\源码\MaxWordSegmentationTest.py
     文件           0  2013-03-17 19:22  中文信息处理作业_徐能_2010241060\源码\__init__.py
     目录           0  2013-03-25 22:09  中文信息处理作业_徐能_2010241060\源码\__pycache__\
     文件        2003  2013-03-25 22:06  中文信息处理作业_徐能_2010241060\源码\__pycache__\MaxWordSegmentation.cpython-33.pyc
     文件        1875  2013-03-22 21:46  中文信息处理作业_徐能_2010241060\源码\__pycache__\other.cpython-33.pyc
     文件         146  2013-03-24 20:11  中文信息处理作业_徐能_2010241060\源码\__pycache__\__init__.cpython-33.pyc
     文件         913  2013-03-25 22:11  中文信息处理作业_徐能_2010241060\源码\源码运行说明.txt