Penn Tree Bank （PTB）数据集

数据集已经预处理并含有整体10000个不同的词，包括结束句子的标记和用于罕见词语的特殊符号（\ ）。数据量小，适用于RNN的训练。

#include 
#include 

void main（int argc char **argv）
{
    int a b i cn bestwcn wcn last_nbest nbest;
    float bestscore score acscore lmscore rnnscore;
    float LM_SCALE WI_PENALTY;
    char st[1000];
    char best[1000][1000];
    char curr[1000][1000];
    FILE *f1 *f2;
    
    if （argc<=2） {
	printf（“Need 2 arguments - score file & nbest list\n“）;
	exit（1）;
    }
    
    f1=fopen（argv[1] “rb“）;
    f2=fopen（argv[2] “rb“）;
    
    
    i=0;
    bestwcn=0;
    bestscore=-1000000;
    last_nbest=0;
    while （1） {
	fscanf （f1 “%f“ &rnnscore）;
	fscanf （f2 “%d“ &nbest）;
	
	if （（last_nbest!=nbest） || feof（f2）） {
	    for （a=0; a	    printf（“\n“）;
	
	    bestwcn=0;
	    bestscore=-1000000;
	}
	last_nbest=nbest;
	
	if （feof（f1）） break;
	
	fscanf （f2 “%f“ &acscore）;
	fscanf （f2 “%f“ &lmscore）;
	fscanf （f2 “%d“ &wcn）;
	
	wcn=0;
	fscanf （f2 “%s“ st）;
	fscanf （f2 “%s“ st）;
	
	while （1） {
	    fscanf （f2 “%s“ curr[wcn]）;
	    
	    if （!strcmp（curr[wcn] ““）） break;
	    
	    wcn++;
	}
	fscanf （f2 “%s“ st）;
	
	LM_SCALE=14;
	WI_PENALTY=0;
	score=acscore + rnnscore*LM_SCALE + wcn*WI_PENALTY/（2.718）;
	
	//score=acscore + （rnnscore+lmscore）/2*LM_SCALE + wcn*WI_PENALTY/（2.718）;	//optionally the LM scores from lattices can be used like this
	
	if （score>bestscore） {
	    for （a=0; a	    bestwcn=wcn;
	    bestscore=score;
	}
    }
}

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2011-05-02 14:50  simple-examples\
     目录           0  2011-09-13 03:06  simple-examples\data\
     文件      449945  2010-08-06 23:32  simple-examples\data\ptb.test.txt
     文件     5101618  2010-08-06 23:32  simple-examples\data\ptb.train.txt
     文件      399782  2010-08-06 23:31  simple-examples\data\ptb.valid.txt
     文件         609  2011-09-13 03:04  simple-examples\data\README
     文件    10034964  2011-02-23 14:08  simple-examples\data\ptb.char.train.txt
     文件      884846  2011-02-23 14:08  simple-examples\data\ptb.char.test.txt
     文件      786084  2011-02-23 14:08  simple-examples\data\ptb.char.valid.txt
     目录           0  2011-05-02 14:54  simple-examples\models\
     文件         167  2011-05-02 14:54  simple-examples\models\README
     文件    20053261  2011-04-29 22:57  simple-examples\models\swb.ngram.model
     文件    56577695  2011-04-26 21:20  simple-examples\models\swb.rnn.model
     目录           0  2011-05-02 15:06  simple-examples\rnnlm-0.2b\
     文件        1489  2011-05-02 11:56  simple-examples\rnnlm-0.2b\CHANGE.log
     文件        8325  2011-05-02 12:32  simple-examples\rnnlm-0.2b\FAQ.txt
     文件         885  2011-04-26 15:18  simple-examples\rnnlm-0.2b\convert.c
     文件         411  2011-05-02 14:49  simple-examples\rnnlm-0.2b\makefile
     文件       14551  2011-04-14 13:03  simple-examples\rnnlm-0.2b\rnnlm.cpp
     文件       50259  2011-04-30 23:24  simple-examples\rnnlm-0.2b\rnnlmlib.cpp
     文件        6649  2011-04-19 21:22  simple-examples\rnnlm-0.2b\rnnlmlib.h
     文件         745  2011-04-30 16:08  simple-examples\rnnlm-0.2b\prob.c
     文件       35139  2010-08-23 12:28  simple-examples\rnnlm-0.2b\test
     文件      337922  2010-08-23 12:28  simple-examples\rnnlm-0.2b\train
     文件       30139  2010-08-23 12:28  simple-examples\rnnlm-0.2b\valid
     文件         813  2011-05-02 12:01  simple-examples\rnnlm-0.2b\example.sh
     文件        1828  2011-05-02 11:53  simple-examples\rnnlm-0.2b\example.output
     文件        1475  2011-02-05 18:02  simple-examples\rnnlm-0.2b\COPYRIGHT.txt
     目录           0  2011-05-01 23:29  simple-examples\1-train\
     文件        2142  2011-04-30 21:22  simple-examples\1-train\train.sh
     文件        1460  2011-04-30 21:22  simple-examples\1-train\test.sh
............此处省略47个文件信息