MATLAB小应用：中文、英文词频统计

做人要淡定

一、英文词频统计
英文词频统计很简单，只需借助split断句，再统计即可。

完整MATLAB代码：

1. function wordcount
   
2. %思路：中文词频统计涉及到对“词语”的判断，需要导入词典或编写判断规则，很复杂。
   
3. %最简单的办法是直接统计英文词频，并由空格直接划分词语。然后再翻译即可得到中文词频。
   
4. 
   
5. %从官方网站上下载的pdf，转成reportfulltext.txt，存到workspace进行操作 全文共25003个字符。
   
6. 
   
7. clc;
   
8. clear;
   
9. report=fileread('reportfulltext.txt'); %读入全文
   
10. report=regexprep(report,'\W',' '); %不是字符的，都转换为空格。主要是去除标点符号
    
11. report=lower(report); %变成小写
    
12. words=regexp(report,' ','split')'; %根据空格分隔为单词cell
    
13. 
    
14. %至此每个单词都拿出来了
    
15. 
    
16. rank = tabulate(words); %rank是三列向量，包括名称，出现次数和百分比
    
17. ans=sortrows(rank,-2); %只根据第二列进行排序 -2表示降序
    
18. 
    
19. xlswrite('results',ans);%输出为excel文件
    
20. end

复制代码

二、中文词频统计
中文词频统计相对复杂一些。关键在于：
      使用合适的语料库
      从长到短，匹配词语。比如句中出现了“计算机”三字词，我们应该将三个字视为一个词，而不能把“计算”当做一个词。

1. function wordcountchinese
   
2. clc;
   
3. clear;
   
4. report=fileread('reportchinese.txt'); %读入中文报告，事先已放在工作区
   
5. 
   
6. %% dictionary.mat是一个我事先准备好的列向量
   
7. %其中dict是14636*1的字典列向量，从网上下载的官方语料库转换得到的
   
8. load dictionary.mat;
   
9. Maxlen=max(cellfun(@length,dict)); %最大词长，结果是10
   
10. 
    
11. %% 按标点初步分词
    
12. cut='[\，\。\、\；\：\！\？\“\”\‘\’\（\）\《\》\<\>\……\·]'; %标点符号的正则表达式
    
13. F=regexp(report,cut,'split')'; %转置，变成3131*1的列向量
    
14. 
    
15. % 此时，待分析的句集F和词典都已就绪
    
16. 
    
17. %% 算法原理
    
18. % 首先判断是否为有效句：句长是否大于0。小于0的不操作，相当于跳过
    
19. % 若是有效句，计算句长和最大词长Maxlen的最小值maxlen。待选字串长度不能大于该长度
    
20. % 从maxlen长度开始，取出待选字串
    
21. % 匹配，成功就输出，标记。若成功，平移maxlen个单位；若不成功，平移1个单位
    
22. % 选出下一个待选字串再匹配，重复操作，直到移动到句长以外
    
23. % 如果上一个长度匹配成功，那么就不用再匹配了，该句跳过；如果meet==0，重复上一步操作
    
24. % 长度maxlen减到1，也要匹配，因为词库中有一个字的词；maxlen==0是终止信号。
    
25. 
    
26. %% 最大匹配法进一步分词
    
27. sentence=[]; %是粗分后F中的每一个元素
    
28. word=[];
    
29. words={};
    
30. k=1;
    
31. 
    
32. for i=1:length(F) %遍历F
    
33.     sentence=cell2mat(F(i,1)); %把cell转换成字符串
    
34.     sentence_len=length(sentence); %求出句长
    
35.     meet=0; %更新初始状态
    
36.    
    
37.     if(sentence_len>0) %有效句
    
38.         maxlen=min(Maxlen,sentence_len);
    
39.         while(maxlen>0)
    
40.             start=1;
    
41.             while((start+maxlen)<=sentence_len)  %索引不能移动到句子外面
    
42.                 word=sentence(start:start+maxlen);
    
43.                 if(ismember(word,dict))%如果匹配成功
    
44.                     meet=1;
    
45.                     words(k)=cellstr(word);
    
46.                     k=k+1;
    
47.                     start=start+maxlen; %移动maxlen个单位再匹配
    
48.                 else
    
49.                     start=start+1; %移动一个单位再匹配
    
50.                 end
    
51.             end
    
52.             %已经移动到句子外面了
    
53.             if(meet==0)
    
54.                 maxlen=maxlen-1;
    
55.             else
    
56.                 break;
    
57.             end
    
58.         end
    
59.     end
    
60.     %无效句，句长为0，不处理，直接跳过
    
61. end
    
62. 
    
63. %% 排序处理
    
64. rank = tabulate(words); %rank是三列向量，包括名称，出现次数和百分比
    
65. ANS=sortrows(rank,-2); %只根据第二列进行排序 -2表示降序
    
66. 
    
67. xlswrite('resultschinese',ANS(1:50,1:3));%输出为excel文件 由于词语将近1777个，因此只输出前100个
    
68. end

复制代码

十九大中文版报告统计结果：