编写简单的python程序来判断文本的语种

1.问题的描述

用python进行文本处理时,有时候处理的文本中包含中文、英文、日文等多个语系的文本,有时候不能同时进行处理,这个时候就需要判别当前文本是属于哪个语系的。python中有个langid工具包提供了此功能,langid目前支持97种语言的检测,非常好用。

2.程序的代码

以下python是调用langid工具包来对文本进行语言检测与判别的程序代码:

import langid #引入langid模块
def translate(inputfile, outputfile):
fin = open(inputfile, ‘r’) #以读的方式打开输入文件
fout = open(outputfile, ‘w’) #以写的方式打开输出文件
for eachline in fin: #依次读入每一行
line = eachline.strip().decode(‘utf-8’, ‘ignore’) #去除每行的首位空格等,并统一转化成unicode
linetuple = langid.classify(line) #调用langid来对该行进行语言检测
if linetuple[0] == “zh”: #如果该行语言大部分为中文,则不进行任何处理
continue
outstr = line #如果该行语言为非中文,则准备输出
fout.write(outstr.strip().encode(‘utf-8’) + ‘\n’) #输出非中文的行,从unicode转化成utf-8输出
fin.close()
fout.close()
if __name__ == ‘__main__’: #相当于main函数
translate(“myinputfile.txt”, “myoutputfile.txt”)

以上代码是用来处理一个文本,将不属于中文的行依次输出到一个新的文件。

3.注意

第9、10行代码,langid.classify(line)的输出结果是一个二元组,二元组的第一项表示该文本所属的语系,如:zh表示中文、en表示英语、等等;二元组的第二项表示该文本中属于第一项中语系的所占比例。

希望对大家有所帮助。

Posted in 未分类