分享到:

自然语言处理

尸‘一 一、引论 自然语言处理技术是所有与自然语言的计算机处理有关的技术的统称,其目标是给计算机配备各种语言知识,使其能够接受人们采用自然语言给它输人的命令,理解人们所要表达的意思,实现从一种语言到另一种语言的翻译等功能。从研究的侧重点角度看,自然语言处理研究主要有两方面:其一是偏向于理论的自然语言理解研究,它一般偏向于用计算机分析自然语言输入,从中得出与输人有关的一些结论;其二为机器翻译研究,它较偏向于实用效果,、主要面向不同自然语言文种之间的转换;也包括自然语言表达到系统内部命令形式的转换,即自然语言接口研究。目前,自然语言处理的研究成果已在数据库系统设计、大型软件包、人工智能研究、专家系统设计等领域得到了广泛的应用。 为了理解自然语言输入,与人类似,计算机必须具备大量的语言学知识和外部世界知识。为此,就要给计算机配备一个大型的知识库系统。在这一方面,人工智能技术的进展起着决定性的作用。由于知识的获取、表示、应用等问题还远未...  (本文共16页) 阅读全文>>

《心智与计算》2007年03期
心智与计算

自然语言处理中的哲学问题

1引言1992年6月在加拿大蒙特利尔举行的第四届机器翻译的理论与方法国际会议(即TMI-92)上,宣布会议的主题是“机器翻译中的经验主义和理性主义的方法”。所谓“理性主义”,就是指以转换生成语言学为基础的方法,所谓“经验主义”,就是指以大规模语料库的分析为基础的方法。可见,在国外的自然语言处理研究中,从上世纪90年代开始,就注意到了哲学中的理性主义与经验主义,试图从哲学的高度,来考察当前自然语言处理的发展趋势与动向。我们自然语言处理的研究人员终日埋头于各种具体的研究工作中(这是“形而下”的工作),平时很少考虑哲学问题(这是“形而上”的问题)。在本文中,我们愿意抬起头来仰望一下哲学这一片饱含了人类聪明和智慧的天空,从哲学的高度,来考察自然语言处理中的理性主义和经验主义,并进一步分析它们的利弊得失。同时,我们也从哲学的角度,研究哲学中的“本体知识”(ontology)研究在自然语言处理中的作用。2哲学中的理性主义与经验主义语言学中的...  (本文共21页) 阅读全文>>

华中师范大学
华中师范大学

基于语义概念的词义消歧方法

自动识别多义词在具体语境中的正确词义是自然语言处理领域中一个很重要的基础工作。在许多自然处理研究领域中,例如信息检索、语音识别、机器翻译等,词义消歧都至关重要,并且直接影响系统的性能效果。本文首先分析了现有显式语义分析方法的不足,充分利用维基百科丰富的类别结构信息。将类别看作语义概念元素,通过添加了类别信息,从文档和类别这两个概念层次上考察词汇语义,使得生成的语义解释向量能够更合理地表征词义,从而提高语义计算结果。通过分析现有的词义消歧方法的不足,本文提出了一种基于语义概念的词义消歧方法,利用显式语义分析技术将歧义词所在的上下文以及它在机读词典WordNet中对应的词义定义映射到由自然概念组成的高维空间上,表征为概念空间上的语义解释向量。这些概念是从大型世界知识资源如维基百科中得到的,从更高的概念层次上进行判断推理可以有效地解决词汇稀疏问题而且更加符合人类分析判断过程。最后,在标准测试集上对这种词义消歧方法进行测试。实验结果表明...  (本文共54页) 本文目录 | 阅读全文>>

《中文信息学报》2007年02期
中文信息学报

自然语言处理在信息检索中的应用综述

1引言基于全文索引的信息检索发展至今已有十几年的历史。在这十几年里,研究者们不断尝试着将自然语言处理应用到信息检索中,试图提高信息检索的效果。自然语言处理包括自然语言处理技术和自然语言处理资源。在信息检索中使用自然语言处理技术的尝试大部分没有获得好的效果。尽管在小部分实验中信息检索效果有了一些提高,但改进的程度往往很小,为此而使用的复杂的自然语言处理技术则有着巨大的计算消耗,很难被认为是值得的[1]。在信息检索技术中结合自然语言处理资源,例如词典,实验结果也不能令人满意[2]。信息检索中常常使用到的自然语言处理技术包括去除停止词、取词根、词性标注、词义消歧、句法分析、命名实体识别、指代消解等,自然语言处理资源包括的则是WordNet[3]和HowNet[4]这样的词典。自然语言处理技术被用来对自然语言进行处理,目的是让计算机“理解”自然语言的内容。而信息检索中所涉及的文档和查询都是用自然语言描述的,因此,在信息检索中使用自然语言...  (本文共11页) 阅读全文>>

中国科学院研究生院(计算技术研究所)
中国科学院研究生院(计算技术研究所)

自然语言处理中词相关性知识无导获取和均衡分类器构建

专家系统创始人E.A.Feigenbaum有句名言:“专家的知识是专家能力的关键”。同理,我们认为拥有完备、一致并且细腻的自然语言知识是计算语言学得以突破的关键之一。在计算语言学领域,传统手工方法的失败和后起统计方法、模式识别方法和机器学习方法的成功反映和验证了这一客观现实。因此在计算语言学领域,本文选择了“汉语词间相关性知识无导获取”和“均衡机器学习分类器构建”2个问题进行了深入的研究。虽然2个问题的研究内容不同,但都属自然语言知识获取(knowledge acquisition)的范畴。目的只有一个:获取完备、细腻的知识,但侧重点不同而已:[1] 汉语词间相关性知识无导获取致力于构建一个通用、细腻的,以词间距离“量”化形式描述的词语相关性基础知识库。[2] 均衡机器学习分类器的构建是针对自然语言处理中诸多消歧问题提出的一种方法,在认同自然语言中规律知识与例外知识并存假设的基础上,从知识表示、知识获取和知识推理3个方面对它们加...  (本文共162页) 本文目录 | 阅读全文>>

吉林大学
吉林大学

智能家居自然语言处理算法的研究与实现

智能家居是近年来受到广泛关注的研究热点,随着“互联网+”浪潮的到来,智能家居的研究进程也被推到了一个新的高度,对智能程度的要求也越来越高。目前智能家居方面的研究难点已经不仅集中在技术层面,而是舒适化、人性化的创意中。从传统的按钮控制发展到现在,人们开始期望通过语言实现对家居设备的控制。因此,将自然语言处理与智能家居结合也受到了更多重视。自然语言处理主要分成两部分:语音处理和文字处理。本文不考虑语音层面,而是从文字处理层面进行分析。在文字处理层面,将自然语言处理分成词法分析、句法分析、语义分析三部分进行。针对智能家居领域的语言歧义性和词库所涉及的范围,采用最大匹配算法对自然语言进行分词操作;然后,根据智能家居这一领域语法的特点,选择短语结构法进行语法分析;最后,通过模板匹配的方式进行语义理解,最终形成能够控制家居节点的代码形式。在本文应用的系统中,通过手机端已有的语音输入功能将语音处理成文字,经过本文的语言处理方法得到控制指令。经...  (本文共70页) 本文目录 | 阅读全文>>