基于深度学习的自然语言处理

基于深度学习的自然语言处理摘 要：深度学习是当前机器学习领域的研究的前沿与热点之一，深度学习的概念源于人工 神经网络的研究。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以 发现数据的

基于深度学习的自然语言处理 摘要：深度学习是当前机器学习领域的研究的前沿与热点之一，深度学习的概念源于人工神经网络 的研究。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式 特征表示。自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计 算机之间用自然语言进行有效通信的各种理论和方法。本文讨论了深度学习在句法分析和语义分析等 相关任务中的主要算法，总结了存在的问题及深度学习在中文信息处理的发展方向。 关键词：深度学习机器学习自然语言处理 1. 引言 深度学习在图像的语音领域取得了突出成果，但是在自然语言处理上还未取得重大突破, 与语音和图像不同，语言是一种经过人类大脑产生并加工处理的符号系统，似乎模仿人脑结构 的人工神经网络应该在自然语言处理领域拥有更多优势，但实际情况并非如此.同时，近几十年 来，基于统计的模型成为自然语言处理非主流方法之后，属于统计方法典型代表的人工神经网 络在自然语言处理领域依然没有得到足够重视.当然，这一切在等提出深度学习以后， Hinton 情况发生了变化，当前结合深度学习模型开展自然语言处理相关应用已经取得了一定成果，并 成为研究热点之一⑹。 2. 深度学习与自然语言处理的关系 口然语言处理的主要目标是让人类语言能够更容易被计算机识别、操作，其主要应用包括 信息抽取、机器翻译、摘要、搜索及人机交互等。传统的自然语言处理，不管是英文还是中文， 仍然选择分而治之的方法，把应用分解成多个子任务来发展和分析自然语言处理，很少能够发 展一个统计的架构，并且为了更好地提髙性能，从而导致需要加入大暈为特定任务指定的人工 信息⑺。从这点來说，大多数系统主要有这样的几个缺点：首先这些系统是浅层结构，并且分 类器是线性的；其次为了一个线性分类器有更好的性能，系统必须融入大量为特定任务指定的 人工特征；最后这些系统往往丢弃那些从其他任务学来的特征。 从年开始，研究者们开始利用深层神经网络在大规模无标注语料上无监督的为每个 2006 词学到了一个分布式表示，形式上把每个单词表示成一个固定维数的向量，当作词的底层特征。 在此特征基础上，完成了词性标注、命名实体识别和语义角色标注等多个任 Collobert&Weston