文章图片
文章图片
文章图片
最近 ， 自注意力机制在自然语言处理领域受到了广泛关注 。 该模型主要包括两个步骤：生成一个生成的内容嵌入 ， 该嵌入使用来自一个网站的爬取评论进行训练 ， 人们可以在该网站上与他人分享一些用药经验 ， 然后合并生成的内容嵌入、概念嵌入 ， 位置嵌入和词嵌入通过完全注意方法进行 ， 其结构在中描述；使用Bi长短期记忆层和变压器层提取潜在特征以进行准确预测 。
他们的团队提出了一种新方法 ， 即生物医学资源长短期记忆 。 具体的训练过程在中给出 ， 长短期记忆的其余部分与普通的Bi长短期记忆大致相同 。 有时 ， 单个单词不能代表较长短语或句子的更深层次的语义信息 。 有必要捕获组合性 ， 因此一些研究人员使用递归神经网络基于语言被递归描述的假设来获得语义组合 。 科学家首先使用递归神经网络从生物医学文本中检测和分类药物-药物相互作用 。
事实上 ， 这种方法是基于矩阵向量空间 ， 它是由斯坦福解析器树的句子构建的 。 在二值化解析树的每个节点中 ， 递归学习一个嵌入了一个单词或短语 ， 以及一个捕获相邻单词含义的矩阵 。 虽然它很好地利用了相邻信息 ， 但它的表现并不突出 。 为了提高药物-药物相互作用提取的效果 ， 科学家设计了一种新的递归神经网络模型长短期记忆 ， 并使用了子树包含特征、位置特征和集成方法 。
将流行的长短期记忆与树结构递归相结合的想法非常新颖 。 长短期记忆模型的关键优势在于它可以从多个子节点中选择和整合上下文信息 。 由于长短期记忆模型完美地学习了上下文的表示 ， 因此在实验中取得了不错的效果 。 最后 ， 科学家们介绍了用于药物-药物相互作用提取的不同深度学习方法 。 然后 ， 科学家们通过分析论文中提到的错误和一些基本的实验数据 ， 总结了不同方法的优缺点 。
传统的基于特征的机器学习方法容易受到特征提取中无法实现的自动化过程的影响 ， 这导致在设计特征时需要费力的人工工作 。 卷积神经网络作为经典的神经网络结构首先在药物-药物相互作用中使用 ， 通过卷积运算可以有效地捕捉单词的语义信息 。 然而 ， 传统的卷积神经网络无法处理长句子 ， 因为它们只对相邻的单词执行 ， 而忽略了单词之间的长距离依赖性 。 为了学习长距离模式 ， 利用更深的网络结构和多个窗口大小的基于卷积神经网络的方法可以解决这个问题 。
尽管可以实现一些性能改进 ， 但它们都需要更多的训练时间和更高的计算成本 。 递归神经网络具有循环连接 ， 可以处理任意长度的输入 ， 这对于自然语言处理任务来说是一个很好的属性 。 然而 ， 存在一个问题 ， 即一些重要的上下文信息可能会在长距离句子的传输中丢失 。 依存关系树可以帮助卷积神经网络或递归神经网络模型更加关注与解析器树中重要部分周围更接近的词 ， 并很好地识别两个实体之间的关系 。
【科学家的团队提出过一种新方法，即生物医学资源长短期记忆】同时 ， 基于依赖的模型通常依赖于其他现有的自然语言处理工具包 ， 因此工具包带来的错误和成本可能不可避免地对模型的性能产生不利影响 。 近年来 ， 注意力机制引起了研究人员的广泛关注 。 很明显 ， 并不是所有的词都对识别两种目标药物之间的关系有同样的贡献 。 基于注意力的方法提供了更有针对性的语义匹配 ， 可以帮助模型找到重要的单词并明确识别上下文信息 。
推荐阅读
- 霍金去世后，价值8亿的轮椅被微软和苹果疯抢，最后花落谁家？
- 14个你不知道的冷知识，得到过科学验证，只有少数人知道的知识
- 潘建伟团队实现重大科研突破，“虚数”居然有物理意义，这意味什么？
- 哈勃不再是最先进的太空望远镜了
- 递归神经网络是一种独特的网络结构，因为它假设句子的语法结构是递归的
- 根据行星环境和微器件所需的操作来选择聚合物材料
- 鲨鱼号称“海中狼”
- 海水是从哪里来的？真相揭开，让人不敢相信
- 螨虫被烤焦了，所以晒被子会有“太阳味”？科学家：太阳的功劳