提纲

这是cs244n第四课，前面三节课程主要是从词向量开始介绍，如何对文本进行表示。这节课介绍了根据上下文预测词分类问题,并从softmax过渡到神经网络。

• 分类背景知识介绍
• 在分类任务中更新词向量
• 窗口分类，cross entropy error求导
• 单层NN
• 最大间隔loss和反向传播

最近在构建垂直领域知识图谱，我们知道知识图谱构建其实分为两个层面，一个是模式层，一个是数据层，那他们分别具体是什么，又是如何构建呢？带着这些疑问各种Google，然后得到确实千篇一律的文章，这些文章大都从宏观层面介绍构建图谱的流程、架构，鲜有介绍具体某个点具体如何去实施，比如模式层如何去构建，如何建立概念体系、如何存储？如何对一个垂域进行NER？不知道是因为技术的保密还是很少有人真正的去从零开始构建一个知识图谱，或者是都是从其他图谱中进行迁移而来，不过知识图谱构建却非易事，技术有所保留也可理解。今天就具体来谈一谈模式层构建的一些事情。

词向量Part 2

关键词：Glove， 词向量内部和外部评价，超参数在语义类推上的影响，人类判断词向量距离间的相关性，词上下文解决歧义，窗口分类
首先文章第一部分介绍了Glove训练词向量过程，之后讨论如何从内部及外部去评价词向量。之后讨论作为内部评价的词类比任务及如何利用它调整词向量。然后讨论词向量模型的权重参数和外部评价任务，最后讨论将ANN作为一类模型来实现NLP任务。

cs244n第三次课是TA Richard Socher来完成，本次课程主要是对word2vec深入分析，理解word2vec将词表示成向量，背后真正学习到了什么，如何去把握，同时引出比w2v效果更好的Glove，最后又提到了一些如何评价word vector的方法。

NLP Introduction

What is Nature Language Processing(NLP)?

在AI 概念被广泛提及的今天，不得不提NLP-自然语言处理，那到底什么是NLP，它又有着怎样的目标和划分。NLP 是通向人工智能必不可少的一个环节。NLP 是一个多学科交叉的领域，它涵盖了Computer Science、Artificial Intelligence、linguistics; 做NLP 的目的是能够让计算机能够理解“自然语言”从而去做一些有益的事情比如约会，购物和助手比如Siri, Google Assistant, Facebook M, Cortana 等。很好的理解自然语言有着很大的困难和挑战后面会具体叙述其原因。

Neo4j 简介

Neo4j是一个图数据库，即数据库中的图是以图这种数据结构进行存储和操作的，数据库中的各个元素之间都存在一些边进行连接，以表示这些数据之间的关系。图数据在关系建模中应用很广泛，社交关系、知识图谱都会用到这种结构。图数据库有以下几个个基本元素，节点(Node),标签(Label)， 属性(Properties)，关系(Relation)。Neo4j的查询语言是Cypher，它是类似于SQL的一种操作Neo4j数据库的语言。

深层网络缺陷

在ILSVRC比赛中，不断的有更深层次的网络提出，从AlexNet 到VGG，网络层数不断增加。依据DL 理论，随着网络深度的增加，模型效果至少会比浅层网络有提升，但事实确并非如此，

Image Caption 介绍

图像描述/看图说话，即是给定一幅图片利用模型自动生成一副图像内容相关的描述，如图1所示。它是图像和NLP领域的结合，是AI中具有挑战性的一个方向，近两年来也成为了研究热点。该任务有着巨大的挑战，首先模型既要能够理解图像中存在的事物，又能够发现事物中存在的联系，并且根据这些自动给出一段顺畅的句子。本文针对近两年的研究成果，选取了几篇具有代表性的论文进行解读。

实体关系抽取介绍

实体关系抽（RE， Relation Extraction）取任务是信息抽取中重要的一个子任务，同时也是知识图谱构建过程中必不可少的一个环节。所谓关系抽取是指从含有实体对的句子中，抽取出该实体对对应的关系，比如句子“马化腾在1998年11月创立了腾讯”，抽取结果是<马化腾/人名，创立/关系，腾讯/公司>。这个过程分为两个任务，一个是检测出句子中是否含有实体对，第二个任务是句子中是否含有实体对间的关系。笔者结合近几天对实体抽取相关研究的调研进行汇总，介绍下RE的相关研发方法及工业届常用的一些思路。

1. Problem Description

Given an array containing n distinct numbers taken from 0, 1, 2, …, n
, find the one that is missing from the array.
For example,Given nums = [0, 1, 3]
return 2