NLP经典概念总结

thetaskofconvertingarawtextfile,essentiallyasequenceofdigitalbits,intoawell-definedsequenceoflinguisticallymeaningfulunits.文本预处理是NLP中的基本步骤，在这一步骤中，主要完成字符、单词、句子的识别任务。文本预处理又可以分成两个阶段，documenttriage和textsegmentation。DocumentTriage将文件转化成定义明确的文本。它包含以下三个步骤： Step1:字符编码识别（characterencodingidentification） Step2:语言识别（languageidentification） Step3:文本解剖（textsectioning）：识别文本的有用主体部分，去除无用元素，如图表、链接、HTML标签等。TextSegmentation将文本转化为单词和句子。它包含以下几个部分。 1)wordsegmentation也叫tokenization，即分词。 2)textnormalization文本规范化，比如将“Mr.”,“Mr”,mister,Mister规范化成一种形式。 3)Sentencesegmentation即句子划分。

Abasictaskoflexicalanalysisistorelatemorphologicalvariantstotheirlemmathatliesinalemmadictionarybundledupwithitsinvariantsemanticandsyntacticinformation.词法分析的一个基本任务是基于词元词典（lemmadictionary）进行词形还原，例如{delivers,deliver,delivering,delivered}.词性标注(part-of-speechtagging)也是词法分析的一个重要应用，常将词性标注的结果作为后续句法分析的输入。

Abasictechniquesforgrammar-drivennaturallanguageparsing,thatis,analyzingastringofwords(typicallyasentence)todetermineitsstructuraldescriptionaccordingtoaformalgrammar.句法分析，一种语法驱动的句子解析，包含两个任务，phrasestructureparsing和dependencyparsing。phrasestructureparsing旨在划分句子的结构化单元。dependencyparsing旨在挖掘单词之间的语法依存关系。比如主语、谓语等。下图展示了两种任务之间的区别。shallowsyntacticparsing分析句子成分，主谓宾等。

chunker是一种基于依存句法分析的句子划分方法。e.g.SantaClausdeliverstoytoChild.可以对此句做出如下的划分。 Action:deliverstoytoChild InitiatingActor:SantaClaus BusinessEntity:toy RespondingActor:Child

Poesio于2000年在《HandbookofNaturalLanguageProcessing》第一版中曾对语义分析给出了如下定义：Theultimategoal,forhumansaswellasnaturallanguage-processing(NLP)systems,istounderstandtheutterance—which,dependingonthecircumstances,maymeanincorporatinginformationprovidedbytheutteranceintoone’sownknowledgebaseor,moreingeneralperformingsomeactioninresponsetoit.‘Understanding’anutteranceisacomplexprocess,thatdependsontheresultsofparsing,aswellasonlexicalinformation,context,andcommonsensereasoning...

tobecontinued.........