1、什么是NLP?
自然語言處理研究的是人類用自然語言與計算機之間進行通信的技術。屬于語言學、計算機科學、認知科學等相關學科的交叉學科,涉及范圍廣泛。
NLP = NLU + NLG
+
從工程實踐的角度看,自然語言處理 = 自然語言理解 + 自然語言生成。
相對于 計算機視覺,NLP 難度更高。視覺處理是所見即所得,而自然語言需要面對一詞多義,語義和語用不同的復雜情況。
自然語言處理屬于AI 能力中的認知智能:
AI 能力應用技術計算能力-快速計算和記憶存儲運算速度-存儲能力感知能力-視覺、聽覺、觸覺語言合成、識別等基于詞聯接的自然語言處理技術及其應用研究,計算機視覺、物體識別、圖形識別等認知能力-語言能力、知識管理和推理學習自然語言處理:語言交互、語義理解、知識學習。
(4)解決現狀
NLP 的各項任務目前解決到什么程度?是基本解決了,還是“同志仍需努力”。
評價指標:
任務研究現狀的評判,評價指標的話每個任務有自己的評價指標。
基本解決或者進度很大的話也基本上可以上線基于詞聯接的自然語言處理技術及其應用研究,投入應用。比較難的就是一般不能滿足實際需求,還需要人為干預和規則涉入等。
基本解決:Spam Word Part of (POS)詞性標注Named 命名實體識別 --人名,機構名,地名等
good 進步很大: 情感分類Co- () 指代消解word sence wsd 詞義消歧 機器翻譯
still a bit hard 還是有點難 and chat-bots 聊天機器人 問答系統 文本摘要NLP for low 語料少的NLP 任務3、有哪些開源工具庫可以用?
--未完待續