雷鋒網(wǎng) AI 開發(fā)者按，近年來，自然語言處理（NLP）在質(zhì)量和可用性方面快速增長，這有助于推動人工智能解決方案的實(shí)際落地。在過去的幾年里，研究人員一直在將新的深度學(xué)習(xí)方法應(yīng)用于 NLP。數(shù)據(jù)科學(xué)家開始從傳統(tǒng)的方法轉(zhuǎn)向最先進(jìn)的（SOTA）深度神經(jīng)網(wǎng)絡(luò)（DNN）算法，這種算法使用的語言模型經(jīng)過了大文本語料庫的預(yù)訓(xùn)練。

此存儲庫包含構(gòu)建 NLP 系統(tǒng)的示例和最佳實(shí)踐，在 jupyter notebook 和實(shí)用程序函數(shù)中提供。知識庫的重點(diǎn)是最先進(jìn)的方法和常見的場景，這些方法和場景在研究文本和語言問題的研究人員和實(shí)踐者中很流行。

概述

該知識庫的目標(biāo)是利用 NLP 算法、神經(jīng)架構(gòu)和分布式機(jī)器學(xué)習(xí)系統(tǒng)的最新進(jìn)展構(gòu)建一套綜合的工具和示例。其內(nèi)容是基于我們過去和未來與客戶的接觸，以及與合作伙伴、研究人員和開源社區(qū)的合作。

我們希望這些工具能夠通過簡化從定義業(yè)務(wù)問題到開發(fā)解決方案的經(jīng)驗(yàn)，顯著減少「上市時間」。此外，示例 notebook 將作為指導(dǎo)方針，以各種語言展示工具的最佳實(shí)踐和用法。

在一個遷移學(xué)習(xí)、transformer 和深度架構(gòu)的時代，我們相信預(yù)訓(xùn)練模型為許多現(xiàn)實(shí)問題提供了統(tǒng)一的解決方案，并允許輕松處理不同的任務(wù)和語言。因此，我們將優(yōu)先考慮這些模型，因?yàn)樗鼈冊趲讉€ NLP 基準(zhǔn)上取得了最先進(jìn)的結(jié)果。這些模型可用于多種應(yīng)用，從簡單的文本分類到復(fù)雜的智能聊天機(jī)器人。

內(nèi)容

下面是存儲庫中介紹的常用 NLP 場景的摘要。每個場景都在一個或多個使用模型和存儲庫實(shí)用程序核心代碼庫的 jupyter notebook 示例中演示。

在解決 NLP 問題時，從預(yù)構(gòu)建的認(rèn)知開始總是好的。當(dāng)需求超出預(yù)構(gòu)建認(rèn)知的范圍時，當(dāng)你想要搜索自定義機(jī)器學(xué)習(xí)方法時，你會發(fā)現(xiàn)此存儲庫非常有用。要開始使用，請導(dǎo)航到設(shè)置指南，其中列出了有關(guān)如何設(shè)置環(huán)境和依賴關(guān)系的說明。

馬上行動吧~

via：https://github.com/microsoft/nlp

雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。