Word2Vec演算法組件利用神經網路，將詞映射為K維度空間向量，且支援對錶示詞的向量進行操作並和語義相對應。輸入為單詞列或文本語料庫，輸出為詞向量表和詞彙表。
使用說明
Word2Vec組件的上遊需要接入詞頻統計組件。
詞頻統計的輸出結果為三元組，即詞和詞的統計。組件下遊接入Word2Vec組件，Word2Vec組件會先將資料整理成單個單詞的形式，後續會按照整個Doc來處理。
組件配置
您可以使用以下任意一種方式，配置Word2Vec組件參數。
方式一：可視化方式
在Designer工作流程頁面配置組件參數。
|
頁簽 |
參數 |
描述 |
|
欄位設定 |
選擇單詞列 |
用來進行訓練的單詞列。要求單詞數量最好不超過1千萬。 |
|
參數設定 |
單詞特徵維度 |
單詞的特徵維度數量。取值範圍為0~1000，預設值為100。 |
|
語言模型 |
訓練使用的語言模型。取值範圍為skip-gram模型和cbow模型，預設值為skip-gram模型。 |
|
|
單詞視窗大小 |
單詞的視窗大小。取值範圍為正整數，預設值為5。 |
|
|
使用隨機視窗 |
是否使用隨機視窗。預設使用。 |
|
|
截斷最小詞頻 |
取值範圍為正整數，預設值為5。 |
|
|
採用hierarchical softmax |
是否採用HIERARCHICAL SOFTMAX。預設採用。 |
|
|
負採樣 |
負採樣的視窗大小。預設值為0，表示不可用。 |
|
|
向下採樣閾值 |
向下採樣的閾值。預設值為0，表示不可用。 |
|
|
起始學習速率 |
取值大於0，預設值為0.025。 |
|
|
迭代次數 |
取值大於等於1，預設值為1。 |
|
|
執行調優 |
核心數 |
預設為系統自動分配。 |
|
每個核的記憶體大小 |
預設為系統自動分配。 |
方式二：PAI命令方式
使用PAI命令方式，配置該組件參數。您可以使用SQL指令碼組件進行PAI命令調用，詳情請參見SQL指令碼。
pai -name Word2Vec
-project algo_public
-DinputTableName=w2v_input
-DwordColName=word
-DoutputTableName=w2v_output;|
參數名稱 |
是否必選 |
描述 |
預設值 |
|
inputTableName |
是 |
輸入詞彙表的名稱。 |
無 |
|
inputTablePartitions |
否 |
輸入詞彙表中參與分詞的分區名稱。格式為 |
無 |
|
wordColName |
是 |
單詞列名。單詞列中每行為一個單詞，分行符號用</s>表示。 |
無 |
|
inVocabularyTableName |
否 |
對輸入詞彙表執行wordcount操作後的輸出結果。 |
系統會對輸出表執行wordcount操作 |
|
inVocabularyPartitions |
否 |
對輸入詞彙表執行wordcount操作後的輸出結果中的分區名稱。 |
inVocabularyTableName對應表的所有分區 |
|
layerSize |
否 |
單詞的特徵維度數量。取值範圍為0~1000。 |
100 |
|
cbow |
否 |
訓練使用的語言模型。取值範圍為0（skip-gram模型）和1（cbow模型）。 |
0 |
|
window |
否 |
單詞的視窗大小。取值範圍為正整數。 |
5 |
|
minCount |
否 |
截斷的最小詞頻。取值範圍為正整數。 |
5 |
|
hs |
否 |
是否採用HIERARCHICAL SOFTMAX。取值範圍為0（不採用）和1（採用）。 |
1 |
|
negative |
否 |
負採樣的視窗大小。取值範圍為正整數，0表示不可用。 |
0 |
|
sample |
否 |
向下採樣的閾值。取值範圍為1e-3～1e-5。0表示不可用。 |
0 |
|
alpha |
否 |
取值大於0。 |
0.025 |
|
iterTrain |
否 |
取值大於等於1。 |
1 |
|
randomWindow |
否 |
指定單詞視窗的展示方式。取值範圍為0（不隨機，其值由window參數指定）和1（大小在1～5間隨機）。 |
1 |
|
outVocabularyTableName |
否 |
輸出詞彙表的名稱。 |
無 |
|
outputTableName |
是 |
輸出詞向量表的名稱。 |
無 |
|
lifecycle |
否 |
輸出表的生命週期。取值範圍為正整數。 |
無 |
|
coreNum |
否 |
核心數，需要與memSizePerCore參數同時設定才生效。取值範圍為正整數。 |
系統自動分配 |
|
memSizePerCore |
否 |
記憶體數，需要與coreNum參數同時設定才生效。取值範圍為正整數。 |
系統自動分配 |
常見問題
報錯“Vocab size is zero! vocab_size: 0”，表示詞典為空白，調小minCount參數值，即可解決。