NLP 作業一｜一條龍說明（從看懂到交出去）

0　全貌：整份作業一張圖看完

結論：作業分三段：讀考卷 → 借別人的字典考試 → 自己編字典再考一次。報告的 6 題，其實是在問「字典好不好，取決於什麼」。

流程圖

所有實驗的成績總表

表裡的名詞（語意類、語法類、維基對照組⋯）先不用懂，用語表和第 1 節會解釋。現在只看「哪一列最高、哪一列最低」。數字都是正確率（%）。

每一部分的配分與難度

用語表：同一個東西，全文只用一個名字

結論：這份說明裡，每個概念只有一個名字。看到不懂的詞，回來這張表查。

為什麼要有這張表：課本、老師、程式碼對同一件事常常有好幾種叫法（例如「模型」「字典」「my_wv」都是同一個東西）。叫法一多，讀的人會以為是不同的東西。所以這裡先把名字定死。

先記住全文的比喻

教材（電腦讀的文章）→ 電腦自己編出一本字典（每個字一串數字）→ 拿考卷（19,544 題類比題）考這本字典。

教材、字典、考卷

成績怎麼算

訓練時的用語

14 個小類的固定名字

注意：「國名→國籍」（例 China → Chinese）雖然跟國家有關，但它考的是字形變化，所以屬於語法類。

加分實驗的編號（第 12 節）

1　開始之前：先懂 4 個觀念

結論：整份作業只建立在 4 個觀念上。這 4 個懂了，後面每一步都只是「把觀念寫成程式」。考試也最可能從這裡出題。

為什麼要先學這 4 個：後面每一節都會用到「詞向量」「相似度」「b − a ＋ c」「前後文」這四個詞。先用小例子手算一次，後面看到 19,544 題的正確率才知道它是怎麼來的。

觀念 1：電腦只看得懂數字，所以要把字變成一串數字

電腦不知道 cat 是什麼。它只會做數學。

所以我們幫每個英文字準備一串數字，例如 100 個數字。這串數字叫 詞向量（word embedding）。

可以把這 100 個數字想成這個字在「意思地圖」上的座標。平常的地圖只有 2 個數字（經度、緯度），這張地圖有 100 個數字，所以人畫不出來，但電腦算得出來。（「座標」只是比喻，後面一律叫詞向量。）

把每個字的詞向量收集起來，就是一本字典：查一個字，得到它的詞向量。

觀念 2：詞向量方向越一致，意思越像

一份好的字典，會把 cat（貓）和 dog（狗）放得很近，把 cat 和 truck（卡車）放得很遠。

「多近」用相似度（cosine similarity，餘弦相似度）來量。它看的是兩個詞向量的「方向」有多一致。

手算一次相似度（拿紙筆跟著算）

前提：真的詞向量有 100 個數字，算不動。所以這裡假設每個字只有 2 個數字（我自己編的）：cat＝(3, 4)、dog＝(4, 3)、truck＝(4, −3)。步驟跟 100 個數字時完全一樣，只是數字少。

第 1 小步：乘起來再加總（叫「內積」）。兩個字的第 1 個數字相乘，加上第 2 個數字相乘。

cat 和 dog：  3×4 ＋ 4×3    ＝ 12 ＋ 12  ＝ 24
cat 和 truck：3×4 ＋ 4×(−3) ＝ 12 − 12  ＝ 0

第 2 小步：算每個字的「長度」。兩個數字各自平方、加起來、開根號。

cat：  √(3×3 ＋ 4×4) ＝ √25 ＝ 5
dog：  √(4×4 ＋ 3×3) ＝ √25 ＝ 5
truck：√(4×4 ＋ 3×3) ＝ √25 ＝ 5

第 3 小步：內積 ÷（兩個長度相乘）。

相似度(cat, dog)  ＝ 24 ÷ (5×5) ＝ 0.96  → 很像
相似度(cat, truck)＝  0 ÷ (5×5) ＝ 0     → 沒關係

為什麼要除以長度：只想比「方向」，不想讓「數字比較大的字」佔便宜。除掉長度之後，結果一定在 −1～1 之間。

在相似度、鄰居、b − a ＋ c 這些地方，本文說的「近」「最像」都是指方向（夾角小），不是兩點之間的距離。（例外：看 t-SNE／PCA 圖時——第 4、7 節、第 12 節實驗 ⑦、總結論第 1 條、第 14 節 Q17——說的「近」「黏在一起」「貼得很緊」，是圖上兩點的距離。）所以下面手算時，★ 跟 woman 位置不完全一樣，但方向幾乎一樣，相似度就接近 1。

這幾個數字由 make_toy_figures.py 算出來核對過。老師上課講的是同一個公式（W2 02:00:40「兩個向量之間算 cos 就是這個公式」）。

import numpy as np
cat, dog = np.array([3, 4]), np.array([4, 3])
print(cat @ dog / (np.linalg.norm(cat) * np.linalg.norm(dog)))   # 0.96
# gensim 裡直接寫：model.similarity("cat", "dog")

報告第 4 題「找最像的 5 個字」，就是把一個字跟字典裡每個字都算一次相似度，取最高的 5 個。這 5 個字本文叫「鄰居」（只用在這個意思）。

觀念 3：詞向量可以加減，加減代表「關係」

這是整份作業最核心的一點。看這張圖：

從 man 走到 woman 的那一步（紅色箭頭），跟從 king 走到 queen 的那一步，方向和長度大致一樣（老師原話：「不是這麼 exactly 是一樣的 pattern，但是趨勢非常的 close」，W3 00:32:03）。四個點大約排成一個平行四邊形。

所以只要知道三個點，就能推出第四個點：

queen − king ＋ man ≈ woman
 (b)    (a)    (c)    (d)

白話：「把 king 變成 queen 的那一步」，套到 man 身上，就會走到 woman。這個公式本文叫 b − a ＋ c（論文叫 3CosAdd）。

注意：作業規格 PDF 第 2 頁寫成「King + Queen − Man ≈ Woman」，那是筆誤。正確是 b − a ＋ c（程式模板的提示寫的才對）。

作業的考卷 19,544 題，每一題都是這樣：給 a、b、c，叫電腦算出 d。

手算一次 b − a ＋ c（拿紙筆跟著算）

前提：

• 字典裡只有 6 個字：man、woman、king、queen、girl、apple。每個字只有 2 個數字（下圖括號裡，我自己編的）。
• 題目：king 之於 queen，等於 man 之於 ＿＿？所以 a＝king、b＝queen、c＝man，正確答案 d＝woman。

第 1 小步：做加減，算出一個新的點 ★。公式是 b − a ＋ c，也就是 queen − king ＋ man。兩個數字各自算：

第 1 個數字：3.2 − 1 ＋ 1 ＝ 3.2
第 2 個數字：4.1 − 4 ＋ 1 ＝ 1.1
所以 ★ ＝ (3.2, 1.1)

圖上兩條紅色箭頭幾乎一樣長、一樣方向：「king 變 queen」和「man 變 woman」是同一步。從 man 走同一步，就走到 ★。

第 2 小步：算 ★ 跟每個候選字的相似度。照上面「手算相似度」的三小步做：

數字由 make_toy_figures.py 算出，四捨五入到小數點後 2～3 位。woman 的 1.000 是四捨五入後的值，實際比 1 小一點點。

第 3 小步：相似度最高的就是答案。woman 1.000 最高，所以電腦答 woman，答對。

邊界情況 1：答案不能是題目自己的字

king、queen、man 是題目給的字，規定不能拿來當答案，所以第 2 小步只算剩下的字。gensim 的 most_similar 會自動排除它們。

為什麼要排除：★ 是從 man 出發走一小步得到的，所以 ★ 有可能離 man 自己很近。這個玩具例子裡 man 的相似度是 0.899（比 woman 低，沒有搶走第一名）；但在真的 100 維字典裡，★ 不會剛好落在 woman 上，題目自己的字就可能排到前面。

邊界情況 2：題目的字不在字典裡

如果 a、b、c 有一個字典裡查不到（叫 OOV，查不到的字），第 1 小步就算不出來。這種題目在作業裡直接算答錯。

真的作業就是把這 3 小步，對 19,544 題每一題做一遍（候選字是字典收的所有字，Wiki 20% 字典約 30 萬個）。girl 0.973 也很接近 woman——在真的字典裡，「很像但不是答案」的字很多，所以不少題的正確答案排在第 2、3 名（第 12 節實驗 ④：前 3 名正確率比第 1 名多 13.14 個百分點）。

觀念 4：詞向量是電腦自己「看前後文」學出來的

沒有人一個一個去設定詞向量。電腦是讀了大量文章（教材）之後，自己算出來的。

它根據一句很有名的話：「看一個字的朋友，就知道它是什麼字。」常常出現在同樣前後文的字，意思通常很像。

例如「我養了一隻＿＿，牠很可愛」，空格可以填貓、狗、兔子。這些字前後文很像，所以詞向量會很近。

這個「讀教材、看前後文、算詞向量」的過程叫 訓練。作業用的方法叫 Word2Vec，裡面又分兩種：

練習的過程中，電腦會一直微調每個字的詞向量，讓猜測越來越準。練完之後，這些數字就是詞向量。

我（Claude）做了什麼：完整工作清單

結論：這份作業的程式、執行、報告文字都是我做的，在你的電腦上實際跑完。下面照時間順序列出每一步、每一個我自己下的決定和理由。你要交出去，就要知道這些，因為報告第 6 題要如實寫出來，考試也可能問「你為什麼這樣做」。

八個階段

我改了模板的哪些格子

老師規定：只准改「載入資料」的部分，亂改扣 5 分。所以我把每一格都分類清楚（下面用 Jupyter 畫面左邊的 In [n] 標示；報告格是文字格，沒有 In 編號）：

我自己下的技術決定（每一個都有理由）

表裡有些詞（window、雜訊、前 k 名⋯）要到第 6、12 節才會詳細講；看不懂先查用語表，或先跳過。

產出的檔案

邏輯框架：這份作業在整門課的哪裡、到底在證明什麼

結論：這門課前三週在回答一個問題：「怎麼讓電腦知道字的意思？」這份作業就是讓你親手驗證課堂上的答案（詞向量），並找出「什麼決定詞向量好不好」。整份作業的實驗，都是在一次改一個因素、看結果怎麼變。

第一層：這份作業在課程地圖上的位置

老師前三週的投影片，是一條「表示字的方法越來越好」的路。下表照「想法一步一步變好」的順序排（老師 W3 開頭口頭回顧，也是從 one-hot 講到 TF-IDF）：

站 4、站 5 在投影片上的頁序是反過來的（Bengio 在 p64、分布假說在 p70）；這裡照「先有想法、再用神經網路做」的順序排。

所以作業的位置是：站 6、7。你在作業裡看到的缺點（apple 的鄰居全是公司或科技產品、bank 的兩種意思可能混在同一個詞向量裡），正是站 8 要解決的問題。考試如果問「詞向量的限制是什麼、後來怎麼解決」，就是要你把這條路講出來。

第二層：作業在證明什麼——一張「因素圖」

左邊是會影響字典好壞的 4 個因素，右邊是檢查字典好壞的 3 種方法。報告的每一題，都是「動左邊一個因素，從右邊看結果」。

第三層：怎樣的實驗才算數——控制變因

想知道「某個因素有沒有影響」，就要一次只改那一個，其他全部一樣。這叫控制變因。這份作業每個實驗都照這個原則設計：

最後還要確認一件事：同樣設定換 4 個亂數種子各跑一次，正確率差多少？這個差叫「雜訊」；差距比雜訊還小的，就不能下結論（第 9 節有手算，第 12 節實驗 ①）。

課堂補充：老師上課強調、考試可能考的 12 個觀念

結論：作業只用到 Word2Vec 的「結果」（訓練好的字典），但老師上課講了它「怎麼來的」。閉書考試會考你能不能把作業跟上課內容串起來。

怎麼讀：12 點分成四組——A 怎麼學出來、B 怎麼用和評估、C 有什麼限制、D 前處理。每一點都附投影片頁碼或上課時間，可以回去對照。

A 組：詞向量怎麼學出來（5 點）

1. 為什麼不用 one-hot：因為所有字都一樣「不像」

one-hot 是每個字一個格子，cat＝[1,0,0…]、dog＝[0,1,0…]。任兩個不同的字，相似度都是 0：cat 跟 dog 和 cat 跟 truck 一樣不像。

詞向量（英文 dense vector，跟 one-hot 那種大多是 0 的向量相對）的數字是學出來的，不是數出來的，所以相近的字可以有相近的數字。個別的數字（例如第 37 個數字代表什麼）不需要、也很難解釋。

依據：W1 p57–58、p64；W2 02:38:30–02:43:47（數字是學出來的、個別維度不需要解釋）；W3 00:03:20。

2. 分布假說：前後文相似 → 意思相似

「A word is characterized by the company it keeps」（Firth 1957）。注意定義是出現在相似的前後文，不是「兩個字常一起出現」：

• enjoy 和 like 很少出現在同一句，但「I ___ coding」兩個都能填，所以詞向量很近（W2 p24 的例子）。
• cat 和 dog 都出現在 lick、fur、eat、run 附近（W1 p70 的例子）。

依據：W1 p70、W2 p24。

3. Skip-gram 的訓練資料是「自己做出來的」

拿一句話，每個字輪流當中心字，跟它前後 window 範圍內的字配成一對：

句子：the cat licked its fur　　window = 1
(the, cat)  (cat, the)  (cat, licked)  (licked, cat)  (licked, its)  (its, licked)  (its, fur)  (fur, its)

這樣沒有人標註的文章，也能變成「給輸入、猜輸出」的訓練資料。老師說這是「訓練上的一種巧思」，後來 BERT 的克漏字也是同一個想法。window 越大，配對越多。

依據：W1 p82；W3 01:13:00–01:16:05。

4. Word2Vec 的網路長什麼樣：詞向量就是第一層的權重

結論：網路的第一層是一張表（矩陣 V），每個字一列。訓練完，這張表的每一列就是那個字的詞向量。

手算一次「查表」（前提：字典只收 4 個字 the、cat、licked、fur；每個詞向量只有 2 個數字；V 的數字是我編的）：

第 1 小步：中心字 cat 寫成 one-hot：[0, 1, 0, 0]（第 2 格是 1，其他是 0）。

第 2 小步：one-hot 乘 V，就是「每一列乘上對應的那一格，再加起來」：

0×(0.1, 0.3) ＋ 1×(0.8, 0.5) ＋ 0×(0.2, 0.9) ＋ 0×(0.7, 0.4) ＝ (0.8, 0.5)

乘 0 的列全部消失，只剩第 2 列。所以「one-hot 乘 V」其實就是把 V 的第 2 列拿出來——查表。

第 3 小步：網路拿 (0.8, 0.5) 去猜「cat 的前後文會出現哪些字」，猜錯就微調 V 的這一列。訓練完，V 的第 2 列就是 cat 的詞向量。

依據：W1 p83–90、W2 p37；W3 01:17:01–01:27:48。

5. Negative sampling（負取樣）：把「猜 30 萬選 1」改成「是不是真的前後文」

為什麼要它：第 4 點的 softmax 要對整本字典（30 萬字）每個字都算機率，非常慢。

手算例子（句子「the cat licked its fur」，中心字 cat）：

1. 正例：(cat, licked) 是真的出現在前後文 → 標「是」。
2. 負例：照字頻隨機抽幾個字（作業設 5 個，這裡用 2 個好算），例如 (cat, piano)、(cat, river) → 標「不是」。
3. 練習：電腦只練習判斷「這一對是不是真的前後文」（二元分類，叫 logistic regression）。每次只調 cat、licked、piano、river 這 4 個字的數字，不用碰其他 30 萬字，所以快很多。

依據：W2 p33、p38。作業設定 negative=5 就是這個。piano、river 是我舉的例子。

B 組：怎麼用、怎麼評估（3 點）

6. 類比看的是「相對關係」，不是「絕對位置」

老師原話：「我們看的並不是字的向量的絕對的向量的東西，而是一種對比的關係」。man→woman 和 king→queen 那條線「方向斜率」很一致，但不是完全一樣。

所以可能同時出現兩件事：類比題答得不錯（相對關係很好），但某個字的鄰居不是你想的（絕對位置不可靠）。老師說做完作業會發現「你所熟知的字」附近的向量不是你想的（W3 00:04:34–00:05:43）。

這次的結果：Wiki 20% 字典的 cat 前 5 名有 4 個是動物（rabbit、dog、mouse、pet），只有 sourpuss 一個怪字（推論：它是冷門字，見第 11 節觀察 ①、④）。所以這個現象在 cat 身上不明顯，在 king、bank 身上比較明顯（第 11 節）。

依據：W3 00:27:56–00:29:34、00:04:34–00:05:43、00:25:54；In [32]。

7. 維度、模型怎麼選：It depends

• 維度：通常幾百維，最多約 1K。老師：「設一萬好不好？可以，但是效果不會比較好」——不是越大越好，是預算問題（W2 02:40:08「我只有 Budget 的概念」；W3 01:04:18–01:05:33、01:22:16–01:22:22）
• CBOW vs Skip-gram：老師說 CBOW 訓練比較不直覺，「我們會做 Skip-gram」。（W3 01:12:12）
• GloVe vs Word2Vec：GloVe 用整份教材的共現統計（Global），Word2Vec 用局部視窗（Local）；老師說「一般來講我們會覺得 GloVe 比 word2vec 好」。（W1 p91；W3 01:28:57、01:32:25）
• 用哪一份：投影片寫「It depends」——有很多查不到的字或特殊領域（例如文言文）才自己訓練，而且要在自己的任務上試。（W1 p93）
• 怎麼評估：詞類比只是其中一種（直接測詞向量本身，叫 intrinsic evaluation）；還有 WordSim353（人工打分的字對相似度）、MTEB。（W1 p93–94；W3 01:33:03–01:33:39）

8. 相似不等於相關；領域外不等於字典外

投影片 W1 p94 列了兩句很適合拿來解釋作業的話：

• "Similar does not necessarily mean relevant."——詞向量很像，不代表真的相關。作業裡 good 跟 bad 相似度 0.70（In [33]），但意思相反。
• "Out-of-domain is not the same as out-of-vocabulary."——字典裡查得到，不代表學得好。第 3 題的公平比較就是例子：只看兩本字典都查得到的題目，論壇字典的語意類還是只有 22.10%（維基對照組 52.80%）。原因可能是論壇很少在「首都／國家」的前後文用這些字（推論）。

依據：W1 p94。

C 組：限制與後來的解法（3 點）

9. 字典裡沒有的字（OOV）、字首字尾、錯字 → FastText

Word2Vec、GloVe 每個字一個詞向量，沒看過的字就沒有。FastText 把字拆成字元片段（例如 un-、-ly、-ness），沒看過的字也能用片段拼出詞向量。老師說「這也會在 Assignment 1 討論」。

剛好對上作業：表現最差的小類裡（最差的是貨幣），有兩個就是反義字首（un-）和形容詞→副詞（-ly），論壇字典的鄰居也常常是錯字（slary）——這些都是看拼法可能幫得上忙的情況（推論：本作業沒有實際跑 FastText）。

依據：W1 p92、p94（Vector search is not robust to typos）；W3 01:29:49–01:32:55。

10. 一字多義 → 上下文詞向量（BERT、GPT）

bank（銀行／河岸）是老師投影片的例子。Word2Vec、GloVe 一個字只有一個詞向量，叫靜態詞向量；BERT、GPT 會看整句話給不同的詞向量，叫上下文詞向量。

依據：W1 p60、W2 p39–40。

11. 字的意思會隨時間改變

投影片 W2 p31 用 broadcast、network 舉例：同一個字在不同年代的鄰居不一樣（network 從電報、電線，變成網路、社群媒體）。所以用很久以前的教材訓練的字典（GloVe 是 2014 年的資料，外部知識），不一定符合現在的用法。我們自己訓練的 Wiki 20% 字典裡，apple 的鄰居有 iphone、tvos，反映這份維基教材的年代（推論）。

依據：W2 p31。

D 組：前處理（1 點）

12. 停用詞：老師說「現在一點都不重要，也不會去做」

老師原話：以前移除停用詞「很重要，但是現在一點都不重要也不會去做」（老師是在講搜尋引擎建索引時說的；本作業的停用詞實驗也支持同樣的結論）。以前是為了省 20～30% 的索引空間，而且「搞不好有一些很重要的東西被拿掉」。投影片也寫：「When to remove stop words? Avoid to broke the semantics.」

這是報告第 1 題「為什麼不刪停用詞」最好的課程依據。

依據：W2 01:39:50–01:40:54；W1 p47。

2　準備工作：要在哪裡跑、要裝什麼

結論：你有兩個選擇：Google Colab（老師推薦）或自己的電腦（我這次用的）。你的筆電比 Colab 免費版強很多，我建議在自己電腦跑，但交作業時要多附 requirements.txt、報告要寫電腦規格。

兩種做法比一比

「Colab 通常只有 2 核心、訓練會慢很多」是我根據 Colab 免費版一般配置推的，這次沒有實際在 Colab 上計時。

顯示卡用不用得到？

用不到。這份作業用的 Gensim 只用 CPU 算。你的 RTX 3060、Colab 的免費 GPU，對這份作業都沒有幫助。

在自己電腦上準備環境（照抄就好）

在作業資料夾打開終端機，一行一行貼：

py -3.12 -m venv .venv
.venv\Scripts\python.exe -m pip install gensim pandas scikit-learn matplotlib tqdm gdown nltk jupyter
.venv\Scripts\python.exe -m jupyter notebook

這三行在做什麼：

1. 建一個獨立的 Python 環境（.venv 資料夾）。好處是作業用的套件跟電腦裡其他東西分開，不會互相打架。
2. 裝作業要用的套件。
3. 打開 Jupyter（跟 Colab 長得很像的筆記本介面，只是在你電腦上跑）。

硬碟要準備多少空間

3　Part I：讀考卷、整理成表格（TODO1，配分 5%）

結論：把考卷的純文字檔，整理成一張三欄的表格：題目、大類（語意／語法）、小類。這一步沒有難度，重點是看懂考卷的格式。

為什麼要整理成表格：後面 TODO2、TODO6 要按大類、小類分開算正確率，所以每一題都要先標好它屬於哪一類。

考卷原本長這樣

: capital-common-countries        ← 冒號開頭：小類的「標題」，不是題目
Athens Greece Baghdad Iraq        ← 一行一題，四個字，第四個是答案
Athens Greece Bangkok Thailand
...
: capital-world                   ← 下一個小類開始
...

整份檔案有 14 個冒號標題。前 5 個屬於語意（Semantic），後 9 個屬於語法（Syntactic）。模板的註解已經提示了這件事。

程式（逐行講解）

questions, categories, sub_categories = [], [], []   # 準備三個空籃子
n_headers = 0          # 數「目前讀到第幾個標題」
current_sub = None     # 記住「目前在哪個小類」
for line in data:                        # 一行一行看
    if line.startswith(": "):            # 冒號開頭 → 這是標題
        n_headers += 1                   #   標題數 +1
        current_sub = line               #   記住新的小類名稱
        continue                         #   標題不是題目，跳過
    questions.append(line)               # 題目放進籃子
    categories.append("Semantic" if n_headers <= 5 else "Syntactic")   # 第 1～5 個標題底下 → 語意
    sub_categories.append(current_sub)   # 小類就是最近一次看到的標題

跑出來的結果

                         Question  Category                 SubCategory
0      Athens Greece Baghdad Iraq  Semantic  : capital-common-countries
1  Athens Greece Bangkok Thailand  Semantic  : capital-common-countries
2     Athens Greece Beijing China  Semantic  : capital-common-countries
3    Athens Greece Berlin Germany  Semantic  : capital-common-countries
4  Athens Greece Bern Switzerland  Semantic  : capital-common-countries

我另外比對過：這張表跟老師在 GitHub 上提供的 questions-words.csv 一模一樣（19,544 列）。所以這一步做對了。

4　Part II：借別人的字典考試（TODO2 配分 10%、TODO3 配分 5%）

結論：用史丹佛做好的 GloVe 字典去考 19,544 題，答對 63.11%。首都、國名→國籍很準（將近九成），貨幣、反義字首、形容詞→副詞很差（14%～24%）。t-SNE 圖上，有些男女配對黏在一起（boy／girl、man／woman），也有分很開的（brother／sister）。

TODO2 的程式

for analogy in tqdm(data["Question"]):                  # 一題一題做（tqdm 只是顯示進度條）
      word_a, word_b, word_c, word_d = analogy.lower().split()   # ① 先轉小寫，再切成四個字
      golds.append(word_d)                              # 正確答案先記下來，等一下對答案
      if all(w in model.key_to_index for w in (word_a, word_b, word_c)):   # 邊界情況 2：三個字都查得到嗎？
          preds.append(model.most_similar(positive=[word_b, word_c],       # ② b − a ＋ c，③ 找最近的字
                                          negative=[word_a], topn=1)[0][0])
      else:
          preds.append(None)                            # 查不到 → 這題算答錯

主流程：三小步

邊界情況 2（同第 1 節）：題目的字查不到

字典裡沒有的字叫 OOV（查不到的字）。a、b、c 有一個查不到，就沒辦法算 b − a ＋ c，所以程式先檢查（model.key_to_index 是字典收的所有字，w in model.key_to_index 就是問「這個字查得到嗎？」）；查不到就記 None，這題算答錯。

如果沒有這個檢查，most_similar 遇到查不到的字會直接報錯、整個程式停下來。GloVe 字典收了 40 萬字（外部知識），這次 0 題查不到（In [12] 印的）。

邊界情況 1（同第 1 節）：答案不能是題目自己的字

most_similar 會自動排除題目裡的 a、b、c 三個字。原因見第 1 節「邊界情況 1」：算出來的點有可能離題目自己的字很近（外部知識：gensim 的設計）。

一題怎麼打分

電腦答的第 1 名跟正確答案 d 一樣，這題就算對。19,544 題全部做完，答對題數 ÷ 19,544 就是正確率。一題真題從頭到尾的完整例子在第 7 節（用 Wiki 20% 字典，因為筆記本只對它印了錯題）。

考出來的正確率

為什麼有的很準、有的很差

上面的原因是根據詞向量的原理推論的；要真的確認，要看錯題分析（第 12 節）。

TODO3：t-SNE 圖

把家人／性別小類（筆記本上叫 family）的 46 個字，從 100 維壓成 2 維畫出來。下圖是用跟筆記本 In [14] 完全一樣的設定重畫的（點的位置相同），只多加了圈和顏色，方便你找：

怎麼看這張圖：

• 有些男女配對黏在一起（灰線）：boy／girl、man／woman、dad／mom，還有 bride／groom、policeman／policewoman。但 brother／sister、uncle／aunt、son／daughter 沒有黏在一起。
• 有按「角色」分的群：皇室（藍圈）、「繼」字輩（綠圈）、代名詞（紅圈）、複數（褐圈）各一群。中間那一大塊則大致是左邊男性（son、brother、uncle）、右邊女性（daughter、mother、aunt）；例外是 husband，它在右邊跟 wife 黏在一起。
• 這張圖上「角色」和「性別」都看得到分群（推論：t-SNE 每次跑可能不同，這裡只看這一次）。另外，這是 2 維的圖，不能直接拿來推論 100 維裡的加減法。

5　Part III 準備教材：下載維基百科、抽 20%（TODO4，配分 5%）

結論：維基百科有 5,623,655 篇文章，太多了，所以隨機抽 20% 來當教材。重點是一篇一篇讀、讀到就決定要不要留，不要整份讀進記憶體。

助教給的資料長什麼樣

助教已經把維基百科「洗乾淨」了：拿掉網頁語法、標點，全部轉小寫，字和字之間用空白隔開。每一行就是一整篇文章。

0 anarchism is political philosophy and movement that is against all forms of authority and seeks to abolish the institutions ...
3 alabama is state in the southeastern region of the united states it borders tennessee to the north georgia to the east ...
5 abraham lincoln february april was an american lawyer politician and statesman who served as the th president of the united states from until his assassination in he led the united states through the ...

分成 11 個壓縮檔，加起來 6.93 GB（筆記本 In [18] 那一格印的）。前 10 個檔各 562,365 篇（模板註解寫的），最後一個只有 5 篇（推算：5,623,655 − 10 × 562,365 ＝ 5）。

注意上面第 5 行（abraham lincoln）：「february april was」「the th president」中間的日期和數字被拿掉了；第 0 行「anarchism is political philosophy」、第 3 行「alabama is state」少了單一字母的 a。原因是助教用 gensim WikiCorpus 的預設參數清資料：模板在 TODO4 前面寫「words with one character were discarded」（只有一個字母的字被丟掉）；筆記本 In [27] 的註解也寫了這個預設「只留 2～15 個字母的英文字」，所以數字（不是字母）也會被拿掉。

抽樣的程式（逐段講解）

SAMPLE_RATIO = 0.20
random.seed(42)        # ① 固定亂數種子
...
for part in wiki_parts:                          # ② 11 個壓縮檔依序讀
    with gzip.open(part, "rt", encoding="utf-8") as f:
        for line in f:                           # ③ 一次只讀一行（一篇文章）
            n_total += 1
            r = random.random()                  # ④ 擲一個 0～1 的亂數
            if r < SAMPLE_RATIO:                 #    小於 0.2 就留下
                output_file.write(line)
            for ratio, fh in extra_outputs.items():   # ⑤ 同一個亂數，順便做 5%、10%
                if r < ratio:
                    fh.write(line)

第 ⑤ 步畫成圖：同一個亂數決定三份樣本

每篇文章只擲一次亂數 r。下圖四顆星是四篇文章的例子（r 是我編的）：

• 文章 A：r＝0.03，比 0.05、0.10、0.20 都小 → 三份樣本都有它。
• 文章 B：r＝0.08，比 0.05 大、比 0.10 小 → 只進 10%、20%。
• 文章 C：r＝0.15 → 只進 20%。
• 文章 D：r＝0.62 → 都不進。

所以「5% 裡的每一篇，一定也在 10% 裡」，不可能有例外。

跑出來的結果

articles: total 5,623,655, sampled 1,124,733 (20.00%)
wiki_sampled_5.txt 1.04 GB
wiki_sampled_10.txt 2.08 GB
wiki_sampled_20.txt 4.16 GB

花了 約 3 分鐘（186 秒，執行紀錄 run_cells.log）。

6　Part III 自己編字典：前處理＋訓練 Word2Vec（TODO5，配分 10%）

結論：前處理只做一件事（只留純英文字母的字），而且刻意不做「移除停用詞」和「詞形還原」，因為它們會把考卷的答案弄不見。訓練用 Skip-gram，參數盡量跟 GloVe 一樣，比較才公平。

前處理：做了什麼、沒做什麼

訓練參數：每一個在調什麼

W2V_PARAMS = dict(vector_size=100, window=5, sg=1, negative=5, sample=1e-3,
                  min_count=5, max_final_vocab=300_000, epochs=5, workers=15, seed=42)

例外 1：收錄門檻被自動調高（設 5，實際 30）

因為 max_final_vocab 規定字典最多收 30 萬字，出現 5 次以上的字卻超過 30 萬個。gensim 就自動把門檻往上調，直到字數壓到 30 萬以內。

結果：20% 維基實際是出現 30 次以上才收（TODO5 輸出有印）；10% 是 16 次、5% 是 9 次（In [31]）。教材越大，門檻被調得越高。

例外 2：種子固定了，結果還是會小幅變動

用 15 個執行緒同時訓練時，大家更新詞向量的先後順序每次不同，所以就算種子一樣，結果也會差一點點。差多少，第 12 節實驗 ① 有量（整體約 1 個百分點）。

抽樣用的 random.seed(42) 只有一條執行緒，可以完全重現。

跑出來的結果

wiki_sampled_20.txt: removed non-[a-z] tokens 4,828,696 of 670,881,822 (0.72%)
20% wiki tokens after preprocessing: 666,053,126
trained on wiki_sampled_20_clean.txt: 37.9 min, vocab 299,405, effective min_count 30

7　Part III 用自己的字典考試（TODO6 配分 10%、TODO7 配分 10%）

結論：自己用 20% 維基百科訓練的字典（本文叫 Wiki 20% 字典），正確率 48.39%，比 GloVe 字典低約 15 個百分點。語法類掉得比語意類多。但有一個小類反而贏 GloVe：美國城市在哪州。

程式

跟 TODO2 一模一樣，只是把 model（GloVe 字典）換成 my_wv（程式裡的變數名，就是本文的 Wiki 20% 字典）。另外模板在 TODO6 後面沒有放評分的格子，所以我在同一格（In [23]）最後補了印成績的程式（照抄 Part II 評分格的寫法）。不然看不到成績。

先看一題真的題目：從頭到尾怎麼被打分

在看 19,544 題的正確率之前，先跟著一題走完。這題來自筆記本 In [38] 的錯題分析（家人／性別小類）：

boy girl father mother

1. 拆字：a＝boy、b＝girl、c＝father，正確答案 d＝mother。
2. 算 b − a ＋ c：用 Wiki 20% 字典算 girl − boy ＋ father。
3. 排除題目自己的字：boy、girl、father 不能當答案。
4. 找最近的字：第 1 名是 stepmother（繼母），mother 排第 2。
5. 打分：只看第 1 名 → stepmother ≠ mother，這題算錯。（如果改成「前 3 名有就算對」，這題就算對——第 12 節實驗 ④。）
6. 推廣：19,544 題每一題都照做，答對題數 ÷ 19,544 ＝ 正確率 48.39%。

跟 GloVe 比一比

為什麼比 GloVe 差

語法類為什麼掉比較多？（推論）比較級、最高級、-ing 這些字形，在百科全書裡比較少用（百科很少寫「最好的」「正在跑」）；GloVe 混了新聞，可能因此比較多。第 10 節的論壇實驗顯示「文體會影響語法類」，但論壇是網友口語，不是新聞，所以不能直接證明新聞的效果。而且 GloVe 跟我們同時差了方法、教材字數、教材種類，無法分開。

美國城市在哪州為什麼反而贏？維基百科每一個美國城市都有一篇文章，開頭常常是「X 是 Y 州的一個城市」，這種句型很多（推論，沒有數過）。我們讀的 100% 是維基百科，GloVe 混了新聞，所以這一類我們的比例比較高。（這是推論，沒有直接驗證。）

TODO7：Wiki 20% 字典的 t-SNE 圖

一樣是用跟筆記本 In [24] 完全相同的設定重畫、只加了圈和顏色：

可能的解釋：stepfather 這類字在維基百科出現得不多，我們的教材又只有 GloVe 的九分之一，還學不出「繼父」跟「父親」的差別。（推論；t-SNE 每次跑可能不同，這只是一次的圖。）

8　報告怎麼寫：總原則＋第 1 題（配分 5%）

結論：報告每一題都照「數字 → 觀察 → 原因」三步寫。第 1 題要交代三件事：用了哪本字典、做了哪些前處理（和刻意沒做的）、參數怎麼設。

為什麼要照這三步：助教說明報告時，要求先「展示結果」，再「解釋、分析為什麼會有效能上的差別」（助教影片 00:18:56–00:19:16，以第 3 題為例）。

總原則：每一題都這樣寫

只有數字沒有解釋，就沒有回答「為什麼」；只有解釋沒有數字，就沒辦法證明你的說法（推論）。

第 1 題：要點

9　報告第 2 題：讀 5%、10%、20%，差多少？（配分 10%）

結論：教材越多，整體正確率越高，但教材字數每多一倍，正確率只多約 1 個百分點（46.12% → 47.15% → 48.39%）。語法類的進步超過雜訊；語意類加總的進步比雜訊小，分不出來。

先學會一把尺：雜訊

為什麼要先有這把尺：同樣的教材、同樣的設定，只換亂數種子重新訓練，正確率也不會一模一樣（第 6 節例外 2）。如果兩個結果的差，比「換種子造成的差」還小，就分不出是真的有差、還是換種子造成的。

定義（照做）：5% 教材、設定全同，只換種子（42、1、2、3）各訓練一次，共 4 次。4 個正確率的最高 − 最低，就叫「雜訊」。

手算一次（數字來自 In [34]）

第 1 小步：4 次的整體正確率是 46.12、46.05、47.10、46.34。最高 47.10，最低 46.05。

第 2 小步：相減：雜訊 ＝ 47.10 − 46.05 ＝ 1.05 個百分點。

第 3 小步：拿來比：5% → 20% 整體差 48.39 − 46.12 ＝ 2.27。2.27 ＞ 1.05，所以算「超過雜訊」。

反例（語意類）：4 次是 55.35、54.18、55.98、54.72，雜訊 ＝ 55.98 − 54.18 ＝ 1.80。5% → 20% 只差 56.70 − 55.35 ＝ 1.35。1.35 ＜ 1.80，所以不算。

規則：兩個結果的差（不管變好或變壞），要比雜訊大，才說「超過雜訊」。每個小類各有自己的雜訊（In [34] 最右欄）。

看成績之前的前提：三份教材不只差在字數

5%、10%、20% 是同一批文章抽出來的（第 5 節），但有兩個附帶差異，也會影響正確率：

1. 收錄門檻不同：9 次、16 次、30 次（第 6 節例外 1）。
2. 5% 有 107 題查不到字，直接算答錯；10%、20% 是 0 題。107 題佔 19,544 題的 0.55%，所以 +2.27 個百分點裡，最多 0.55 個百分點可能來自「查得到的字變多」（推算的上限：假設這 107 題到了 20% 全部答對）。

正確率（全部 14 個小類都列出來）

判斷欄的讀法：「明顯超過」＝差距至少是雜訊的 1.5 倍；「超過，只當參考」＝有超過雜訊，但不到 1.5 倍（雜訊只用 4 個種子、只在 5% 量過，剛好超過的不太可靠）；「沒超過」＝分不出來。這條 1.5 倍是本說明額外加的保守讀法，變好、變壞一律照同一條；第 10、12 節的表照筆記本的 beyond noise?，只看有沒有超過；剛好超過（不到 1.5 倍）的，會在文中註明「只當參考」。數字來自 In [31]、In [34]。（邊界例：動詞第三人稱 3.10 ÷ 2.07 ＝ 1.498，差一點才到 1.5 倍，所以判「只當參考」。）

報告要點：數字 → 觀察 → 原因

10　報告第 3 題：換一種教材（配分 15%，最高）

結論：同樣字數下，論壇教材讓語意類大輸（12.84% vs 45.77%）、部分語法小類反而贏——教材種類決定字典學到什麼（單次實驗）。

為什麼：百科全書一直寫地理和國家，網友一直講「最便宜、比較好、正在找」。細節和數字在下面 3.1、3.3。

這一題在問什麼

拿一份「不是維基百科」的文字來訓練字典，考同一張考卷，然後回答三件事：

1. 3.1 成績如何（配分 5%）
2. 3.2 你選的教材是什麼、跟維基差在哪：大小、主題、結構（配分 5%）
3. 3.3 成績為什麼變好或變差（配分 5%）

程式一定要放在報告下面，沒放這題 0 分（作業規格 PDF p31）。

3.2 我選的教材：卡達生活論壇（Qatar Living）

來源：SemEval 2016／2017 Task 3 的公開資料（外部知識），Gensim 可以直接下載。共 189,941 個討論串；標題、內文、每則留言各算一段，刪掉少於 3 個字的段落後，留下 2,118,254 段（筆記本輸出寫作 posts）。

關鍵設計：為什麼要多做一個「維基對照組」

論壇只有 7,292 萬字，維基 20% 有 6.66 億字，差了 9 倍（推算：6.66 億 ÷ 7,292 萬 ≈ 9.1）。如果直接拿論壇跟維基 20% 比，論壇輸了，你分不出是：

• 因為教材字數少（量的問題），還是
• 因為內容不一樣（種類的問題）。

所以我從維基裡切出剛好一樣多字（7,292 萬字）的一份當「維基對照組」，用一模一樣的參數訓練。這樣兩邊主要只差在教材種類，比較才公平。

下面三張表各回答一個問題：① 論壇字典考幾分？（3.1 成績）② 論壇字典是不是很多字根本沒收？（覆蓋率）③ 把「有字沒收」的題目拿掉，只比兩本字典都查得到的 15,684 題，論壇還是輸嗎？（公平比較）③ 的答案是「語意類還是輸」，所以差別不只是缺字。

3.1 成績

「誰贏」照筆記本 beyond noise? 的規則：差距超過該小類的雜訊才判（只看有沒有超過，不分是不是 1.5 倍）。但雜訊是在 5% 維基（1.66 億字）量的；論壇和維基對照組的教材更小，雜訊可能更大，所以「剛好超過雜訊」的語法類 −1.34 只當參考。

答案覆蓋率：字典裡有沒有這些字

「覆蓋率」＝這個小類的題目裡，四個字全部都在字典裡的比例。答案不在字典裡，再聰明也答不出來。

小例子（假設的）：4 題全世界首都，其中 2 題的四個字論壇字典都收了 → 覆蓋率 ＝ 2 ÷ 4 ＝ 50%。另外 2 題一定答錯。

公平比較：只算兩本字典都查得到的題目

論壇字典比較小、很多字查不到，這本身就會讓論壇正確率變低。為了把這個因素排除，筆記本另外只算「四個字在兩本字典都查得到」的 15,684 題：

學到什麼：就算字都查得到，論壇語意類還是大輸、最高級和 -ing 還是大贏。所以差異不只是「論壇字典小、查不到字」，而是兩份教材的內容真的不一樣。

同一個字，兩本字典學到的鄰居

證據：同樣的字，在兩份教材裡出現幾次

猜原因之前，先算數字。下面是「每 100 萬個字裡出現幾次」（兩份教材一樣大，可以直接比）。

怎麼換成次數（推算，筆記本只印每 100 萬字）：cheapest 在論壇每 100 萬字 27.50 次，論壇教材共 72.92 個「100 萬字」，所以大約出現 27.50 × 72.92 ≈ 2,005 次；維基對照組 0.96 × 72.92 ≈ 70 次。27.50 ÷ 0.96 ≈ 28.6 倍。

這張表在筆記本第 3 題的程式區（「第 3 題補充證據」那一格，畫面上是 In [30]），數字照抄筆記本輸出。

3.3 為什麼（這段就是報告要寫的內容）

11　報告第 4 題：挑字，各找最像的 5 個字（配分 10%）

結論：「最像的字」（鄰居）常常不是人想的那樣，原因可以分成四種（下面觀察 ①～④）；觀察 ⑤ 是兩個比較「正常」的字，當對照。

挑字的原則（這也是加分點）

結果

兩本字典的相似度尺度不同，只能比「各自的排名」，不能拿相似度互相比大小。

觀察 ①：冷門字會擠進鄰居名單

筆記本印出了每個鄰居在 20% 維基裡出現幾次：

其中 nangklao、chlothar、suryavarman、bodawpaya、ameriprise、indymac、onewest 只出現 34～86 次，在 30 萬字的字典裡屬於最冷門的一群（收錄門檻是 30 次）。（推論）一個字只出現幾十次，而且幾乎每次都在國王或銀行的文章裡，它的詞向量就被拉到 king、bank 旁邊。

證據：只在「最常見的 5 萬個字」裡找鄰居，冷門字被排除，king 變成 queen, throne, prince, reigned, ruler；bank 變成 savings, bancorp, banking, lenders, jpmorgan——合理多了。

觀察 ②：反義詞很近

good 的鄰居有 bad，相似度 0.70（In [33]）。「這部電影很 ___」兩個字都能填，前後文相似，詞向量分不出正反（推論）。

觀察 ③：一字多義被常見的意思蓋掉

• apple：前 15 名全部是公司或科技產品（blackberry、iphone、tvos、ipad、android……；goldieblox 是玩具公司，外部知識；raspberry 在這裡是 Raspberry Pi 小電腦，外部知識）。apple 跟 banana 只有 0.41、跟 fruit 0.37，跟 microsoft 卻有 0.65。
• bank：前 5 名都是金融，但 bank 跟 river（河）0.49，反而比跟 money（錢）的 0.40 還高。（推論）所以河岸的意思可能沒有消失，而是跟銀行的意思混在同一個詞向量裡，只是排不進前 5。money 是很泛用的字，這組比較只是旁證。

這就是「一個字只有一個詞向量」的限制。老師投影片 W1 p60 正是用 bank 舉例；要解決要用上下文詞向量（BERT，W2 p39）。

觀察 ④：鄰居反映教材內容

先講 cat 的驗證結果：cat 的鄰居大多還是動物（rabbit、dog、mouse、pet），只有 sourpuss 一個怪字。所以老師說的現象在 cat 身上不明顯，在 king、bank 身上比較明顯（觀察 ①）。

那 sourpuss 是什麼？筆記本回到教材搜尋，印出的前 5 處前後文裡，有 2 處是卡通角色名單（「toon characters including … gandy goose sourpuss dinky duck …」），其餘是字源說明、電視集名、樂團名。（Sourpuss 是老卡通 Terrytoons 裡的一隻貓——這點是外部知識，教材裡沒寫。）它只出現 64 次、而且（推論）5 處裡有 2 處和動物卡通角色並列，可能因此被拉到 cat 旁邊。

觀察 ⑤：taiwan 和 computer

taiwan 的鄰居兩本字典都有 taipei、china；GloVe 字典另外是 mainland、taiwanese、hong，Wiki 20% 字典另外是 guangdong、hainan、fujian 三個中國沿海省份（省份是外部知識）。（推論）教材常把台灣和兩岸、華南地區放在同樣的前後文裡寫，所以詞向量很近。computer 的鄰居兩邊都是同類詞（computers、software、hardware），是 7 個字裡最「乖」的一組（推論：一般名詞、用法單一時，詞向量比較符合直覺；這裡只看了 computer 一個字）。

12　報告第 5 題：加分實驗（配分 5%，但最能拉開差距）

結論：我做了 8 個加分實驗（實驗 ①～⑧，對照筆記本第 5 題 (a)～(h)，見用語表）。最有價值的是：①先量雜訊（讓後面每個比較都知道算不算數）；②停用詞實驗（整體沒超過雜訊、家人／性別卻掉 14.82 個百分點，證明只看整體會被騙）；③調參數（300 維只用 5% 教材就贏過 Wiki 20% 字典）；⑤錯題分析（45% 的錯題，正確答案就在第 2～10 名）。實驗 ⑧ 覆蓋率在第 10 節用到。

每個實驗都照同一個格式：想知道什麼 → 怎麼做 → 結果 → 學到什麼。

實驗 ①：先量雜訊——同樣的設定，正確率會差多少？（第 5 題 (a)，In [34]）

學到什麼：整體的雜訊約 1 個百分點，小類的雜訊最大到 4.74 個百分點。所以後面每個比較，筆記本都自動印一欄「beyond noise?」，差距沒超過雜訊的，不下結論。這是讓報告可信的關鍵。

下圖把後面實驗 ②③ 的整體正確率放到這把尺上看：粉紅帶子是「基準 46.12 ± 雜訊 1.05」，落在帶子裡的分不出來，落在帶子外的才算真的有差。

實驗 ②：移除停用詞到底會怎樣？（第 5 題 (b)，In [35]）

考卷裡有 206 題含停用詞：家人／性別 86 題（he、she、his、her）、形容詞→副詞 62 題、貨幣 58 題（Korea won 的 won——NLTK 把它當成 won't 的一部分，外部知識）。

表裡列了 In [35] 所有「超過雜訊」的小類，加上整體、語意類；其他沒超過雜訊的小類見 In [35]。查不到字只多 177 題、不是 206 題：206 題裡有些在保留版本就已經查不到了（推論，筆記本沒有印重疊題數）。

超過多少（用第 9 節的讀法）：語法類 1.31 倍、名詞複數 1.25 倍、國名→國籍 1.30 倍、過去式 1.32 倍只是剛好超過（只當參考）；家人／性別 3.13 倍、動詞第三人稱 5.44 倍、比較級 1.51 倍是明顯超過。（推算：差距 ÷ 該列雜訊。）

實驗 ③：調參數——一次只改一個設定（第 5 題 (c)，In [36]）

三個整體差距（4.37～11.32 個百分點）都遠大於雜訊 1.05。

實驗 ④：前 k 名正確率（第 5 題 (d)，In [37]）

定義（照做）：電腦列出相似度最高的 k 個字，正確答案只要在這 k 個裡面，這題就算對。k＝1 就是原本的正確率。

用第 7 節那一題走一次：boy girl father mother，電腦第 1 名 stepmother（錯）、第 2 名 mother（對）。

19,544 題都這樣算，就得到下表：

學到什麼：Wiki 20% 字典從第 1 名到前 3 名，正確率多了 13.14 個百分點（GloVe 多 10.57）。很多題不是「完全不懂」，而是「差一點」——呼應老師說 queen「可能在前三名」（W3 00:31:24）。

實驗 ⑤：錯題分析——電腦答錯時猜了什麼？（第 5 題 (e)，In [38]）

Wiki 20% 字典答錯 10,087 題。其中 0 題是因為查不到字，4,563 題（45%）正確答案在第 2～10 名。錯法很有規律：

學到什麼：錯題分析把「正確率低」拆成好幾種原因：有的是詞向量的缺點（反義詞），有的是教材的偏差，有的根本是考卷的問題（拼法）。這種拆解，就是老師說考試要看的「做作業的過程跟 insight」（W3 02:48:55）。

實驗 ⑥：換一種算答案的公式（3CosMul）（第 5 題 (f)，In [39]）

實驗 ⑦：同一批字，PCA 和 t-SNE 畫出來一樣嗎？（第 5 題 (g)，In [40]）

實驗 ⑧：覆蓋率（第 5 題 (h)，In [41]）

每個小類有多少題「四個字都在字典裡」。GloVe 字典和 Wiki 20% 字典的貨幣都是 100%，所以它們答錯貨幣題不是因為查不到字。這個量法在第 10 節比論壇時最有用（論壇字典的貨幣只有 39.0%）。

總結論：整份作業學到的 8 件事

結論：詞向量真的能抓到字的關係，但它是從「前後文相似」學來的，所以讀多少、讀什麼、怎麼整理、怎麼學都可能改變它學到的東西；它也有一字一向量的根本限制。下面 8 件事，每一件都有筆記本的數字當證據。

考前背這一句
詞向量根據「分布假說」，從前後文學出每個字的詞向量，能用加減做類比；但它學的是前後文而不是意思，所以會受教材的量、種類、前處理與訓練設定影響，分不出反義詞和一字多義，冷門字也會擠進鄰居——這就是後來需要 FastText（處理沒看過的字）和 BERT（看整句前後文）的原因。

13　報告第 6 題（AI 使用說明）＋怎麼交出去

結論：老師允許用 AI，沒寫 AI 使用說明扣 10 分（用了不扣）。所以第 6 題要如實寫出「程式和報告由 Claude 完成」，程式每一格也要標註。最後把 .ipynb 和 requirements.txt 壓成 zip，檔名照規定，上傳 NTU COOL。

規定怎麼說

繳交版已經做好的

• 每一格 AI 寫的程式，最上面都有 # [Generative AI] The code in this cell was generated by Claude (Anthropic).（資料載入的格子也有，並保留模板原本的說明註解）。
• 報告第 6 題已經照實寫好（見下面），並且附上教材和論文的出處連結。

報告第 6 題的內容（繳交版）

I used Claude (Anthropic) through Claude Code on my own computer for this assignment.
• Code: All code added to the template was generated by Claude — TODO1–TODO7, the data-loading changes, the code for Question 3, all extra experiments below the report, and the section headings below the report. Every AI-generated code cell has a # [Generative AI] comment at the top.
• Experiment design: The choice of the forum corpus, the same-size Wikipedia control, the noise measurement and the other extra experiments were proposed by Claude.
• Execution: Claude ran the whole notebook on my computer (environment above). All numbers and figures in the report come from the outputs of this notebook.
• Report: The report text, including the analysis and tables, was written by Claude based on these outputs.
• What I did: （這一行要你自己照實填，例如「I read the explanation document and checked each section against the notebook outputs.」——只寫真的做過的事）

執行環境（報告開頭，已填好）

Running environment: Local — Windows 11 (10.0.26200), CPU: Intel Core i7-11800H (8 cores / 16 threads), RAM 16 GB
Python version: 3.12.3

requirements.txt

gdown==6.4.1
gensim==4.4.0
matplotlib==3.11.2
nltk==3.10.3
numpy==2.5.3
pandas==3.0.6
scikit-learn==1.9.1
scipy==1.18.1
smart_open==8.0.2
tqdm==4.70.1

打包上傳

1. 把 NLP_HW1_submission_draft.ipynb 改名成 NLP_HW1_學校_學號.ipynb（學校代碼和學號見拍板卡——HW1\_work\2026-10-04-nlp-hw1-submission\06-decision-card.html，是我列給你回答的 6 個問題）。
2. 把它和 requirements.txt 一起壓縮，壓縮檔叫 NLP_HW1_學校_學號.zip。zip 裡只放這兩個檔。
3. 上傳前用 VS Code 打開那個 .ipynb，確認每一格下面都有輸出、圖都在。
4. 上傳 NTU COOL。

14　考試可能怎麼問（從作業出題）

結論：老師說考試「可能會有很大部分是從作業你做的過程跟你的 insight」，「不太會去考叫你算 BM25」（W3 02:48:36–02:49:09）。下面是從這份作業整理出來的題目，每一題都附「答案要點」。先自己想答案，再打開看。

這些是我根據老師上課說的方向和作業內容推測的，不是考古題。

觀念題

作業過程題

15　你接下來要做的事

結論：程式和報告已經做好，也經過三輪、共 8 位獨立審查員檢查。你要做的是三件事：看懂、照實補上你做的部分、打包交出去。最重要的是看懂——考試會考。

步驟清單

16　我實際做的時候遇到的問題（你可能也會遇到）

結論：真的會卡住的地方都不是演算法，而是「環境」和「資料」：下載、舊程式不相容、Windows 指令不同。每一個都有簡單的解法。

本文件的每一項判斷都來自實際查證（在本機實際執行完整筆記本、讀每一格的輸出、回查訓練語料、對照老師投影片與上課逐字稿），程式與報告經三輪、共 8 位獨立審查員檢查後修正；這份說明另依教學文件規範審查四輪（07a 全面審查、07b／07c／07d 逐輪驗證修正），事實錯誤與前後矛盾都已修正並經最後一位審查員確認為 0；最後一輪指出的 3 個小問題也已修正。文中標「推論」的地方，是根據原理推的解釋，沒有另外做實驗驗證；標「外部知識」的地方，是筆記本和課程以外的一般知識；標「推算」的數字，是用筆記本輸出的數字相除得到的。