9　報告第 2 題：讀 5%、10%、20%，差多少？（10%）

結論：資料越多，整體越好，但每多一倍只多約 1 分（46.12 → 47.15 → 48.39）。語法類的進步是真的（超過雜訊），語意類的進步太小、分不出是不是雜訊。

先學會一把尺：雜訊

同樣的設定、只換亂數種子，訓練 4 次，結果不會一模一樣（第 12 節實驗 ①）。最高和最低差多少，就叫「雜訊範圍」。

規則：兩個結果的差距，要比雜訊範圍大，才能說「真的有差」。比雜訊小的，可能只是運氣。

成績

報告要點：數字 → 觀察 → 原因

11　報告第 4 題：挑字，各找最像的 5 個字（10%）

結論：「最像的字」常常不是人想的那樣。四個最重要的觀察：①冷門字會擠進鄰居名單（king 的第一名是只出現 34 次的泰國國王）；②反義詞很近（good 的鄰居有 bad）；③一字多義被常見意思蓋掉（apple 前 15 名全是科技）；④鄰居反映教材內容（cat 的鄰居有只出現 64 次的 sourpuss）。

挑字的原則（這也是加分點）

結果

兩個模型的相似度分數尺度不同，只能比「各自的排名」，不能拿分數互相比大小。

觀察 ①：冷門字會擠進鄰居名單

筆記本印出了每個鄰居在 20% 維基裡出現幾次：

這些字都只出現幾十次（34～86 次），在 30 萬字的字典裡屬於最冷門的一群（字典門檻是 30 次）。（推論）一個字只出現幾十次，而且幾乎每次都在國王或銀行的文章裡，它的座標就被拉到 king、bank 旁邊。

證據：只在「最常見的 5 萬個字」裡找鄰居，冷門字被排除，king 變成 queen, throne, prince, reigned, ruler；bank 變成 savings, bancorp, banking, lenders, jpmorgan——合理多了。

觀察 ②：反義詞很近

good 的鄰居有 bad，相似度 0.70。「這部電影很 ___」兩個字都能填，前後文相似，詞向量分不出正反。

觀察 ③：一字多義被常見的意思蓋掉

• apple：前 15 名全部是科技相關（blackberry、iphone、tvos、ipad、android……；raspberry 在這裡是 Raspberry Pi 小電腦）。apple 跟 banana 只有 0.41、跟 fruit 0.37，跟 microsoft 卻有 0.65。
• bank：前 5 名都是金融，但 bank 跟 river（河）0.49，反而比跟 money（錢）的 0.40 還高。（推論）所以河岸的意思可能沒有消失，而是跟銀行的意思混在同一個座標裡，只是排不進前 5。money 是很泛用的字，這組比較只是旁證。

這就是「一個字只有一組座標」的限制。老師投影片 W1 p60 正是用 bank 舉例；要解決要用上下文詞向量（BERT，W2 p39）。

觀察 ④：鄰居反映教材內容

cat 的鄰居 sourpuss 是什麼？筆記本回到教材搜尋，印出的前 5 處上下文裡，有 2 處是卡通角色名單（「toon characters including … gandy goose sourpuss dinky duck …」），其餘是字源說明、電視集名、樂團名。（Sourpuss 是老卡通 Terrytoons 裡的一隻貓——這點是外部知識，語料裡沒寫。）它只出現 64 次、而且（推論）5 處裡有 2 處和動物卡通角色並列，可能因此被拉到 cat 旁邊。

觀察 ⑤：taiwan 和 computer

taiwan 在兩個模型的鄰居都是中國的地名與省份（taipei、china、guangdong、fujian），反映語料中的地理與歷史脈絡。computer 的鄰居兩邊都是同類詞（computers、software、hardware），是 7 個字裡最「乖」的一組——一般名詞、用法單一時，詞向量最符合直覺。