[人工智慧導論](https://app.notion.com/p/3e6fc631b0308131b213f0a3d93fe91d) › [W4（10/1）](https://app.notion.com/p/3ecfc631b03081e895d2c5f3aec0353e) › 01｜Ch12 Part 2（2021 錄影）影片 [0:00:01–0:15:54](https://www.youtube.com/watch?v=iuAeHIfOscA&t=1s)｜投影片 Ch12 p.11、p.18–26｜上一章 無｜下一章 [02 用聯合分布推論與獨立性（0:15–0:41）](https://app.notion.com/p/3ecfc631b03081bdb8b1e658c224b992) ## 重點 - 隨機變數（random variable）是「值會隨情況變」的變數，名字大寫開頭；它所有可能值的集合叫 domain。 - 粗體 **P** 是一整排機率（分布），細體 P 才是一個機率；大小寫、粗細體都有意義，老師特別要大家注意。 - 連續變數寫出來的 P(X=x) 是「密度」不是機率；剛好等於某一點的機率其實是 0。最後用兩條公理推出 P(¬a)=1−P(a) 和排容原理。 ## Exam-ready - **Random variable**: "Variables in probability theory are called random variables and their names begin with an uppercase letter."（Ch12 p.18） - 中文：機率裡的變數叫隨機變數，名字一律大寫開頭（例如兩顆骰子的總點數 Total、第一顆骰子 Die1）。白話：大寫＝整個變數，小寫＝它的某一個值。難字：random variable（隨機變數）、uppercase（大寫）。 - **Domain**: "Every random variable has a domain—the set of possible values it can take on."（Ch12 p.18） - 中文：每個隨機變數都有一個 domain，就是它可能取到的所有值的集合；例如 Total 是 {2,…,12}、Die1 是 {1,…,6}。白話：這個變數「能填的答案清單」。難字：domain（值域）、take on（取值）。 - **Boolean random variable**: "By convention, propositions of the form A=true are abbreviated simply as a, while A=false is abbreviated as ¬a."（Ch12 p.18） - 中文：Boolean 變數只有 true／false；習慣上「A=true」直接簡寫成小寫 a，「A=false」寫成 ¬a。白話：小寫 a 就是「a 成立」，¬a 就是「a 不成立」。難字：convention（慣例）、abbreviated（簡寫）。 - **Probability distribution: P(Weather) = ⟨0.6, 0.1, 0.29, 0.01⟩**: "the bold P indicates that the result is a vector of numbers."（Ch12 p.20）【老師強調】(0:12:41) - 中文：粗體 **P** 表示結果是一整個向量（一排數字），Weather 的每個值各一個機率，這叫 Weather 的機率分布；細體 P 才是單一機率。白話：粗體是一整排，細體是一個。難字：bold（粗體）、vector（向量）。 - **Conditional distribution**: "P(X | Y) gives the values of P(X = xi | Y = yj) for each possible i, j pair."（Ch12 p.20） - 中文：粗體 **P**(X | Y) 不是一個機率，而是「Y 的每個值 yj、X 的每個值 xi」每一組配對的條件機率全部列出來。白話：一整張條件機率表。難字：conditional（條件的）、pair（配對）。 - **Probability density function: P(x) = lim_{dx→0} P(x ≤ X ≤ x + dx)/dx**: "the intuitive definition of P(x) is the probability that X falls within an arbitrarily small region beginning at x, divided by the width of the region"（Ch12 p.22）【老師強調】(0:09:23) - 中文：連續變數寫的 P(x) 是機率密度：X 落在「從 x 開始、任意小的一段區間」的機率，除以那段區間的寬度。所以它不是機率，剛好等於某一點的機率是 0。白話：它說的是「這附近有多擠」。難字：density（密度）、arbitrarily small（任意小的）、width（寬度）。 - **Joint probability distribution**: "P(Weather, Cavity) denotes the probabilities of all combinations of the values of Weather and Cavity."（Ch12 p.23） - 中文：**P**(Weather, Cavity) 列出 Weather 和 Cavity 所有值組合的機率，是一張 4×2 的表，叫聯合機率分布。白話：把兩個變數所有搭配都列成一張表。難字：joint（聯合的）、combinations（組合）。 - **Mixing variables and values**: "P(sunny, Cavity) would be a two-element vector giving the probabilities of a sunny day with a cavity and a sunny day with no cavity."（Ch12 p.23）【老師強調】(0:10:58) - 中文：**P**(sunny, Cavity) 只有兩個數字：晴天有蛀牙、晴天沒蛀牙。小寫 sunny 是固定的值，大寫 Cavity 還是變數。白話：留下幾個大寫變數，就剩幾維的表。難字：two-element（兩個元素的）。 - **Possible world**: "A possible world is defined to be an assignment of values to all of the random variables under consideration."（Ch12 p.26） - 中文：possible world 是「把考慮中的每個隨機變數都指定一個值」的一種完整情況；Cavity、Toothache、Weather 共有 2×2×4＝16 個。白話：所有變數都填好答案的一個場景。難字：assignment（指定）、under consideration（考慮中的）。 - **Basic axioms: 0 ≤ P(ω) ≤ 1 for every ω, and Σ_{ω∈Ω} P(ω) = 1**: "A fully specified probability model associates a numerical probability P(ω) with each possible world."（Ch12 p.11） - 中文：一個完整的機率模型會給每個 possible world ω 一個機率 P(ω)；兩條基本公理是：每個 P(ω) 介於 0 到 1、所有 possible world 的機率加起來是 1。P(¬a)＝1−P(a) 和排容原理都從這兩條推出。難字：fully specified（完整指定的）、axioms（公理）。 ## [0:00:01](https://www.youtube.com/watch?v=iuAeHIfOscA&t=1s) 隨機變數與 domain 機率裡用的變數都是隨機變數：它的值不是固定的，要看當下的狀態決定。例如兩顆骰子的總點數 Total 可以是 2 到 12，第一顆骰子 Die1 可以是 1 到 6。這些可能值的集合就叫 domain。 有一種特別的隨機變數只有 true／false 兩個值（Boolean）。習慣上「a 等於 true」直接寫小寫 a，「等於 false」寫 ¬a。domain 也可以是無限多個值，離散或連續的變數都可能。 為什麼名字要大寫？因為大寫代表「整個變數」，小寫代表「它的某一個值」。後面每一段的符號都靠這個區分。 下面這張圖把三種 domain 放在一起看。 ```mermaid flowchart LR RV["隨機變數（大寫開頭）"] --> D1["離散：Total 2～12、Die1 1～6"] RV --> D2["Boolean：只有 true／false，寫成 a／¬a"] RV --> D3["連續：例如正中午氣溫，有無限多個值"] ``` 三種都叫隨機變數，差別只在 domain 長什麼樣。 考試可能問：What is the domain of a random variable? Give a Boolean example.
用生活例子講，隨機變數在做什麼？ 隨機變數像一張「還沒開獎的彩券」。彩券本身（大寫 Die1）一直都在，但上面的號碼（小寫的 1、2、…、6）要等開獎才知道。domain 就是這張彩券「可能開出的號碼清單」。 老師也用一句話把條件機率接進來：給定「沒有牙痛、而且是青少年」，蛀牙的機率是 0.1。也就是說，用命題邏輯的連接詞（∧、¬）組合條件，就能寫成機率式子：P(cavity | ¬toothache ∧ teen) = 0.1（Ch12 p.19）。
## [0:02:34](https://www.youtube.com/watch?v=iuAeHIfOscA&t=154s) 機率分布：粗體 P 是一整個向量 把 Weather 每個值的機率一起列出來（0.6、0.1、0.29、0.01），合寫成粗體 **P**(Weather)，這叫 Weather 的機率分布（probability distribution）。 粗體和細體有嚴格差別。像線性代數裡粗體字母是向量、細體是一個數字，這裡粗體 **P** 是好幾個機率組成的向量，細體 P 才是單一機率。 同樣的寫法也能用在條件分布：**P**(X | Y) 不是一個機率，而是「Y 的每個值 × X 的每個值」所有配對的條件機率。 | 寫法 | 代表什麼 | 有幾個數字 | |---|---|---| | 細體 P(sunny) | 一個機率 | 1 個 | | 粗體 **P**(Weather) | Weather 每個值各一個機率 | 4 個 | | 粗體 **P**(X \| Y) | 每一組 xi、yj 的條件機率 | X 值數 × Y 值數 | 看表的重點：只要括號裡出現大寫變數，前面又是粗體 **P**，它就是一整排數字。 注意：0:03:06 第一次聽起來是「0.6、0.1、0.29、0.11」，0:03:28 又說 0.01；四個數加起來要等於 1，以 0.01 為準。 考試可能問：What is the difference between bold P(Weather) and plain P(sunny)?
老師原話是什麼？ - 「你如果有一個字母是粗體的字母代表它是一個向量」(0:03:51) - 「粗體字的P代表的是好幾個數字所形成的一個向量」(0:04:05) - 「所以其實這個不是一個機率喔，這個是好多個機率所形成的一個distribution」(0:05:02)
## [0:05:08](https://www.youtube.com/watch?v=iuAeHIfOscA&t=308s) 連續變數與機率密度函數 連續變數有無限多個值，沒辦法一個一個列出機率，只能用函數描述。例如「正中午氣溫在 18 到 26°C 之間均勻分布」，這種描述叫機率密度函數（probability density function，pdf）。 氣溫落在 18 到 26°C 的機率是 100%；落在 18 到 22°C（一半寬度）的機率就是 50%。 為什麼 P(X=20.18) 寫出來是 1/8，卻不是機率？因為那個 1/8 是「每 1°C 分到多少機率」的密度。剛好等於 20.18°C 這一個點，寬度是 0，所以機率其實是 0。老師要大家切記：這種寫法的意義是「一個很小很小的區間，佔整體多少比例」。 考試可能問：Why is P(X = 20.18) = 1/8 not a probability?
用生活例子講，密度和機率差在哪？ 想像一條 8 公尺長、均勻撒滿 1 公斤沙子的走廊。每 1 公尺有 1/8 公斤，這是「密度」。你問「剛好在 20.18 這個點上有多少沙子」，答案是 0，因為一個點沒有寬度。但你問「從 18 到 22 這 4 公尺有多少沙子」，就有 0.5 公斤。 機率密度也一樣：密度乘上寬度才是機率。
它到底怎麼運作？（進階，可跳過） 均勻分布在 18～26°C，寬度是 8，所以範圍內每一點的密度都是 1/8。 1. 落在 18～26：寬度 8 × 1/8 = 1（100%）。 2. 落在 18～22：寬度 4 × 1/8 = 0.5（50%），和老師講的一樣。 3. 剛好等於 20.18：寬度 0 × 1/8 = 0。 投影片的定義（Ch12 p.22）：P(x) = lim_{dx→0} P(x ≤ X ≤ x + dx) / dx，也就是「X 落在 x 到 x + dx 這段極小區間的機率，除以寬度 dx」，再讓 dx 趨近 0。 注意：老師口頭只說「很小區間內的機率、取極限」，沒唸出「除以寬度」；以投影片為準，少了除以 dx，極限會變成 0 而不是 1/8。
## [0:09:38](https://www.youtube.com/watch?v=iuAeHIfOscA&t=578s) 聯合機率分布與符號細節 同時看兩個變數，例如 Weather（4 種）和 Cavity（有／沒有蛀牙 2 種），所有組合共 8 格，寫成 **P**(Weather, Cavity)，叫聯合機率分布（joint probability distribution）。 把其中一個變數換成具體的值，數字個數就變少。**P**(sunny, Cavity) 只剩 2 個機率（晴天有蛀牙、晴天沒蛀牙）；P(sunny, cavity) 兩個都是小寫，只剩 1 個機率，也可以寫成 P(sunny ∧ cavity)。 聯合分布也能用 product rule 拆開：**P**(Weather, Cavity) = **P**(Weather | Cavity) **P**(Cavity)，一行式子同時代表 8 條等式。 | 寫法 | 大寫變數有幾個 | 代表幾個機率 | |---|---|---| | **P**(Weather, Cavity) | 2 個 | 4 × 2 = 8 | | **P**(sunny, Cavity) | 1 個 | 2 | | P(sunny, cavity) | 0 個 | 1 | | **P**(Weather \| Cavity) **P**(Cavity) | 2 個 | 8 條等式 | 規律：每留一個大寫變數，數字個數就乘上它的值數；全部小寫就只剩一個機率。老師兩次提醒「粗體字有差」「大小寫都有講究」，就是在講這張表。 考試可能問：How many probabilities does P(sunny, Cavity) represent, and why?
老師原話是什麼？ - 「所以大家要注意一下大小寫，粗體字有差喔」(0:10:54) - 「這裡寫sunny都寫小寫，這代表的是Weather這個random variable它的一個instance」(0:11:00) - 「這個粗體字細體字這個都有講究的，大小寫這個都有講究的」(0:12:41)
## [0:12:58](https://www.youtube.com/watch?v=iuAeHIfOscA&t=778s) Possible world possible world 是「把考慮中的所有隨機變數都填上一個值」的一個完整情況。 如果同時考慮 Cavity（2 種）、Toothache（2 種）、Weather（4 種），就有 2×2×4 = 16 個 possible world。它們的聯合分布 **P**(Cavity, Toothache, Weather) 是一張 2×2×4、共 16 格的表。投影片還說：一個機率模型完全由「所有變數的聯合分布」決定（Ch12 p.26）。 注意：老師在 0:13:21 口頭把這張表說成「probability density function」，投影片寫的是 full joint distribution（聯合分布）；離散變數沒有密度，以投影片為準。 為什麼要有這個名詞？因為下一章會把「所有 possible world 的機率表」當成知識庫，任何問題都從這張表加總算出來。 考試可能問：Define a possible world and count them for Cavity, Toothache, and Weather.
用生活例子講，possible world 是什麼？ 像點套餐：主餐 2 選 1、飲料 2 選 1、甜點 4 選 1。每一種「全部點好的套餐」就是一個 possible world，總共 16 種。聯合分布就是「每種套餐被點的機率」那張 16 格的表。
## [0:13:41](https://www.youtube.com/watch?v=iuAeHIfOscA&t=821s) 從公理推出基本定理 機率只要兩條基本公理（axioms）：每個機率介於 0 到 1、所有互斥結果的機率加起來是 1。投影片寫成 0 ≤ P(ω) ≤ 1、所有 possible world ω 的 P(ω) 總和是 1（Ch12 p.11）；例如兩顆公平骰子，36 個 possible world 各是 1/36。其他定理都能從這兩條推出來。 第一個例子是 P(¬a) = 1 − P(a)：先把屬於 ¬a 的結果加起來，故意加上再減掉屬於 a 的部分，前面兩塊合起來是全部，等於 1。 第二個是排容原理（inclusion–exclusion principle）：P(a ∨ b) = P(a) + P(b) − P(a ∧ b)。畫文氏圖（Venn diagram）就懂：兩個圓相加時，中間重疊的部分被算了兩次，要扣掉一次。老師說到這裡都是機率的複習。 ```mermaid flowchart LR A1["公理一：每個機率介於 0 到 1"] --> T1["P(¬a) = 1 − P(a)"] A2["公理二：互斥結果機率總和為 1"] --> T1 A2 --> T2["排容原理：P(a∨b) = P(a)+P(b) − P(a∧b)"] A1 --> T2 ``` 這張圖的意思是：只要記住左邊兩條公理，右邊的定理都能自己推出來。 考試可能問：Derive P(¬a) = 1 − P(a) from the axioms, and explain inclusion–exclusion with a Venn diagram.
它到底怎麼運作？（進階，可跳過） 用老師的骰子 Die1 跑一次（數字是我補充）： 1. 令 a = 「點數是偶數」= {2, 4, 6}，P(a) = 3/6。 2. 補集：P(¬a) = 1 − 3/6 = 3/6，正好是 {1, 3, 5}。 3. 令 b = 「點數 ≤ 2」= {1, 2}，P(b) = 2/6；重疊 a ∧ b = {2}，P = 1/6。 4. 排容：P(a ∨ b) = 3/6 + 2/6 − 1/6 = 4/6，直接數 {1, 2, 4, 6} 也是 4 個，對得上。
老師原話是什麼？ - 「有了之前的equation 13.1跟13.2，我們其實可以推出所有其他的這個機率的定理」(0:14:22) - 「所以以上所講的這些呢，真的就都是機率的複習而已」(0:15:48) 注意：老師說的 equation 13.1、13.2 是課本第 3 版的編號，指的就是今年投影片 Ch12 p.11 的那兩條公理。
## Self-check
Q1. For a continuous random variable, why is P(X = x) not a probability?（中文：連續隨機變數的 P(X = x) 為什麼不是機率？） **Answer**: For a continuous variable, P(X = x) is a probability density. The probability that X equals exactly one point is zero, because a single point has zero width. The density means the probability of a very small interval around x divided by its width, as the width goes to zero. For a uniform distribution on 18–26°C, the density is 1/8 everywhere in that range, but P(X = 20.18 exactly) is 0. 中文：連續變數寫出來的 P(X = x) 是「密度」，不是機率。剛好等於一個點的機率是 0，因為一個點沒有寬度。密度的意義是「x 附近一個極小區間的機率，除以區間寬度」，再讓寬度趨近 0。例如 18～26°C 均勻分布，每一點的密度都是 1/8，但剛好 20.18°C 的機率是 0；要算機率得拿密度乘上一段區間的寬度。
Q2. Explain the difference between P(Weather, Cavity), P(sunny, Cavity), and P(sunny, cavity).（中文：說明這三個寫法的差別。） **Answer**: Bold P with uppercase variables is a distribution. P(Weather, Cavity) is the full joint distribution with 4 × 2 = 8 probabilities. P(sunny, Cavity) fixes Weather to the value sunny, so it has 2 probabilities: sunny with cavity and sunny without cavity. P(sunny, cavity) has only lowercase values, so it is a single probability, the same as P(sunny ∧ cavity). 中文：粗體 P 加上大寫變數代表一整個分布。P(Weather, Cavity) 是完整的聯合分布，有 4 × 2 = 8 個機率。P(sunny, Cavity) 把 Weather 固定成晴天，只剩 2 個機率：晴天有蛀牙、晴天沒蛀牙。P(sunny, cavity) 全是小寫的值，所以只是一個機率，等同 P(sunny ∧ cavity)。規則是：留下幾個大寫變數，就乘上它們的值數。
Q3. What is a possible world, and how many are there for Cavity, Toothache, and Weather?（中文：什麼是 possible world？這三個變數有幾個？） **Answer**: A possible world is an assignment of values to all the random variables under consideration. Cavity has 2 values, Toothache has 2, and Weather has 4, so there are 2 × 2 × 4 = 16 possible worlds, and the full joint distribution contains 16 probabilities. 中文：possible world 是把考慮中的每個隨機變數都指定一個值的一種完整情況。Cavity 有 2 種、Toothache 有 2 種、Weather 有 4 種，所以總共 2 × 2 × 4 = 16 個 possible world，完整的聯合分布就有 16 個機率。
Q4. Explain how P(¬a) = 1 − P(a) and the inclusion–exclusion principle follow from the basic axioms.（中文：說明這兩條定理怎麼從基本公理推出來。） **Answer**: The axioms say every probability is between 0 and 1, and the probabilities of all mutually exclusive outcomes sum to 1. The outcomes where a is true and where a is false together cover everything, so P(a) + P(¬a) = 1, giving P(¬a) = 1 − P(a). For a ∨ b, adding P(a) and P(b) counts the overlap a ∧ b twice, as a Venn diagram shows, so we subtract it once: P(a ∨ b) = P(a) + P(b) − P(a ∧ b). 中文：公理說每個機率介於 0 到 1，所有互斥結果的機率加起來是 1。「a 成立」和「a 不成立」的結果合起來就是全部，所以 P(a) + P(¬a) = 1，移項得到 P(¬a) = 1 − P(a)。至於 a 或 b，把 P(a) 和 P(b) 相加時，文氏圖中間的重疊 a ∧ b 被算了兩次，所以要扣掉一次，得到排容原理。
讀完了嗎？下一章：[02 用聯合分布推論與獨立性（0:15–0:41）](https://app.notion.com/p/3ecfc631b03081bdb8b1e658c224b992)｜回到週頁：[W4（10/1）](https://app.notion.com/p/3ecfc631b03081e895d2c5f3aec0353e)