[0:00:00] 好來我們今天呢要講的是第十三章Probabilistic Reasoning那我們上次在第十二章其實花了蠻大的一個力氣在為大家複習機率然後呢把整個機率的表達的形式變得更為更為FORMAL更更更更...FORMAL中文怎麼講更為FORMAL更正式那我們為什麼要帶入機率呢所以說在往回推我們當時在第四章的時候就講到說那現實世界當中的很多的資訊都有不確定性因此我們要引入機率那到了第十二章呢我們就把機率呢整個複習過了一次到了第十三章我們就真的要利用機率來做一些資訊的推論好那所以說呢我們在第十二章我們就看到說我們常常要去預估這個所謂的Joint Probability Distribution那它通常可以用來解答我們想要了解的某一個問題可能出現的機率有多高那根據呢我們手邊擁有的Evidence擁有的這個資訊基於我們現有的這個資訊那我們去預估那麼某一件事情會出現的機率是怎麼樣所以我們在第十二章就講到Joint Probability

[0:01:30] 那為了要但是呢機率我們顯然知道它是一個相對比較有用的一個工具但是在現實世界當中呢我們要把所有的機率都制定出來事實上是蠻困難的是蠻困難的那而且我們從過去的經驗裡面也看到說如果我們能夠妥善的應用獨立性Independence跟Conditional Independence的話其實我們在計算這些Joint DistributionJoint Probability Distribution的時候我們的計算可以簡化很多因此呢這一章我們主要就是要來介紹能夠讓我們妥善利用Conditional Independence的一個資料的結構那這個就是所謂的貝氏網路Bayesian Network而Bayesian Network它發揚光大主要就在於我們之前曾經介紹過的一個什麼Judea Pearl這位學者之手那如果你還直接再回想到我們最早第一章第二章在介紹AI的這個歷史的時候Judea Pearl就是在1990年代1980年代1990年代去開發Probabilistic Reasoning他做出很多的貢獻所以後來呢也拿到了Turing Award那一個貝氏網路是什麼呢

[0:03:00] 它其實是一個有像圖Direct Graph這個大家應該知道Direct Graph是什麼意思那就是說裡面有Age有Node那每一個Node都會有對應的機率的資訊那它的Age是一個有方向性的Age所以叫做Direct Graph那每一個Node代表的是一個Random Variable而這個Random Variable可以是Discrete也可以是Continuous那再來呢我的Link是怎麼樣或者說我的這個Age是怎麼樣呢如果有一個箭頭從Node X指向Node Y那我們就說X是Y的Parent好X是Y的父母那因為是有像圖那而且我們規定了這個Graph呢不能夠有CycleOKDirect Acyclic GraphCycle的意思就是說我X指到YY指到ZZ如果又指回X的話那它就不是它就會產生一個Cycle那被視網路是一個沒有Cycle的有像圖所以它是DAGDirect Acyclic Graph好那每一個Node的XI呢都有一個Conditional Probability Distribution就是給定的Parent

[0:04:30] 那麼這個XI出現的機率的這個Distribution就是Conditional Probability Distribution那它呢能夠量化我這些這個XI的Parent它的父母對於這個Node XI的影響是怎麼樣它能夠量化這件事這件事情就是用一個Conditional Probability Distribution來表達OK所以說呢被視網路是一個用來表達知識的一個有用的一個資料結構用來表達知識的好那那一個網路它的Topology長什麼樣子呢Topology的意思就是說我的Node跟XI之間誰跟誰要連那有幾個Node什麼等等的這個叫Topology整個網路的這個Topology就界定了我這些Random Variable之間的Conditional Independence的關係OK那概念上來講嗯就是說一個箭頭代表的就是我如果X有一個箭頭指向Y代表說我X呢會直接影響到Y那代表的也是X可能是某種原因

[0:06:01] 它導致於Y這樣子的結果那通常對於我們要處理一些知識的推論或者是呈現那對於Domain Asper對於這個領域的專家來講呢他可能根據他的經驗根據他擁有的知識他可以去手繪出這個我這個被視網路誰跟誰有關誰要放在Parent誰要放在這個Child誰會指向誰他的知識背景來把這個Graph畫出來好那一旦這個被視網路的Topology決定了之後我們呢就可以根據這個Topology那我們可以去計算裡面任何一個Node的Conditional Probability Distribution只要告訴我Parent的狀況怎麼樣我就能夠去預估出Child的Conditional Probability DistributionConditional Probability Distribution那我們再回到之前我們曾經舉過的一個例子就是牙痛的那個例子我們從這個例子呢來慢慢的介紹被視網路所以當時我們講到有四個變數牙痛有沒有牙痛然後呢有沒有蛀牙我探針有沒有卡住跟天氣怎麼樣那之前我們也提到過了其實天氣怎麼樣跟另外三個變數是獨立的

[0:07:31] OK牙痛有沒有卡住其實是Depends on有沒有蛀牙所以其實如果是以這四個變數來講他們之間的關係呢就可以表達成下面這個圖就是Whether這個變數是獨立於其他三個人的那這三個人呢Cavity他可能會導致牙痛也有可能會導致於探針卡住所以這個就是一個有像圖一個沒有Cycle的有像圖那Conditional independence oftooth egg and the catchgiven cavity is indicatedby the absence of linkbetween tooth egg and the catch所以這要講的事情是說牙痛跟探針卡住這兩個變數基本上是怎麼樣Conditional independenceCondition on cavity在告知你有沒有蛀牙的情況底下有沒有牙痛跟探針會不會卡住這兩件事情是獨立的是獨立的所以說這兩個之間沒有任何的連結主要的原因是在告訴你他的Parent的情況底下其實這兩個是獨立的那這件事情表達在哪裡呢就是表達在我Tooth egg跟Catch之間

[0:09:01] 沒有link這件事情上那概念上我們知道蛀牙可能會導致牙痛蛀牙可能會導致你探針會不會卡住那但是呢牙痛跟探針有沒有卡住他是Conditional independence好那我們再舉另外一個例子假設你有一個切到的警報器OK你放在家裡面那他基本上是還蠻reliable的但有時候呢也會錯所以你看啊這個又是一個non deterministic的一個情境那所以說呢如果你家裡被竊賊闖入的話你這個竊到的警報器可能就會在那裡響那這個竊到警報器是那種比較舊的舊式的他沒有連網路所以說呢他並沒有說透過什麼IOT啊送一個email給你會送一個簡訊給你沒有他就是會在那邊響吸引人家注意這樣子之所以是舊型的這個警報器那響的時候誰會聽到呢就你的鄰居嘛那假設你有兩個鄰居John跟Mary那這兩個都是好鄰居他們都保證說呢每次他聽到你家的警報器響了

[0:10:31] 他就會打電話給你但是呢每個人又有每個人不同的個性John他其實很好每次他聽到警報器響的時候他就會打給你但有的時候啊他耳朵不太好他會有點confuse有時候其實不是你家的警報器在響有時候是你家的電話在響所以他有時候會confuse他就嗯這到底是警報器在響還是電話在響他如果認為是電話在響那他可能就沒有打沒有打電話給你沒有打電話通知你說你家有竊竊跑進來了這樣那所以這會有一個機率的問題有時候他會覺得這好像是警報器響他就打給你有時候他可能會覺得說這好像是電話在響那他就不打給你那Mary呢Mary主要是因為她在家都常常聽很大聲的音樂所以說呢他們沒有聽到這個警報器在響不過他們都是好鄰居他們一旦聽到警報他們認為聽到警報器在響他們都會打給你那所以現在今天呢如果說今天這個你的鄰居打電話來了請你去預估出你家現在遭到竊賊侵入的機率是多少OK現在就是面對一個這樣的一個問題那我們可以利用一個被視網路來描述這整個的關係那

[0:12:01] 這個network structure呢再來就是說你這個警報器你這個警報器什麼時候會響呢基本上就是有竊賊進來的時候會響但有時候如果有地震稍微搖一下他可能也會也會響這樣子那所以我們就要畫一個網路來描述這些事情那我們有幾個假設我們有假設說第一個就是你的警報器雖然蠻reliable但是有時候地震來他也會響一下那再來就是說你的鄰居John跟Mary呢他們不會互相串通因為可能一個住左邊一個住右邊那他們彼此間不會互相溝通也就是說警報器如果響了他們不會互相溝通John不會去問Mary說欸你有沒有聽到啊欸你如果也有聽到我們再打電話不會他們就各自的行為是獨立的就對了那而且呢我們也假設說他們都感覺不到地震他們感覺不到地震好那整個情況我們大概可以表達成這樣今天一個警報器會不會響取決於有沒有竊賊入侵然後呢有沒有這個有沒有地震那可能我同時又有竊賊同時又有地震那也說不定啊那天生在這個社區呢竊賊入侵的

[0:13:31] 機率是0.001其實蠻低的地震發生的機率呢0.002這樣子那在這所以你有兩個你這個alone這個node有兩個parent就是有沒有竊賊跟有沒有地震那我們就可以寫一下它的conditional probability寫成一個表比如說又有竊賊又有地震我會想的機率是0.95有竊賊沒地震我想的機率0.94沒竊賊有地震想的機率0.29兩個都沒有我想的機率是0.001那想了之後它影響的是說John會不會打電話Mary會不會打電話如果有有響的話John會打電話的機率是0.9沒有響的話John會打電話的機率是0.05因為可能是因為電話響他誤以為是警鈴在響所以還是有0.05的機會John會打電話那Mary的話呢個別是0.7跟0.01所以這大概是表達了整個這個問題的一個被視網路好所以說呢我們可以看到說剛剛在這個alone那邊我們有制定了一個conditional probability table或者簡稱C它基本上就是在表達某一個node

[0:15:01] condition on它的parent的各式各樣不同的value它對應的conditionalprobability distributionin generala table for a boolean variablewith k一個boolean parentcontains 2的k次方independentspecifalprobability這個alone的兩個parent剛好都是boolean variable就是有或沒有地震也是有或沒有那有或沒有那我有兩個parent所以說呢我的這個CPT裡面我就會有2的2次方4個entryOK這個是如果你是boolean的parent的話那你如果不是boolean你比如說我某個變數我有5種可能的值那當然你的這個table可能就會有更多你光比如說第一個parent可能的值第二個parent又有3種可能的值哇那你這個矩陣呢就會是要有5乘3這麼多個這麼多個entry好那沒有parent的node它也有一個機率這個就是所謂的事前機率所以就像這裡這個有沒有竊賊這上面沒有parent啊所以這個機率是什麼呢基本上就是這個地區經過長期的觀察之後那我們知道說

[0:16:31] 天生這個地區會產生會有竊賊的機率是0.001天生這個地區會有地震的機率是0.002這個叫事前機率prior probability好那那特別要注意一點就是說我們剛剛前面的整個問題的描述有提到說Marry有時候在聽很吵的音樂啦然後有時候電話鈴會響啦這些要件都沒有表達在剛剛的這個網路裡面都沒有表達在這裡面那為什麼呢基本上我們把這些比較隱性的因素都summarize在這個along toJohn Cole跟Marry Cole的這個uncertainty裡面就是說這些不確定不確定性的因素都已經整合在這個兩個table裡面了這樣的不確定性已經在這裡面了要不然你要考慮的東西太多了對不對好比如說你可能還要再考慮到說除了Marry有沒有在聽大聲音樂之外你要考慮到說Marry可能剛好不在家啦或者是說Marry剛好有一個訪客啦或者怎麼樣那這個列舉不完嘛所以基本上我們是用比較簡化的方式合理的方式來表達整個問題的knowledgeOK好那所以說呢我們也考也免除了一些

[0:18:02] 可能很細而且無法量化的比如說可能溫度濕度溫度濕度很高所以你的這個警報器失靈啊或者沒電了啊等等等等這個我們都不考慮John或Marry他出去吃飯了啊他出去度假了這個我們都不考慮好那所以說呢in this way a small agentcan cope with a very large world那就是因為有這樣的一些假設所以我們可以用剛剛上面這個簡單的網路的結構就能夠去模擬一個很大而複雜的這個世界the degree of approximationcan be improved if we introduceadditional relevant information當然你要安排的再更仔細也可以那你這個網路就變得比較複雜那而且你你要能夠寫得出這裡面的每一個no的conditional probability好那所以呢以上是一個簡單的貝斯網路的一個介紹那接下來貝斯網路代表的其實就是實體世界當中的一些knowledge或者一些相關的意義那我們可以從兩個角度來去了解貝斯網路的他的語意是怎麼樣第一個呢我們貝斯網路可以視為是join probabilitydistribution的一種呈現對吧我們剛剛一直在講的

[0:19:32] 第二種我們可以把它表達成是一種我們可以把它視為是一種conditional independence statement的一種編碼方式也是嘛你根據哪一個know的誰指到誰方向怎麼樣他基本上就是在incode你的conditional independence的狀況嘛而這兩個角度基本上是等價的只是說呢看你的目的而定第一個角度他在於我們瞭解在我們要建構這個貝斯網路的時候呢我們可以從這個想辦法去描寫這個join probabilitydistribution的角度來建構網路那第二個角度是比較適合用來理解我整個推論的過程是說好那接下來呢下一段就是想說那我們就是要來表達full join distribution那怎麼弄呢我們一旦有了這樣的一個貝斯網路之後我們就可以去計算很多很多不同的機率we can calculate the probabilitythat alarm has soundbut neither a burglarynor an earthquakehas occurred and both假設今天警報器想的join probability

[0:21:03] 也都打來給你了但實際上根本就沒有竊到案也沒有地震發生的機率是多少那這個機率寫下來怎麼寫呢就這樣啊probability還記得這裡如果寫小寫代表的是隨機變數的一個特定的值這裡寫j代表說john有打電話來如果john沒有打電話來就寫not today所以這個機率就說代表的就是john有打來Mary有打來警報器有響這個a就是代表警報器有響not a就是警報器沒響然後呢沒有竊到案沒有地震的機率是這樣子好啦那這個機率怎麼算呢這個機率呢首先地震跟竊到它都是沒有parent的所以我們可以單獨的而且它們兩個又是independent所以我們可以單獨的把這兩個機率拆開來乘probability not e乘上probability not b然後再來along有沒有產生是跟有沒有竊到跟地震有關所以說我們要算的是在沒有竊到沒有地震的情況底下它警報器會響的機率在乘上

[0:22:33] 當警報器響的情況底下Mary會打來的機率在乘上當警報器響的情況底下John會打來的機率對不對這個就是整個johnjohn probability那這機率怎麼算就很簡單啊你只要查表就好了嘛那比如說像這個not e就是沒有地震因為有地震是0.002沒有竊到就0.999沒有沒有竊到沒有地震會產生a那就是0.001有警報器響Mary會打來的機率0.7John會打來的機率0.98就等於是0.00628所以就是也沒有地震也沒有警報器那通常你會覺得好像兩個鄰居都打來的很緊張耶那而且警報器真的有響耶那真正是有竊到真正是真正是因為沒有沒有竊到然後沒有地震所以這完全是一個誤報嘛對不對又沒有竊到又沒有地震可是兩個鄰居卻打來這個機率呢是很低的0.00628這麼低好所以代表說我們這個

[0:24:04] 警報器應該是挺挺可以信賴的它不會隨便在那邊亂響好那我們剛剛舉的例子呢是一個簡單的例子那當我們面對一個真正的一個問題的時候我們現在要分兩階段第一個階段是我們面對一個問題的時候我們要如何去建構備試網路另外一個大的問題我們本章這個chapter要解決的兩大問題第一個就是我們要如何建構備試網路第二個就是那我們要如何基於這樣的備試網路去推論出我們想要的機率這樣好所以我們現在來講第一部分我們要如何去建構備試網路in such a way thatthe resulting joint distribution is a goodrepresentation of a given domain好我們要如何有效的去建構這個網路呢首先第一個我們寫下join distribution the entryin terms of conditional probabilityusing the product rule所以假設我們要算的join probability負我的join probability長這樣我有S1一直到Sn這麼多個隨機變數那這個機率呢這個join probability根據之前我們講過的它就可以表達

[0:25:34] 可能性S1一直到Sn-1的join probability在乘上給定S1到Sn-1的情況底下Sn出現的機率嘛對不對這個沒有問題吧這是一般的join probability的這個拆解法本來就是這樣那我們持續的去拆解這個機率那我們可能就會變成說我們現在呢本來是conditionS1到Sn-1的那這裡可能還是太多變數join在一起了那所以我們可以再進一步往下細猜就是這個這個部分我們可以繼續往下細猜就可以寫成是probability Xn-1given Xn-2Xn-3一直到X1對不對然後呢再繼續往下細猜所以就可以拆解成像這樣一個一個這樣拆解那和寫起來的的這個notation就長這樣probability Xn-1given Xn-1一直到X1那這個就是我們機率課裡面學到的chain rule我們可以利用chain rule展開用chain rule展開那對於每一項就是我們chain rule裡面的每一項其實我們又可以仔細的去看一下這個其實就是說

[0:27:04] 給定X1一直到X1-1的情況底下X1出現的機率而如果我們知道某一些某就是說這個condition其實這個就是X1的parent因為他們可能對我X1有影響所以parents of X1其實就是X1一直到X1-1如果真的我有I-1個node都有一個箭頭指向我X1的話那的確這個機率就是這樣這個機率就是這樣那所以說呢如果好所以大概狀況是這樣那所以整理一下Node就是什麼我們首先我們要先決定好我們有哪些隨機變數那然後呢orderNet我們給他一些適當的順序OK基本上任何的一個順序都可以啦但是等一下我們就會秀給大家看說你用不同的順序你創造出來的被視網路他的簡潔程度會不一樣所以其實這邊是有一點有一點

[0:28:34] 就是有一些原則你可以去follow的好那從node1-n我們選定I-I-1那麼a minimum setof parents for X1然後去把他這個箭頭畫出來for each parent insert a linkfrom the parent to X1然後我們就可以去寫下這個CPT我們就是把probability X1given parents of X1去把他對應的這個機率想辦法去估算出來或者是根據經驗或者根據統計去把它估算出來然後寫到這個CPT裡面去這個就是整個的過程整個的過程好那概念上the parents of node X1should contains all those nodes in X1到X1-1that directly influence X1如果有直接跟對於X1的值有直接影響的都會是X1的parent所以舉個例子來講the choice ofparents for Mary Coates那Mary會不會打電話來顯然呃呃顯然會跟什麼有關跟有沒有竊盜案跟有沒有地震有關但這個所謂的有關並不是直接相關

[0:30:05] 那麼Mary沒有打來她直接相關的因素是在於她有沒有聽到警報器在響因為她自己本身對於地震沒感覺那她也看不到你家她沒有辦法直接親眼看到有沒有竊賊闖入你家所以會不會影響Mary打不打來只靠這個所謂的警報器響這件事情所以說直覺上我們的知識告訴我們說會影響Mary有沒有打來的呢是Alarm這件事情所以呢本來啦有一個變數假設Mary Coates這個變數現在是X1那X1到X1-1就是BurglaryEarthquakeAlarm跟John's Code那我們知道說其實這個有沒有地震跟有沒有竊盜基本上跟Mary Coates沒有直接相關John有沒有打電話來也跟Mary會不會打電話沒有直接相關因為他們兩個沒有串通嘛所以跟Mary Coates這個變數直接相關的只有Alarm因此我們可以把這樣子的Conditional Probability簡化成這個它指Given Condition on AllowOK這很合理吧完全符合我們的這個

[0:31:35] 這個直覺那也就是因為這樣的原因所以說它其實是要引導出大家就是說好啦我們拆解成很多這樣子的機率 這樣子的機率相乘但是呢我們又可以根據我們的背景知識我們的假設去把這些Conditional Probability呢去簡化他講的其實就是這件事Because each node is connectedonly to earlier nodesthis construction methodguaranteed that the network isAcyclic那這裡我們剛剛為什麼前面說這個S1到SN我要有一個編號的一個順序因為我們就是要從Node1到N這樣一步一步的往下長出這個被子網路那我們要Follow這個Ordering這個順序那你如果Follow這個順序的話你建出來的網路就會是Acyclic它就會是不會有Cycle的當然啦你這個順序你說隨便順序都不會有不會有Cycle嗎其實也不見得你在排順序的時候其實你就要考慮到它們之間的一些因果的關係你建出來的網路才不會有Cycle所以這是要注意的那另外一個被子網路的重要的特性是說Lay contains no redundantProbability valueIf there is no redundancy

[0:33:05] and there is no chance for inconsistency也就是說呢It's impossible for the knowledgein engineering or domain expertsto create a basic networkthat violates the axing of probability就是說這個被子網路你到時候你去估算出來的這些機率完全都會符合機率的這些基本的定理比如說這個機率都在0到1之間所有的機率加起來要等於1完全都會符合它不會有什麼redundancy比如說你走這個路徑不要講熱路徑你某一個這個conditional probability跟另外一個conditional probability整個加起來超過1不會有這種事情好那所以接下來我們就要來看說我們在建這個網路的時候我們Node的順序是怎麼樣好那一個被子網路呢Can often be far more compactin distribution你如果妥善的利用它的因果關係跟conditional independent的話它畫出來的結果這個網路可以非常的簡約比起我們的機率寫成這樣子簡約很多好OK那好那為什麼會可以

[0:34:35] 那麼簡約呢因為基本上被子網路有所謂的區域的結構性locally structured或者是所謂的稀疏的特性也就是說即使我整個系統裡面整個問題裡面我有好多個變數比如說10個變數好了10個隨機變數你這10個隨機變數你任何一個隨機變數不會都跟其他的9個變數會有關係這是現實世界當中常常常常有這種現象常常可以合理的假設是這個樣子我們可以假設說我這個隨機變數大概只跟兩三個另外的隨機變數有關這有點類似說你今天今天天氣怎麼樣今天天氣怎麼樣可能跟昨天的天氣會有一點關係跟前天的勉強可能也有點關係但是你說跟10天以前的很有關係那我覺得就扯遠了對不對或者說臺南臺南現在的溫度的狀況怎麼樣可能跟往北一點是嘉義往南一點是高雄可能跟隔壁的都市有一點關係可是呢跟基隆的關係就不大了所以很多實際的問題都有這所謂的區域的結構性區域的關聯性

[0:36:05] 那也就是因為這樣子我們可以所以他這裡就講嘛Each sub-component interacts directlywith only a bounded number of other components它只會跟一部分有關係所以我們就可以大幅的去簡化這個網路那當然也是有一些複雜的問題牽一髮動全身的每一個變數都跟所有其他變數有關那這樣子的Network就是Fully Connected Network我附帶一提大家現在不要看到Network就興奮起來好像都跟這個什麼深度學習的那個Network有關沒有跟深度學習那個類先進網路無關然後呢也跟我們的通訊網路無關所以可能有些人是學網路的電腦網路跟那個也無關但是我們只是都用同樣Network這個字而已就是Fuse的那如果你這個Base網路是Fully Connected哇那不得了啦你要Specify的這個Join Distribution你這個Probability Table就很大很大但其實大部分的領域裡面大部分的問題裡面呢其實每一個Random Variable只跟少部分的有關係

[0:37:36] 那即使你這個Random Variable我跟比較遠的比如說臺南的目前的氣溫你也許你可以說勉強我跟宜蘭的氣溫也有一點點關係嘛你說蝴蝶效應對不對什麼宜蘭的一隻蝴蝶在那邊拍翅膀後來導致臺南這邊什麼有颱風來有沒有可能說不定有可能吧但是這個關係實在是太小了所以我們在處理實際的問題上的時候我們其實可以假設他們之間沒關係因為這個影響微乎其微OK好那所以說呢這裡可能就講到說就是說你可以提出我們剛剛那個Burglary那個Network其實是相當簡易的那你也許你可以提出一些不同的意見你說你怎麼沒有把什麼地震的考慮進來啊因為說不定John跟Mary他會感覺到地震他就知道說啊你現在這個氣靈在想是因為地震的關係那你到底要不要你要不要弄到那麼細吧你如果要弄那麼細那你要把地震這個Random Variable你拉一條線

[0:39:06] 拉一條這個箭頭到John Coates跟Mary Coates這樣做的話那但是有地震沒地震如何去影響John跟Mary要不要打電話這個機率你就要去預估出來對不對因為你拉多拉一個Parent那你就要想辦法去把那個CPT去估計出來那你說這個有標準答案一定要這樣做一定不能這樣做嗎也沒有標準答案那就看說你對於這個整個問題的掌握這個整個計算的複雜度是怎麼樣好啦那即使是Locally Structured DomainWe willWe will get a compact baselineOnly if we choose theNo ordering well那你說好啦我們去除掉這些這些比較鑽牛角尖的我們都假設他沒有關係那我們這樣下去建出來的貝斯網路就一定很簡潔嗎那根據你的這個Node的Odering而定你的這個順序你建的順序怎麼樣那現在假設我們舉一個反例如果我們今天建這個Node的順序是Mary ColeJohn ColeAlamBurglary跟EarthCraft如果你的順序是這樣你不是先從Burglary EarthCraft去建你是反過來這樣建那會發生什麼事呢

[0:40:36] We mayWe may get somewhat more complicated networkShown in figure 14.3那你建出來可能就會長這樣根據你對於這個世界的整個定義而定比如說你Mary有沒有打電話影響到John有沒有打電話影響到John有沒有打電話或者是說這個Alarm的關係或者是說這個Alarm的關係那有沒有Alarm又跟John跟Mary有沒有打電話有關係有沒有Alarm又跟這個Burglary跟EarthCraft有關係當然這整個這樣子建起來感覺邏輯很怪有沒有這個整個邏輯很怪好所以說這整個怎麼個建法呢第一個Random Variable是Mary Cole第二個John Cole我們怎麼會加進來呢如果Mary打電話的話那代表說可能這個警報器響了那如果Mary打電話可能代表警報器響那也許Mary打電話這件事情那也許Mary打電話這件事情已經隱含了一個意義就是說她可能也會有比較高的機率John也會打電話因此John呢John Cole這個Random Variable就需要Mary打電話這個來當她的Parent就需要Mary打電話這個來當她的Parent

[0:42:09] 因為如果你今天要求說因為如果你今天要求說我加到這個貝斯網路的這個Random Variable的這個順序一定要Mary Cole接下來John Cole如果你要求這個順序一定是要這樣子的話那麼我真的只好把Mary Cole拉一條箭頭到John Cole拉一條箭頭到John Cole而為什麼Mary Cole會影響到John Cole呢事實上是因為一些比較間接的原因是因為Mary如果打電話是因為Mary如果打電話隱含的意義是有比較高的機率警報器是響的而警報器有比較高的機率警報器響那麼John會打電話的機率會比較高所以這中間的所謂的這個箭頭代表的其實隱含的就是這個意義好要依此類推啦你要把Jing Lin的這個加進來如果說John跟Mary都打電話如果說John跟Mary都打電話那有比較高的機率代表Jing Lin是響的所以說呢Mary Cole跟John Cole都要當成是他的Parent那接下來切到如果我們知道這個警報器的狀況然後然後呢John跟Mary都有打電話那他可能都會影響到我的這個

[0:43:40] 這個切到的這個機率但其實打電話Mary打電話跟Alarm呢基本上直接影響到這個切到的可能只有Alarm所以只有Alarm是他的Parent好那依此類推Earthquake也是Earthquake的狀況也是那你最後建出來的網路可能就會長這個樣子好那相對應於我們剛剛前面建出來這個比較簡潔的網路比起來的話呢這個Figure 14.3 AR他就硬是多了兩個link硬是多了兩個link所以也就代表說呢你有更多的機率要去specify那更糟的事情是為什麼他會亂跳更糟的事情是說呢Some of the links representtenuous relation that requiredifficult and unnatural probabilityjudgment such asaccessing the probability of Earthquakegiven burglary and alarm更糟的是如果在剛剛的這個network裡面有些機率是很難預估的比如說當有竊盜案跟警鈴響或不響的情況底下地震發生的機率那這機率怎麼預估啊誰知道啊對不對所以的確你可以建構出一個這樣的被視網路但是建不可能很難建得成功

[0:45:10] 因為除了把這個Topology畫出來之外你的CPT都能夠預估出來才完成了整個被視網路的建造那所以其實這整個建構起來不只是結構變得更複雜它裡面的機率你還寫不出來好If we try to build adiagnostic model with thingsfrom symptom to causewe end uphaving to specify additionaldependency between otherotherwise independent cause今天如果是從症狀要去我建構的這個順序是從症狀開始建構再建到原因的話就像剛剛這個症狀其實就是Mary打電話來然後呢她去建構到這個什麼警報跡象然後警報跡象又去建構到有沒有竊案所以呢它整個因果就我們人的理解來講它是因果關係是反的如果你硬要這樣子建的話呢你的網路變得比較複雜那你就要寫你就要去specify更多其他的dependency才能夠把這個建起來那如果說我們是鎖定在因果關係的model基本上我們可以用比較少數量然後呢比較容易去評估出來的機率

[0:46:41] CPT能夠去把整件事情描述出來所以這個ordering是很重要的那另外還有另外一個例子就是說故意舉一個很很爛的一個例子如果今天我建構的順序是Mary code, John code,R-squared, burglary跟alarm那你建構出來的這個network呢就會長這個樣子看起來就又更複雜了看起來就更複雜拉來拉去光這個alarm就會有四個parent然後這個burglary就有三個parent就一大堆亂七八糟的所以說呢我們知道說any of these threethe three networkcan represent exactly the same但是呢我們可以看到說我們從簡潔到複雜的這個被視網路複雜那個看起來當然很礙眼吧但不要忘了這個被視網路他們其實都代表同樣的join distributionjoin distribution只是說我們後來才講的這兩個版本呢是沒有妥善的應用到conditional independence的關係所以說我就要去預估一些可能不必要或者是說很難預估的這個機率在裡面好

[0:48:11] 那講到這邊呢稍微告一個段落