近似概率編程文獻綜述

摘要：概率編程是一個新興的編程范式，在概率編程的推理過程中，近似算法可以大大優化效率。概率編程中的近似算法主要有邊界近似算法和模擬近似算法。邊界近似算法通過計算查詢為真的所有可能世界的子集或超集，可以得到查詢成功的概率的上界和下界。模擬近似算法通過采樣隨機產生大量的可能世界。當查詢在某個樣本片斷上成立，就可以從此樣本中計算查詢成功的概率。我在PPL課程學習中產生了對概率編程的興趣，收集了一些資料，希望與大家一起學習了解一下這塊知識。

關鍵詞： 近似概率編程、模擬采樣、近似邊界

1 研究意義

概率編程（Probabilisticprogramming）本身是一個新興的編程范式，這一編程范式的含義在于編程者可以在程序中指定概率模型并由概率程序自動進行這些模型的推斷^[1]。概率編程代表了統一概率模型和傳統通用編程的一種嘗試，傳統的概率驗算停留在紙面上，而概率編程可以動態地根據概率規則做概率運算。這使得概率模型可以更加容易并更廣泛得被應用于建立在面對不確定時做出決定的系統。

概率編程有兩類應用很廣的模型范式，第一類是在給定約束條件下使得某事件發生概率的最大化或最小化，第二類模型是約束條件為概率信息，在此環境下進行編程^[2]。無論是哪一種概率編程模型，傳統的概率編程的目標是得到精確的解。但對于一些處于高階空間的問題來說，求得精確解的時間代價與空間代價都是不可接受的。那么，根據模擬或者邊界夾逼而高效得生成具有置信概率的近似的成果或邊界便是一種不錯的解決思路。由此催生出了近似概率編程這一新興領域。

這里作者希望通過舉一個概率編程的例子來說明近似概率編程的大致含義與意義。

考慮以下概率模型（ProbLog語言）：

0.4:: A //(我及時取外賣)0.5:: B(X) //(有外賣小偷)0.2:: B(我) //(外賣小偷選擇了我的外賣)D(吃上外賣): - AD(吃上外賣): - !BD(吃上外賣): - B(X)，X != 我

概率模型解釋：

前三條是概率事實，即帶概率標記的基事實。隨后三條是規則，當我及時取外賣的時候可以吃上外賣，當沒有外賣小偷的時候我可以吃上外賣，當外賣小偷沒有選擇偷我的外賣的時候可以我吃上外賣。在給定的概率事實與規則約束下，現需要求解我能吃上外賣的概率是多少。

經典概率程序求解：

以基于析取范式的概率程序為例，

{F1{A,!B()},F2{A,B(X)},F3{A,B(Me)},F4{!A,!B()},F5{!A,B(X)}}

在這五種可能世界下，我們可以取到外賣，則我們取得外賣的概率就是將所有接受的可能世界的概率累加。即

0.4\*0.5 + 0.4\*0.5\*0.8 + 0.4\*0.5\*0.2 + 0.6\*0.5 + 0.6\*0.5\*0.8 =0.76

近似概率程序：

但是隨著事實數量與規則數量的增加，多項式時間的精確求解算法在現在是沒有人可以給出的。近似算法大致可分為兩類，其一是基于邊界的近似推理，其二是使用采樣的近似推理。

什么是基于邊界的近似推理呢？以上面的模型為例，當沒有外賣小偷時，即!B()時，結果一定為true，那么我們可以得到這一邊界:

P(吃上外賣) ≥ 0.5

那么什么是使用采樣的近似推理呢？在這類方法中，采樣用于隨機產生大量的可能世界。當查詢在某個樣本片斷上成立，就可以從此樣本中計算查詢成功的概率。以上面的模型為例，我們可以連續一年定外賣并記錄是否取得外賣的結果，并根據結果的分布情況與收斂情況對結果的真實概率進行估計。

隨著概率編程不斷應用到自然語言處理、生物信息學、活動和行為識別、機器人、網絡分析和音樂分析等方面^[3]，計算性能越來越成為廣泛應用的瓶頸。而在許多的應用場合，確定一個合理精度的近似結果就足以解決問題，反而精確解會消耗大量計算資源且喪失實時性。所以對于現有概率算法的近似優化，對近似算法的誤差估計等研究工作對于該領域發展具有重大意義。

2研究背景和發展脈絡

2.1 研究背景

概率編程已有20多年的歷史，近年來該領域的研究進展非常迅速，涌現出一大批研究成果。

當然，有關概率編程的研究是建立在不同的層次上的。

在最抽象的層面上，研究對象主要是概率邏輯程序設計語言，也就是如果抽象地表達概率語義。例如有獨立的選擇邏輯程序^[4]、隨機邏輯程序^[5]、貝葉斯邏輯程序^[6]、帶注釋析取的邏輯程序^[7]、CP邏輯程序^[8]等等。

隨后是概率邏輯推理方面的研究，近似思想幾乎始終伴隨著各種推理方法。各種推理算法在他們的內部都有相應的近似修約方法。簡而蓋之，近似算法是在概率編程推理過程中的一種范式與思想，與各種精確算法存在緊密聯系。

比如Vennekens與Bruynooghe等人的基于CP邏輯定義語義的向前推理法，其推理過程可以表示為向前推理樹^[8]，從根節點開始，使用概率事實得到子節點，根據程序將相應的概率值標記在對應的邊上。達到一個完全的可能世界則視為葉節點。那么其中運用修約可以在到達完全的葉節點之前便停止樹的增長，達成性能的優化。

在推理邏輯中使用比較廣泛的還有向后推理、加權模型計數歸約和提升推理。向后推理，也叫作SLD方法或證明。該方法從一個查詢開始，使用規則反方向進行推理。近似算法體現在SLD中便是通過提前結束來完成近似修約。加權模型計數歸約是Fierens等人從邏輯的角度提出一種概率邏輯程序的推理方法^[9]，該方法利用邏輯程序的命題邏輯語義將MARG推理（在給定條件e下，求每個基原子q的邊緣概率）歸約到加權計數模型，而通過基原子的合并和給定條件的放縮可以達成基于加權模型計數歸約的近似算法。可見在這些概率推理模型中，近似算法都有用武之地。

2.2 近似概率編程發展脈絡

前文已經提到，近似編程中有邊界近似與模擬近似兩大方向。這兩種近似思想被運用于概率編程是早在1974年的事情^[10]，這意味著近似概率編程在最早階段就伴隨著概率編程。1974年Prekopa等人開創性地在概率性質上下文中使用了模擬與優化混合使用的算法^[10]。這些工作是概率編程領域中最早的近似方面的嘗試。

然而究其根本，近似概率編程的數學基礎研究早在1967年就已經開展。析取-合取范式的研究是近似概率編程乃至更大范圍意義上的概率編程的重要數學基礎，這方面的重要工作由Takas等人在1965年的研究奠定^[11]，Prekopa等人在1995年對于這個領域的數學如何運用于概率編程做了比較完整的提取與總結^[12]。

隨后在這一領域，邊界近似法（bounding approximation）與模擬近似法（simulation approximation）兩種近似思想的算法研究分別開始被越來越多的研究者研究。

在邊界近似方面，隨著時間推演，研究者逐步地對更高的近似維度與更精確的預測上下界展開研究。我們能看出一條非常明顯的研究脈絡。早在1967年，Dawson與Sankoff等人就對于二階近似的下界范圍進行了分析^[13]。隨后由Kewel在1975的工作和Sathe等人在1980年的工作得出了二階近似的上界^[14]。數年之后，三階近似和四階近似的精度估量由Prekopa與Boros等人在1989年研究得出^[16]。最終，廣泛的高維算法與Bonferroni邊界確定方法由Prekopa在1988年提出設想^[15]，并在2001年提出更加完善的理論^[17]。

在模擬近似方面，礙于計算機系統的運算性能與存儲性能，研究起步不算早。但我們也能看出清晰的研究脈絡。在模擬近似研究的初始階段，研究者研究得出了較多關于模擬分析正態類函數的結論，這主要歸功于Deak的課題組在1980年-2002年^{[18] [19] [20] [21] [22]}陸續做的研究。接下來，為了提升算法的普遍適用性，Szantai在1986年和2000年提出了通過概率模擬預測相較于正態函數更為普通的函數的方法^{[23] [24]}。基于以上兩組研究者，1988年Gassmann等人提出了正態預測與通用預測的混合算法，并把這一集大成的概率模擬近似算法稱為DSG方法(Deak，Szantai，Gassmann三者名字的縮寫)
^[25]。隨后在2002年Gassmann進一步改進DSG算法，尤其在多變量模擬預測上提出了先鋒性的見解^[26]。

3. 目前研究進展

近年來，概率編程越來越多地走向實際應用領域而不再只是停留在理論層面。例如在2015年一個50行的概率計算機視覺程序被用于基于人臉的2D圖像來生成這些人臉的3D模型^[29]。在醫學領域，Stanley E等人使用Turing.jl概率編程系統構建貝葉斯學習模型來分析藥物的肝臟損失風險并取得重大成就^[30]。就在最近的2019年，斯坦福大學的一個研究組基于概率編程開發了實用的Gen概率編程庫，已經被用于各種視覺和機器人任務^[31]。在這些實際應用中，數據量與數據維度都是相當龐大的，這使得近似算法在概率編程中的地位越來越重要。

我們已經知道近似概率編程呈現明顯的雙線發展脈絡，分別是邊界近似與模擬近似，兩者思路相異。我們這里也分這兩部分介紹。

3.1 邊界近似概率編程

關于目前的邊界近似概率算法，現階段很多成果是基于用向后推理得到的DNF（析取范式）進行近似優化得到的，關于向后推理，研究背景一章有所介紹。比如Angelika
Kimmig等人在2008年的研究工作^[28]。他們的研究是基于Prolog的，在Prolog中，概率事實可以用它們在屬于不同的隨機抽樣程序下的相互獨立的概率變量來標記。所以在近似過程中，向模型提出大量的不同請求是相當方便的。首先，在向后推導中，會生成推導樹。

這類推導樹的每條邊代表特定約束下發生某種情況的概率，葉子節點則代表一種可能世界。通過迭代的貝葉斯概率計算，精確的解是可以得到的。但是據Kimmig分析，哪怕應用于一個很小的網絡，得到精確解的算法時間復雜度將達到O(10⁶)，這是實際應用中難以忍受的計算代價。在論文中，Kimmig詳細分析了DNF范式如何作邊界近似。其數學思想基礎是由Poole在1993年奠定的^[32]。其主要思想是將完全形態的LSD樹修約為不完整的LSD樹，樹枝僅僅分叉到給定的精度閾值之內，這樣可以省略大量的情況討論。這一方法中，使用者即可以確定上界也可以確定下界。當算法只統計發生可能性高于閾值的事實時，所得到的是下界；當算法將所有到達了閾值而沒有繼續分類討論的分支都統計進來時，便得到了上界。

3.2模擬近似概率編程

關于模擬近似算法，近來出現的純理論研究并不多，更多的是如何在各種概率編程模型中實現蒙特卡洛等模擬過程。相較于邊界近似，模擬近似在許多概率邏輯語言中比較流行。而其數理基礎已經由概率統計學研究得較為深入。其基本實現思路是通過采樣隨機產生大量的可能世界。當查詢在某個樣本片斷上成立，就可以從此樣本中計算查詢成功的概率。例如，在向后推理過程中只需隨機選擇概率事實的真值，就可以對其進行采樣，直到發現證明或者窮舉所有的選擇時采樣結束^[3]。例如Fierens和Van
den
Broeck在2015年的一項研究中，使用MC—SAT在CNF（合取范式）上做近似的WMC^[33]。他們研究了如何從圖形模型集合中作經典的推理（經典CNF）和可以用于概率邏輯程序的學習任務。他們貢獻了一個加權布爾公式，該公式可基于程序和查詢轉換到概率證明。其次他們貢獻了一套動態的參數學習算法，可以使程序對不同任務進行充分研究。這系列算法采用期望最大化目標，并被建立在已開發的推理算法之上。結果表明，推理算法在概率邏輯規劃的基礎上得到了改進，從解釋中學習概率邏輯規劃的參數是可行的^[33]。而Milch等人則看向了另一個經典的概率推理算法，他們在BLOG中使用向前推理來產生樣本。他們貢獻了一種在無環形定義的約束語境下，指定一個唯一的概率分布后可以產生變化的和無限可能世界的方法。此外，他們還貢獻了完整的存在于語言內部的推理算法。并且還引入了一種處理證據的概率形式的Skolemization^[34]。此外比較有分量的工作還有Gutmann等人在分布子句中使用向前推理來產生樣本^[35]。Arora等人在BLOG使用MCMC產生樣本^[36]。Moldovan等人在ProbLog中使用MCMC產生樣本^[37]。

3.3 k-Best

此外，最近還有科學家致力于結合起邊界近似概率算法和模擬近似概率算法，比較有名的例如Stefano
Bragaglia和Fabrizio
Riguzzi在2011年的工作^[27]。他們的工作目的是在LPADs語言上發展高效的概率推理算法。LPADs，即帶注釋析取的邏輯程序，是近來一種很有前途的概率歸納邏輯編程語言，這種語言本身是基于Prolog的。這項研究最引人注意的點在于，采用k-Best算法來估算概率請求的結果下界。而k-Best算法的思路是融合了邊界近似與模擬近似的創新思路。這個k-Best算法首先使用蒙特卡羅算法對可能世界空間進行巧妙抽樣來模擬估計子世界概率。隨后識別k個最具可能的世界進行詳細計算得到一個大致的估算值。由于是修約掉了發生概率較低的可能世界，所以此方法可以達成下界的估計。通過理論分析，這種k-Best算法對于偏重分支型的概率問題具有較好的近似精度。經過，實際數據測驗后，這種k-Best算法的下界相對誤差基本可以控制在5%以內，但和模擬近似的問題一樣，這些誤差的精確度是實驗得出了，沒有嚴格的數學支持，在對于精確要求高的應用場合下使用是具有風險的。

4進一步發展方向概述

多年來，許多研究者提出了各種概率邏輯程序語言，取得了豐富的研究成果，可以預見，概率邏輯程序的研究將是一個非常有前景的領域。雖然近似概率編程已經取得了許多豐富的成果，但是仍然稱不上一個十分成熟的技術，還有很大的挑戰，可以在以下幾個方面進行進一步研究。

其一是加大與各學科的交叉，近幾年，近似概率編程越來越與具體應用場合相結合，畢竟不同應用場合下的數據集特征都是不同的。針對不同的數據特征制定更加精確的近似策略是近來很顯著的發展方向。Van Der Heijden,Lucas等人利用CP邏輯和動態貝葉斯網絡生成Allen的區間微積分來對疾病的產生過程進行模擬建模^[38]。Ingo Thon等人通過將CP邏輯專門化來表示關系狀態，以此描述序列上的概率布，并采用馬爾可夫假設，使得推理和學習變得更容易處理和有效。而為一個游戲（Travian）建立了AI模型^[39]。，Wang等人則將概率近似編程結合進了數據庫領域，設計了一個ProPPR對大且不確定的知識庫進行推理和學習^[40]。

其二是提升推理邏輯的效率，這也是近似概率編程一路以來的主線任務。例如前文提到的引入MCMC近似推理方法^[37]，以及融合了模擬與邊界的k-Best算法^[27]，都揭示了概率編程的近似方法不斷推陳出新的過程。區別于傳統的近似推理，也有科學家提出在數據挖掘中引入概率推理的學習機制^[33]，實現概率邏輯程序和數據挖掘的融合以大大提升效率，但目前這一設想還在研究階段^[3]。

5我的見解與感想

如果說程序是生活的模擬的話，那么概率編程自然是最貼近生活的。每個人，對生活中的什么東西是確定的呢？我們做出的每個決定不都是在考慮到諸多概率事實后在那個時間點上做出的局部最優解嗎。但是我們的每個決定都要面面俱到地考慮清楚嗎，那可能點個菜都得半小時了，事實上我們不過是早早估算一下，就做出了某個決定。所以近似概率編程思想在生活中是處處得以體現的。這是從生活的角度上去談論概率編程。

從應用角度來說，近似思想在概率編程中的重要性更是不言而喻。幾乎沒有哪個現實中的概率編程項目是求精確解的。因為概率的分支結構天然使得算法規模是樹狀生長的，其復雜度是隨規模指數增長的。當我們用概率模型來對疾病、路徑、圖像等等對象建模時，雖然可以有數據分析學的降溫操作，但是得到的數據一般維度還是較高的。我暑假做過一段金融科技的研究，每只股票都有47個維度的數據。那么在這樣的數據規模下，近似優化是不可避免的。

從概率編程語言角度來說，我個人的見解如下：無論是基于Java開發設計的Dimple^[42]和Chimple^[43]，基于Prolog的PRISM^[44]，還是基于NET架構設計的Infer.NET語言^[45]，又或是獨立的概率編程語言Stan^[41]。他們之間的差別更多是編譯層面和語法層面的區別，在核心的概率編程方面，其表達方式較為類似。有概率事實作為基礎變量，規則作為推演過程的指導知識，任務也基本分為SUCC任務（計算基查詢成功概率）,MARG任務（在給定條件下每個基原子的邊緣概率）,MAP任務（給定條件下找到最有可能的真值賦給原子）,MPE任務（對于某個條件找到一個最有可能世界）,VIT任務（查詢某個事件的可能性證明）。其根本原因在于，現今的概率語義基本是以Sato的分布語義為基礎的^[46]，自然實現效果也大同小異。

如果說不同的概率邏輯程序語言可以看作是對這一領域的核心概念(如概率選擇)的不同實現，則概率編程的核心就是推理，推理的重要部分便是近似。本文介紹了不同的概率推理機制和研究脈絡（主要是邊界近似和模擬近似），并討論了它們支持概率邏輯程序不同領域的適合度。我個人認為這是概率編程這門學科的核心所在，所以我選擇針對這方面做綜述。我認為接下來可以借鑒神經網絡、聯邦學習、數據挖掘等原理來更深刻地模擬學習概率事實的過程，而不僅僅停留于可解釋的參數生成。這樣生成單一函數的參數，也許對某個數據集表現不錯，但是可移植性較差，不如動態地生成概率判斷網絡。

總的來說，概率編程是非常新穎非常迷人的研究領域，許多傳統的任務經過概率的描述可以由非常簡潔優雅的模型來描述。但仍然還不成熟，還有很大的挑戰。我寫這篇綜述是為了更深入地學習了解該領域，為將來的研究工作奠定基礎。

參考文獻：

[1] Probabilistic programming does in 50 lines of code what used to
take thousands. phys.org. April 13, 2015 [2015-04-13].

[2] Prekopa, Probabilistic Programming. 2003

[3] 謝剛，張文生. 概率邏輯程序研究綜述 [J]. 山西大學學報2016,3(11)

[4] Poole D．The independent choice Logic and Beyond[J]
2008，：222—243

[5] Muggleton S．Stochastic Logic Programs[J]．Advance in Inductive
Logic Programming, 1996, 32:254-264

[6] Kersting K，De Raedt L．Basic Principles of Learning Bayesian
Logic Programs[J]．Probabilistic Inductive Logic Programming, 2008

[7] Vennekens J，Verbaeten s，Bruynooghe M．Logic Programs with
Annotated Disjunctions [J] 2004

[8] Vennekens J，Denecker M，Bruynooghe M．CP—logic：A Language of
causal Probabilistic Events and Its Relation to Logic,2008

[9] Fierens D，Van den Broeck G，Renkens J，Inference and Learning in
Probabilistic Logic Programs using weighted Boolean formulas [J] 2015

[10] Prekopa, A. (1974b). Programming under probabilistic constraints
with a random technology matrix.

Matematische Operationsforschung und Statistik, Ser. Optimization 5,
109-116

[11] Takacs, L. (1967). On the method of inclusion and exclusion. J.
of the Amer. Math. Association 62,

102–113.

[12] Prekopa, A. (1995). Stochastic Programming, Kluwer Academic
Publishers, Dordrecht, Boston.

[13] Dawson, D., A. Sankoff (1967). A inequality for probabilities.
Proc. Am. Math. Soc. 18, 504–507.

[14] Kwerel, S.M. (1975a). Most stringent bounds on aggregated
probabilities of partially specified

dependent probability systems. J. Am. Statist. Assoc. 472–479.

[15] Prekopa, A. (1988). Boole-Bonferoni inequalities and linear
programming. Operations Research 36,

145–162.

[16] Boros, E., A. Prekopa (1989). Closed form two-sided bounds for
probabilities that exactly r and at

least r out of n events occur. Math. Opns. Res. 14, 317–342.

[17] Prekopa, A. (2001b). Discrete higher order convex functions and
their applications. Generalized

convexity and monotonicity, in: N. Hadjisavvas et al. (eds.), Lecture
Notes in Economics and Mathematical Systems, Springer, Berlin, pp.
21–47.

[18] Deak, I. (1980). Three digit Accurate Multiple Normal
Probabilities. Numerische Mathematik, 35,369–380.

[19] Deak, I. (1990). Random Number Generators and Simulation, Akade
miai Kiado , Budapest.

[20] Deak, I. (1998). Linear regression estimators for multinormal
distributions in optimization of stochastic programming problems. EJOR
III, 555–568.

[21] Deak, I. (2000b). Subroutins for computing normal probabilities
of sets – computer experinces. Annals of Oper. Res. 100, 103–122.

[22] Deak, I. (2001). Two-stage stochastic problems with correlated
normal variables: computational experiences. Annals of Oper. Res., to
appear.

[23]Szantai, T. (1986). Evaluation of a special multivariate gamma
distribution. Mathematical

Programming Study 27, 1–16.

[24]Szantai, T. (2000). Improved bounds and simulation procedures on
the value of the multivariate

normal probability distribution function. Annals of Oper. Res.100,
85–101.

[25]Gassmann, H.I. (1988). Conditional probability and conditional
expectation of a random vector, in:Y. Ermeliev, R.J.-B. Wets (eds.),
Numerical Techniques for Stochastic Optimization, Springer Verlag,
Berlin, Heidelberg, New York, pp. 237–254.

[26]Gassmann, H.I., I. Deak, T. Szantai (2002). Computing multivariate
normal probabilities. J. of Computational and Graphical Stat. 11,
920–949.

[27] Stefano Bragaglia, Fabrizio Riguzzi, Approximate Inference for
Logic Programs with Annotated Disjunctions 2011

[28] Angelika Kimmig，V?tor Santos Costa, Ricardo Rocha, Bart Demoen,
and Luc De Raedt On the Efficient Execution of ProbLog Programs 2008

[29] Hardesty, Larry. Graphics in reverse. April 13, 2015

[30] Predicting Drug-Induced Liver Injury with Bayesian Machine
Learning 2019

[31] MIT’s Gen programming system flattens the learning curve for AI
projects. VentureBeat. 2019-06-27 [2019-06-27]

[32] Poole, D.: Abducing through negation as failure: stable models
within the independent choice logic. J. Log. Program. 44(1-3) (2000)
5–35

[33] DAAN FIERENS,GUY VAN DEN BROECK,JORIS RENKENS,DIMITAR SHTERIONOV
Inference and learning in probabilistic logic programs using weighted
Boolean formulas 2014

[34] Brian Milch, Bhaskara Marthi Probabilistic Models with Unknown
Objects 2006

[35]Bernd Gutmann,The Magic of Logical Inference in Probabilistic
Programming 2012

[36] Nimar S. Arora, Rodrigo de Salvo Braz, Erik B. Sudderth, Stuart
Russell Gibbs Sampling in Open-Universe Stochastic Languages 2010

[37] Bogdan Moldovan, MCMC Estimation of Conditional Probabilities in
Probabilistic Programming Languages 2013

[38] Maarten van der Heijden 1, Peter J F Lucas Describing disease
processes using a probabilistic logic of qualitative time 2013

[39] Ingo Thon Stochastic relational processes: Efficient inference
and applications 2011

[40] William Yang Wang, Programming with Personalized PageRank:A
Locally Groundable First-Order Probabilistic Logic 2013

[41] Stan. mc-stan.org.

[42] Dimple Home Page. analog.com.

[43] Chimple Home Page. analog.com.

[44] Infer.NET. microsoft.com. Microsoft.

[45] PRISM: PRogramming In Statistical Modeling. rjida.meijo-u.ac.jp.
[July 8, 2015].

[46] Taisuke SATO, PRISM : A Languag e fo r Symbolic-Statistica l
Modeling 1997

A review on approximation probabilistic programming

Abstract:

Probabilistic programming is a new programming paradigm, in the process
of probabilistic programming reasoning, approximate algorithm can
greatly optimize efficiency. Approximation algorithms in probabilistic
programming can be divided into boundary approximation algorithm and
simulation approximation algorithm. The boundary approximation algorithm
calculates the subsets or supersets of all possible worlds for which the
query is true to obtain the upper and lower bounds of the probability of
the query’s success. The analog approximation algorithm randomly
generates a large number of possible worlds through sampling. When a
query is valid on a sample fragment, the probability of a successful
query can be calculated from that sample. I have developed interest in
probabilistic programming in PPL courses and collected some materials. I
hope to learn about this knowledge with you.

Key words: Approximate probabilistic programming, analog sampling,
approximate boundaries
sample fragment, the probability of a successful
query can be calculated from that sample. I have developed interest in
probabilistic programming in PPL courses and collected some materials. I
hope to learn about this knowledge with you.

Key words: Approximate probabilistic programming, analog sampling,
approximate boundaries

總結

以上是生活随笔為你收集整理的近似概率编程文献综述的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。