約 468,700 件
https://w.atwiki.jp/lliiorziill/pages/108.html
確率 (Probability) 全事象において、条件 A が起こりうる確率を P(A) とする。 この時、A ∩ B となる確率は、P(A ∩ B) である。 P(A ∩ B) = 0 の場合、条件 A と B は互いに排反事象であると言える。 P(A) + P(B) = 1 の場合、条件 A と B は互いに余事象であると言える。 条件 A のうち、B が満たされる確率は、P(B | A) と表す。 この時、P(B | A) = P(A ∩ B) / P(A) となる。 ∴ P(A ∩ B) = P(B | A) * P(A) = P(A | B) * P(B) 眼鏡をかけている人を A、女性を B とする。 眼鏡をかけている人のうち女性の割合 P(B | A) = P(A ∩ B) / P(A) 女性のうち眼鏡をかけている人の割合 P(A | B) = P(A ∩ B) / P(B) 眼鏡をかけている人のうち男性の割合 P(A | B ) = P(A ∩ B ) / P(B ) ある電機小売店の店主は A、B、C のメーカーから電球を仕入れている。 A から 30%、B から 45%、C から 25% の電球を仕入れているが、 このうち、A と B の電球には 1% の不良品があり、C の電球には 2% の不良品がある。 いま、電球 1 個を選んだ時にそれが不良品だった時に、C の電球である確率はいくらか。 電球が不良品である確率を F とすると、 P(F) = P(A ∩ F) + P(B ∩ F) + P(C ∩ F) P(A) = 0.3, P(B) = 0.45, P(C) = 0.25 P(F | A) = 0.01, P(F | B) = 0.01, P(F | C) = 0.02 求めるべき確率は、不良品のうち C である割合なので P(C | F) となる。 P(C | F) = P(C ∩ F) / P(F) = P(C ∩ F) / P(A ∩ F) + P(B ∩ F) + P(C ∩ F) = (P(F | C) * P(C)) / {P(F | A) * P(A) + P(F | B) * P(B) + P(F | C) * P(C)} = (0.02 * 0.25) / (0.01 * 0.3 + 0.01 * 0.45 + 0.02 * 0.25) = 0.4 = 40% 袋の中に赤玉 4 個,白玉 3 個,黒玉 5 個があり、 3 個の玉を取り出すとするとき次のものを求めよ。 1) 3 つとも赤玉である確率 2) 3 つとも同色である確率 全事象 12C3 = 220 (通り) 1) 3 つとも赤玉である場合 4C3 = 4 (通り) ∴ 4C3 / 12C3 = 1 / 55 = 1.8% 2) 3 つとも同色である場合 4C3 + 3C3 + 5C3 = 15 (通り) ∴ (4C3 + 3C3 + 5C3) / 12C3 = 3 / 44 = 6.8% 問題 1 トランプ52枚から13枚を抜き取ったとき8枚がスペードである確率は? 13C8 * 39C5 / 52C13 = 0.117% トランプ52枚から13枚を抜き取ったときx枚がスペードである確率P(x)は? P(x) = 13Cx * 39C(13-x) / 52C13 袋の中に赤玉4個,白玉3個,黒玉5個がある。3個の玉を取り出してすべて異色である確率は? (4C1 * 3C1 * 5C1) / 12C3 = 27.27% 袋の中に赤玉4個,白玉3個,黒玉5個がある。3個の玉を取り出すときすべて色の組合せの確率P(r,w,b)は? P(r,w,b) = (4Cr * 3Cw * 5Cb) / 12C3 問題 2 10人の誕生日がダブる確率は? 1 - 365P10 / 36510 = 11.69% x人の誕生日がダブる確率P(x)は? P(x) = 1 - 365Px / 365x 2択問題10題をランダムに答えて60点以上とれる確率は? (10C6 + 10C7 + 10C8 + 10C9 + 10C10) / 210 = 37.70% x 択問題 y 題をランダムに答えて60点以上とれる確率 P は? 問題 3 A,B,C 3人が受験した。これまでの成績からして彼らが合格する確率はそれぞれ80%,50%、30%である。次の確率を求めよ。 1) 3人とも合格する確率 2) 2人だけが合格する確率 3) 3人のうち少なくとも1人は合格する確率 1) 3 人合格する確率 0.8 * 0.5 * 0.3 = 12% 2) 2 人だけ合格する確率 P(A ∩ B ∩ C ) = 0.8 * 0.5 * (1 - 0.3) P(A ∩ B ∩ C) = 0.8 * (1 - 0.5) * 0.3 P(A ∩ B ∩ C) = (1 - 0.8) * 0.5 * 0.3 P(A ∩ B ∩ C ) + P(A ∩ B ∩ C) + P(A ∩ B ∩ C) = 43% 3) 3 人のうち少なくとも 1 人は合格する確率 1 - P(A ∩ B ∩ C ) P(A ∩ B ∩ C ) = (1 - 0.8) * (1 - 0.5) * (1 - 0.3) 1 - P(A ∩ B ∩ C ) = 93% 統計処理 平均値 (mean) m = Σxk / n [合計 / 個数] Excel 関数 AVERAGE 中央値 (median) ソートした時に中央に位置する値 Excel 関数 MEDIAN 分散 (variance) 平均値との差の二乗の総和の平均 Σ(xk-m)2 / n = Σxk2 / n - m2 Excel 関数 VARP 標準偏差 (Standard Deviation) 分散の平方根 m ± σ Excel 関数 STDEV = m + σ、STDEVP = m - σ 頻度分布 度数分布表 Excel 関数 FREQUENCY 最頻値 Excel 関数 MODE 色々な平均 相加平均 m = (a + b) / 2 相乗平均 m = (a * b) ^ (1/2) 調和平均 2 / m = 1 / a + 1 / b 相加平均 ≧ 相乗平均 ≧ 調和平均 片道 10 km の道のりを、行きは時速 10 km、帰りは時速 5 km で往復した場合の平均速度を求めよ。 m = 20 / (10 / 10 + 10 / 5) = 6.7 (km/h) 偏差値 平均を 50、標準偏差を 10 に調整したもので 素点 x では 50 + 10(x - m) / σ となります。 共分散 Σ(xk - mx)(yk - my) / n Excel 関数 COVAR 相関係数 共分散 / (σx * σy) Excel 関数 CORREL 参考リンク 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。- 群馬大学 青木繁伸氏のサイト 二項分布 サイコロを 10 回振って 1 の目が 8 回出る確率は? p = 1/6 P = p8(1-p)210C8 Excel 関数 BINOMDIST 試行回数 n, 発生回数 r, 発生確率 p 一般式 P(n) = pr(1-p)n-rnCr ポアソン分布 (Poisson Distribution) n や p は分からないが、統計的に np が分かっている場合 交通事故の死者数が 0 である確率 1 ページあたりの誤植が k 個存在する確率 緊急入院者が k 人である確率 np = λ とすると、 P(k) = e-λλk / k! (e はネイピア数) Excel 関数 POISSON 超幾何分布 赤白の玉 N 個 (うち n 個が赤) から m 個取り出して r 個が赤である確率 [0 ≦ r ≦ min(m, n)] P(r)=nCr・N - nCm - r / NCm Excel 関数 HYPGEOMDIST 実践 日本女子プロ野球における、全 40 試合の得点数から、 各チームの勝率をポアソン分布を用いて計算してみました。 兵庫スイングスマイリーズ 合計得点 232 点 → 平均 5.8 点 ∴ λS = 5.8 京都アストドリームス 合計得点 156 点 → 平均 3.9 点 ∴ λD = 3.9 これにより、例えば兵庫スイングスマイリーズが 4 点を取る確率 PS は、 PS(4) = e-5.8 * 5.84 / 4! = 14.28 % また、京都アストドリームスが 4 点を取る確率 PD は、 PD(4) = e-3.9 * 3.94 / 4! = 19.51 % ちなみに、ポアソン分布で計算すると、各チームで最も確率が高いのは 兵庫スイングスマイリーズ 5 点 (16.56 %) 京都アストドリームス 3 点 (20.01 %) となりました。 さて、各チームの勝率を求めるには下記のような計算を行います。 京都アストドリームスが勝つ確率 京都 AD が 1 点の時で、兵庫 SS が 0 点の場合 京都 AD が 2 点の時で、兵庫 SS が 0 点または 1 点の場合 京都 AD が 3 点の時で、兵庫 SS が 0 点または 1 点または 2 点の場合 (以下略) 京都アストドリームスが勝つ確率 PDW を求めるには、 上記をすべて加算すれば良いことになります。 PDW = PD(1) * PS(0) + PD(2) * (PS(0) + PS(1)) + PD(3) * (PS(0) + PS(1) + PS(2)) + … 実際には、k が 20 以上の時は PD(k) と PS(k) はほとんど 0 になります。 よって、計算式は下記になります。 = 21.83 % 兵庫スイングスマイリーズが勝つ確率 = 67.30 % 兵庫スイングスマイリーズが勝つ確率 67.30 % 京都アストドリームスが勝つ確率 21.83 % 両チーム引き分けとなる確率 10.87 %
https://w.atwiki.jp/aspirin-marcov/pages/62.html
マルコフ連鎖モンテカルロ(MCMC)法 特別なタイプの確率過程、「マルコフ連鎖Markov chain」をシミュレートすることにより分析的方法では容易に研究できない複雑な確率分布を研究する方法である。 Markov chainでは、ある確率変数のシリーズを生成するが、ある時点での将来的な状況である確率分布はその時点での状況によって完全に決定されるようなchainである。 充分chain生成を繰り返していくと、特定の確率分布に収束して繰り返し回数に依存しなくなる。 この方法の基本的なアイデアは、静的分布を持ったMarkov chainを生成し、その分布からサンプリングして推定を行うというものである。ベイズ解析においては、そのような静的分布とは結合事後分布のことである。 MCMCはそのほか最尤推定などの尤度推定においても用いられる。 モンテカルロ積分 この方法のアイデアは、たくさんシミュレーションすれば確率変数の属性を研究できるというものである。 この方法のメリットは、バイアスのない推定量を得られ、標準誤差は正確であること。 デメリットは、少しでも複雑になると計算が膨大になることである。 メトロポリス・ヘイスティングス アルゴリズム この方法は、静的なMarkov chainからサンプリングして確率分布の観察をシミュレートしようとする点で考え方は同じである。 ただしこの場合は、静的な分布からの独立な観察を行う代わりに収束するまで値を連続的に追跡し、それからシミュレート値をサンプリングすることで独立なサンプリングに似せた状態をつくる。(わけわかんない) モーメント 分布についての情報。 物理学のモーメントと数学的な振る舞いが似ているため、モーメントの名が与えられたらしい。 meanは、原点のまわりの一次モーメント 分散は、平均のまわりの二次モーメント 一般化すると 原点のまわりのk次モーメント 原点のまわりのk次の絶対モーメント 平均のまわりのk次モーメント 平均のまわりのk次の絶対モーメント 離散型の確率変数Xのモーメント生成関数(積率母関数)は 連続型の確率変数Yのモーメント生成関数は 確率変数Zのモーメント生成関数MZ(t)がt=0のまわりで存在する場合、MZ(t)のk階導関数にt=0を代入したものはk次モーメントとなる。つまり 証明 exの展開式 にtXを代入し 両辺の期待値をとると 確率変数の分布を求めるためにモーメント生成関数を用いることもある。
https://w.atwiki.jp/novpat/pages/14.html
確率論の概要確率論とは 確率論を用いると分かること 例 確率論の基礎概念標本空間と確率 確率の有限加法性 確率変数 (Probabilistic variable) 条件付き確率 期待値 (Expectation) 共分散と相関係数(Covariance, Correlation coefficient) 確率論の諸定理チェビシェフの不等式 大数の弱法則 統計学確率モデル 共分散行列と主成分分析 確率論の概要 確率論とは 確率論は「確率があらかじめわかっている」ということを前提にスタートする理論である.確率が何によって定まるのかという問題は追求せず,確率が満たすべき性質をいくつか規定し、その性質から導くことのできる定理を突き詰めていく.確率分布(確率モデル)自体を,たとえば観測したデータから推定したり求めたりすることは,統計学の役割であり,確率論ではあくまで個々の確率は既知であるとして解析を始める. 確率論を用いると分かること ある事象の確率分布が明らかとき、それと因果関係のある事象の確率分布がどうなっているか。 ある因果関係の確率分布(条件付き確率分布)が明らかなとき、残りどんな確率分布が明らかになれば、所望の因果関係を表す確率分布が明らかになるか。 例 たとえば宝くじの場合,何枚売りに出され,そのうち当たりが何枚あるのかという情報は抽選前にあらかじめ決められている.その意味で,当選確率は既知である.その上で確率論を用いれば,宝くじを買うことによる損失あるいは逆に利益について,数理的に数値をあげて答えることができる. Ex.期待値や分散など 確率論の基礎概念 標本空間と確率 を可算集合として,の部分集合に,写像が与えられているとする. このとき,全体集合とその部分集合をそれぞれ標本空間,事象と呼び,部分集合(事象)の実数値への写像を確率という. 標本空間の元は根元事象と呼ばれる. いうまでもなく,は0と1の間の値をとる関数であり,である. 確率の有限加法性 事象(部分集合)を同時に満たすが存在しないとき,つまりならば,とは互いに排反であるという. が排反ならば,またはが起こる確率は,定義からそれぞれの確率の和になる. 確率の持つこの性質を加法性という. 確率変数 (Probabilistic variable) 標本空間の元(根源事象)が与えられたときに,値が一つ定まるような関数を確率変数という. 確率変数を用いると,がになるようなの集合(事象)をと表すことができる. 条件付き確率 事象に含まれる根源事象を集めたとき(),この中から事象が起きる確率を条件付き確率と呼ぶ. 条件付き確率は次式で定義される. 分母は規格化定数である. 条件付き確率の定義を用いると,結合(同時)確率は次のように展開することができる. また, も成り立つ.上式をベイズの定理という. は事後確率,は事前確率と呼ばれ,の関数は尤度関数と呼ばれる(確率の規格化条件を満たしていないので,確率と区別してこう呼ぶ). ベイズの定理は,の確率モデルを作ることが困難な場合(例えば,事象の種類が非常に多いとき)に有用である. 期待値 (Expectation) 確率変数の期待値は次式で求めることができる. 共分散と相関係数(Covariance, Correlation coefficient) 確率変数の共分散は次式で定義される. 共分散は変数間の関連性を表す指標である. ただし,単位の異なる変数間の共分散では数値の意味がわかりにくい. そこで一般的には相関係数が用いられる. 相関係数の定義は次式のとおりである. 確率論の諸定理 チェビシェフの不等式 大数の弱法則 統計学 確率モデル 科学においてモデル化(単純化)には大きく分けて二つある.一つが力学モデルであり,もう一つが確率モデルである. 力学モデル(低次元化)が現象の時間変化を定式化するのに対し,確率モデルでは現象のダイナミクスまでも棄ててしまい,現象の出現確率のみを規定することで現象を表現する. 共分散行列と主成分分析 分散,共分散を行列として整理したものを共分散行列という.共分散行列の固有ベクトルは
https://w.atwiki.jp/hmiku/pages/17086.html
【検索用 せいきふんふのうた 登録タグ 2008年 VOCALOID せ りくのら ニコニコ外公開曲 初音ミク 曲 曲さ】 + 目次 目次 曲紹介 歌詞 コメント PIAPRO 作詞:りくのら 作曲:りくのら 編曲:りくのら 唄:初音ミク 曲紹介 曲名:『正規分布の歌』(せいきぶんぷのうた) 統計を学ぶための覚え歌です。内容については、こちらのサイトをご覧ください。【ミクの歌って覚える統計入門】http //miku.motion.ne.jp/ ピアプロの投稿者コメントより転記 歌詞 (ピアプロより転載) 正規分布は ルート2π(パイ)σ(シグマ)ぶんの エキスポネンシャルマイナス2σ(シグマ)二乗ぶんの かっこX(エックス)マイナスμ(ミュー)二乗 μ(ミュー)は平均 σ(シグマ)は偏差 σ(シグマ)二乗は分散 なぜかっていうとね エキスポネンシャルマイナスX(エックス)二乗を 積分するとルートπ(パイ) コメント 名前 コメント コメントを書き込む際の注意 コメント欄は匿名で使用できる性質上、荒れやすいので、 以下の条件に該当するようなコメントは削除されることがあります。 コメントする際は、絶対に目を通してください。 暴力的、または卑猥な表現・差別用語(Wiki利用者に著しく不快感を与えるような表現) 特定の個人・団体の宣伝または批判 (曲紹介ページにおいて)歌詞の独自解釈を展開するコメント、いわゆる“解釈コメ” 長すぎるコメント 『歌ってみた』系動画や、歌い手に関する話題 「カラオケで歌えた」「学校で流れた」などの曲に直接関係しない、本来日記に書くようなコメント カラオケ化、カラオケ配信等の話題 同一人物によると判断される連続・大量コメント Wikiの保守管理は有志によって行われています。 Wikiを気持ちよく利用するためにも、上記の注意事項は守って頂くようにお願いします。
https://w.atwiki.jp/tkonishi73/pages/513.html
確率分布のグラフ(p.76~80) 正規分布の復習 カイ2乗分布 今回の感想を入れてください。 難しかったです。 -- P011003 石丸里美 (2013-06-04 17 55 29) 難しいです(;O;)でも、私はやります!来週もう一度お願いします!! -- m010031 真鍋圭依 (2013-06-04 17 57 47) カイ二乗検定の内容に頭が混乱してます。一先ず、自分で調べます。 -- M010011 佐川綾香 (2013-06-04 17 58 23) 打ち込む式が簡単になっても、意味などが複雑すぎてわけがわからなくなりました。 -- P011015 栄美穂 (2013-06-04 17 59 00) 名前 コメント
https://w.atwiki.jp/t-style/pages/22.html
ここを編集 ベータ分布(Beta Distribution) パラメータ(a,b)の設定次第でさまざまな形状(単峰型、単調増加、単調減少、お椀型)をとる不思議な確率分布。ベイズ推定のコンテキストでは、二項分布のパラメータに対する共役事前分布となることが重要となる。 確率密度関数 実装例 言語 Python 2.6 + scipy + matplotlib ソース BetaDistribution.py 結果 グラフ PRMLの例と同じ。 青: 赤: 緑: 黄:
https://w.atwiki.jp/novpat/pages/15.html
確率的情報処理とは グラフィカルモデルベイジアンネットワーク マルコフ確率場 (Marcov Random Field) 推論方法最尤推定 EMアルゴリズム ベイズ推定とMAP推定 サンプリング手法ギブスサンプラー(熱浴法) 平均場近似 マルコフ過程 隠れマルコフモデル シミュレーティッドアニーリング 確率的情報処理とは ただ一つの入力に対して,ただ一つの出力を考えるのが決定的情報処理. ただ一つの入力に対して,あらゆる状態の可能性(条件付き確率分布)を考慮(モデル化)し, 状態の分布の平均や分散を求めることによって,出力値を考えるのが確率的情報処理. グラフィカルモデル 確率変数をノード,確率変数間の(統計的)依存関係を辺で表したモデル. このグラフに基づき未知変数の条件付き結合分布(確率モデル)を求め,推論をおこなう. ベイジアンネットワーク 有向グラフによって確率変数間の依存関係を表したグラフィカルモデル.ただし,辺のサイクルは認められない. データベースより変数間の確率モデル(条件付き確率分布)を学習し,その推定値(統計量 etc)を計算することにより未観測データの推論をおこなう技術である. マルコフ確率場 (Marcov Random Field) 無向グラフによって確率変数間の依存関係を表したグラフィカルモデル. 各ノード(確率変数)の他ノードに対する条件付き分布は最近接ノードにのみ依存する.(場のマルコフ性を仮定) マルコフ確率場の結合分布はHammersley-Cliffordの定理よりギブス分布と等価であることが証明されている. 推論方法 最尤推定 尤度関数を最大化するを推定値とする手法. この場合,がの変数であり, であるため,を確率分布ではなく尤度関数と呼ぶ. EMアルゴリズム 不完全なデータセットより,パラメータの推定をおこなう手法である. 観測できないデータを,観測できるデータをとすると,は一意に定めることができない. そこで尤度関数 の期待値 を最大化することを考える. を求めるために必要な確率にはを用いる. (E-Step) を計算し, (M-Step) を最大化するを次のとする. 以上のステップを反復し,最終的に得られたを推定値とする. ベイズ推定とMAP推定 が観測されたときの事後分布をとしたとき, の期待値 をの推定値とする方法をベイズ推定と呼び, となるを推定値とする手法をMAP推定と呼ぶ. なお,の条件付き周辺分布をとするとき, となるを推定値とする手法をMPM推定と呼ぶ. サンプリング手法 ギブスサンプラー(熱浴法) とするとき,着目する確率変数以外を固定し,条件付き確率分布より,のサンプルを抽出する. 得られた値を次の状態として,同様の処理を繰り返す. 条件付き確率分布から次状態をサンプリングできるかどうかが重要であり,困難な場合は逆関数法(または格子ギブスサンプラー)が用いられる. 平均場近似 大自由度系の確率システムにおいて,期待値を求めることは極めて困難である. そこで依存する確率変数の値を平均値と近似することで導出される条件付き周辺分布を用いての期待値を求める手法が平均場近似である. (はからを除いたもの) マルコフ過程 隠れマルコフモデル シミュレーティッドアニーリング
https://w.atwiki.jp/cheese1031/pages/42.html
正規分布に従う確率変数に定数を加減乗除してもそれはまた正規分布に従う 加減は省略 乗法は一例を とする。X = 2Y (Y = X/2) とおく(乗法)。このとき となっているかを確かめればよい。 (ちなみに平均とか分散は簡単に計算できる。密度関数がきちんと正規分布の体をなしているか見たいだけ) 一方、 であり、x = 2y とおくと dx = 2dy なので、置換すると となるので、確かめられた。 正規分布に従う確率変数2つを加減してもそれはまた正規分布に従う 独立な場合 簡単のため、二つの確率変数を とおく。このとき Z = X + Y が となることを確かめたい。 X , Y の密度関数 f(x) , g(x) はそれぞれ であるので、Z の密度関数 h(t) は、X , Y が独立であることから として求められる。 後の計算は http //www.tcp-ip.or.jp/~n01/math/probability/addition_of_normal_distribution.pdf などを参照。 和の密度関数の計算については「明解演習 数理統計」P28 を参照。 独立でない場合 簡単のため、確率変数の組 (X,Y) は平均 0 ,分散 1 ,相関係数 ρ (|ρ| 1) の2変量正規分布に従うとする。 このとき Z = X + Y は となるはずである。 U = X + Y , V = X とおく(X = V , Y = U - V)(V のおき方は別に X - Y とかでもかまわない?はず)。 また、f(x,y) を (X,Y) の密度関数とする。これは で与えられる。 このとき (U,V) の密度関数 g(u,v) は として与えられる。 この密度関数の U の周辺密度関数 g_U (u) が、求めたい Z の密度関数となる。これをガウス積分の公式などを用いて計算すると、 となり、これは確かに N( 0 , 2 ( 1 + ρ ) ) に従う確率変数の密度関数となっている。
https://w.atwiki.jp/waxwing_k/pages/16.html
ベイズ推論とベイジアンネットワーク ベイズ則と周辺化 確率と推論 「観測結果からその原因を推定する」という操作が必要になる 通信における様々な問題も同様の種類の問題である 観測値からベイズ則(Bayes rule)を用いて原因の事後確率分布を計算するという形で推論を行う 確率(probability)は命題の尤もらしさを表す量 観測値から非観測値の事後確率(posterior probability)を計算する操作を推論(inference)と呼ぶ 確率計算の問題は二つに分けられる"因→果"の方向に確率を計算する問題を順確率問題 "果→因"の方向に確率を計算する問題を逆確率問題 or機能的推論 確率の基本計算則 結合確率 (joint probaility) ベイズ則 周辺化 推論計算の例 最大事後確率復号法 事後確率分布 ブロック単位MAP復号法 ブロック単位最大事後確率復号法(bockwise MAP decoding)は,与えられた受信語yに対してP(X|Y=y)の値を最大化するCの符号語を推定送信語とする復号法である 最尤復号法 (Maximum Likelihood Decoding; MLD) シンボル単位MAP復号法 シンボル単位事後確率分布 P(X_i|Y=y) 計算量の問題 前節での復号に必要とされる計算時間は指数時間となる この計算量の問題を解決するには 計算が容易になる,容易に近似できるような特殊な構造をもつ線形符号を利用する すべての符号語を生成するよりも効率の良い復号アルゴリズムを利用する 上の条件1を満たすものがLDPC符号であり,条件2を満たすものがsum-product復号法である 周辺分布の効率良い計算手法 ここで考える周辺分布とは,事後確率分布の不必要な変数,パラメータを周辺化により取り除いて得られる確率分布である 復号における計算量の問題わ和の計算が膨大になる点 積和計算と分配則 積和計算 分配則 分配則を用いると積和計算が減らせる ベイジアンネットワーク ベイジアンネットワークは,結合分布における変数間の依存関係を表す非巡回有効グラフである 結合分布がうまく因数分解出来る構造を持っていれば,分配則を利用して結合分布の周辺化を実行できる メッセージ交換に基づく周辺分布の計算 結合分布の周辺化をベイジアンネットワーク上でのメッセージパッシングアルゴリズムの形で見直してみる 各ノードは隣接したノードから送られてくる局所積和に基づいて研鑽して隣接した送り先ノードへ送る 変数Aを根 (root) とした変数Aの周辺分布計算の計算木と見ることもできる ファクターグラフとsum-productアルゴリズム n変数関数の因子分解の構造をグラフ化したものがファクターグラフである 多変数関数の周辺化問題 ファクターグラフ sum-productアルゴリズム 積操作 (product operation) 和操作 (sum operatin) sum-productアルゴリズムはループがある場合には,正確に計算できる保証はないが,周辺化関数の近似計算アルゴリズムとして利用できる sum-productアルゴリズムに関する研究の流れ 隠れマルコフモデルに対する前向き後ろ向きアルゴリズム (BCJRアルゴリズム) Viterbiアルゴリズム ターボ復号法 (turbo decoding) belief propagation カルマンフィルタ (Kalman filter) 文献案内 ↑低密度パリティ検査符号とその復号法
https://w.atwiki.jp/nopu/pages/153.html
Bernoulli分布 標本空間 Ω 確率変数 X Ω → {0,1} Xに対する分布のこと。 パラメータは唯一 p のみである。 二項分布 ベルヌーイ分布に従う独立な確率変数の列を {Xn} として,その和が従う分布 n 個の独立なベルヌーイ試行の「成功」の数 が従う分布である。 多項分布 各試行において,確率変数の値域を{0,1,...,k}にまで拡張したときの,合計の分布 ポワソン分布 単位時間あたり平均Λ回生起する事象が,ちょうどk回生起する確率。 [導出] 単位時間をn個の微小区間に区切って,各区間で生起する回数が高々1回であるようにして, さらにそれらの区間で生起する確率は等しくp=Λ/n であると仮定する。 このとき単位時間のうちにちょうどk回生起する確率は,二項分布B(n,p)に従うと考えてよく,以下で与えられる。 ここで n→∞ とすれば,求める分布が得られる。 指数分布 単位時間あたり平均Λ回生起する事象が初めて生起するまでの待ち時間τの分布。 Weibull分布 指数分布の変形版。機械の故障率が時間で変化することを想定したもの。 ある機械が単位時間τに1回壊れるとき、時刻tまでに壊れる確率分布 α 1 のとき初期故障型 α=1 のとき偶発故障型(故障率が時間によらないモデル。指数分布) α 1 のとき摩耗故障型 ガンマ分布 単位時間に1回起こる独立な事象がちょうどa回起こるまでの時間tの分布 下限のある分布としてモデリングに使われる。 ベータ分布 特に のとき なる単峰型分布 のときは一様分布になる。 有界区間上の分布(試験の点数など)として使われる。 ディリクレ分布 ベータ分布の多変数版 コーシー分布 平均を持たない。従って分散を含めた高次のモーメントも定義されない。 一様乱数をタンジェントで飛ばすと表れる。 あるいは,2つの独立な標準正規乱数の商として表れる。 marh X_1, X_2 \sim \mathcal{N}(0, 1) /math