Página principal › Índice multilingüe del archivo › Teorema de Bayes

 Top 10 de los artículos YouTube Gmail Goole GayRomeo Números chinos Números romanos Orkut Costco Sistema porta hepático El mundo Factbook

News:

Teorema de Bayes

En teoría de las probabilidades, Teorema de Bayes (llamado a menudo Ley de Bayes) relaciona probabilidades condicionales y marginales de dos acontecimientos al azar. Es de uso frecuente computar probabilidades posteriores observaciones dadas. Por ejemplo, un paciente puede ser observado para tener ciertos síntomas. El teorema de Bayes se puede utilizar para computar la probabilidad que una diagnosis propuesta está correcta, dado esa observación. (Véase ejemplo 2)

Como formal teorema, El teorema de Bayes es válido en todo común interpretaciones de la probabilidad. Sin embargo, desempeña un papel central en el discusión alrededor de fundaciones de la estadística: frequentist y Bayesian las interpretaciones discrepan sobre las maneras de las cuales las probabilidades se deben asignar en usos. Frequentists asigna probabilidades a los acontecimientos al azar según sus frecuencias de la ocurrencia o a los subconjuntos de poblaciones como proporciones del conjunto, mientras que Bayesians describe probabilidades en términos de creencia y grados de incertidumbre. Los artículos encendido Probabilidad Bayesian y probabilidad del frequentist discuta estos discusiones con más detalles.

Contenido 1 Declaración del teorema de Bayes 2 Teorema de Bayes en términos de probabilidad 3 Derivación de probabilidades condicionales 4 Formas alternativas del teorema de Bayes 4.1 Teorema de Bayes en términos de probabilidades y probabilidad - cociente 4.2 Teorema de Bayes para las densidades de la probabilidad 4.3 Teorema de Bayes abstracto 4.4 Extensiones del teorema de Bayes 5 Ejemplos 5.1 Ejemplo #1: Probabilidades condicionales 5.1.1 Tablas de ocurrencias y de frecuencias relativas 5.2 Ejemplo #2: Prueba de la droga 5.3 Ejemplo #3: Inferencia Bayesian 5.4 Ejemplo #4: El problema de Monty Pasillo 6 Observaciones históricas 7 Vea también 8 Referencias 8.1 Versiones del ensayo 8.2 Comentarios 8.3 Material adicional

Declaración del teorema de Bayes

El teorema de Bayes relaciona las probabilidades condicionales y marginales de acontecimientos A y B, donde B tiene una probabilidad de no-desaparición:

Cada término en el teorema de Bayes tiene un nombre convencional:

• P (A) es probabilidad anterior o probabilidad marginal de A. Es “anterior” en el sentido que no considera ninguna información alrededor B.
• P (A|B) es probabilidad condicional de A, dado B. También se llama probabilidad posterior porque se deriva de o depende del valor especificado de B.
• P (B|A) es la probabilidad condicional de B dado A.
• P (B) es la probabilidad anterior o marginal de B, y actos como a normalización de constante.

Intuitivo, el teorema de Bayes en esta forma describe la manera de la cual su creencia sobre la observación de “A” es puesta al día observando “B”.

Teorema de Bayes en términos de probabilidad

El teorema de Bayes se puede también interpretar en términos de probabilidad:

Aquí L(A|b) es la probabilidad de A dado fijo b. La regla es entonces una consecuencia inmediata de la relación .

Con esta terminología, el teorema se puede parafrasear como

(donde α es una constante la normalización igual a P(B)).

En palabras: la probabilidad posterior es proporcional al producto de la probabilidad anterior y de la probabilidad.

Derivación de probabilidades condicionales

A derivar el teorema, comenzamos de la definición de probabilidad condicional. La probabilidad del acontecimiento A acontecimiento dado B es

Equivalente, la probabilidad del acontecimiento B acontecimiento dado A es

Cambiando y combinando estas dos ecuaciones, encontramos

Esto lema a veces se llama la regla del producto para las probabilidades. Dividir ambos lados por P (B), proporcionando que es diferente a cero, obtenemos el teorema de Bayes:

Formas alternativas del teorema de Bayes

El teorema de Bayes es embellecido a menudo observando eso

donde A^C es complementario acontecimiento de A (a menudo llamado “no A”). El teorema se puede exponer en forma modificada tan como

Más generalmente, donde {A_i} forma a partición del espacio del acontecimiento,

para cualesquiera A_i en la partición.

Vea también ley de la probabilidad total.

Teorema de Bayes en términos de probabilidades y probabilidad - cociente

El teorema de Bayes se puede también escribir cuidadosamente en términos de a probabilidad cociente Λ y probabilidades O como

donde sea probabilidades de A dado B,

y son las probabilidades de A por sí mismo,

mientras que es la probabilidad - cociente.

Teorema de Bayes para las densidades de la probabilidad

Hay también una versión del teorema de Bayes para distribuciones continuas. Es algo más duro derivar, desde entonces densidades de la probabilidad, en sentido estricto, no están las probabilidades, así que el teorema de Bayes tiene que ser establecido por un proceso del límite; vea Papoulis (citación abajo), sección 7.3 para una derivación elemental. El teorema de Bayes para las densidades de la probabilidad es formalmente similar al teorema para las probabilidades:

Hay una declaración análoga del ley de la probabilidad total, que se utiliza en el denominador:

Como en el caso discreto, los términos tienen nombres estándares.

es la distribución común de X y Y,

es la distribución posterior de X dado Y=y,

es (en función de x) la función de la probabilidad de X dado Y=y,

y

y

son las distribuciones marginales de X y Y respectivamente, con siendo la distribución anterior de X.

Teorema de Bayes abstracto

Dos dados absolutamente continuo medidas de la probabilidad P˜Q en espacio de la probabilidad y una sigma-álgebra , el teorema abstracto de Bayes para a - variable al azar mensurable X se convierte

.

Esta formulación se utiliza adentro Filtración de Kalman para encontrar Ecuaciones de Zakai. También se utiliza adentro matemáticas financieras para el cambio de numeraire técnicas.

Extensiones del teorema de Bayes

Los teoremas análogos al teorema de Bayes sostienen en problemas con más de dos variables. Por ejemplo:

Esto se puede derivar en algunos pasos del teorema y de la definición de Bayes de la probabilidad condicional:

Semejantemente,

cuál se puede mirar como teorema de un Bayes condicional, y puede ser derivado cerca como sigue:

Una estrategia general es trabajar con una descomposición del probabilidad común, y a margine (integre) sobre las variables que no están de interés. Dependiendo de la forma de la descomposición, puede ser posible probar que algunos integrales deben ser 1, y bajan así de la descomposición; explotar esta característica puede reducir los cómputos muy substancialmente. A Red Bayesian, por ejemplo, especifica una facturización de a distribución común de varias variables en las cuales la probabilidad condicional de cualquier una variable dada los restantes tome una forma particularmente simple (véase Manta de Markov).

Ejemplos

Ejemplo #1: Probabilidades condicionales

Suponga que hay dos tazones de fuente por completo de galletas. El tazón de fuente #1 tiene 10 galletas de viruta de chocolate y 30 galletas llanas, mientras que el tazón de fuente #2 tiene 20 de cada uno. Fred escoge un tazón de fuente al azar, y después escoge una galleta al azar. Podemos asumir que no hay razón de creer los convites de Fred un tazón de fuente diferentemente de otro, asimismo para las galletas. La galleta resulta ser llana. ¿Cómo el probable es él que Fred lo escogió fuera del tazón de fuente #1?

Intuitivo, ésta debe ser mitad mayor que puesto que el tazón de fuente #1 contiene el mismo número de galletas que el tazón de fuente #2, con todo tiene más llano.

Podemos clarificar la situación reformulando la pregunta “cuál es la probabilidad que Fred escogió el tazón de fuente #1, dado que él tiene una galleta llana?” El acontecimiento A es que Fred escogió el tazón de fuente #1, y el acontecimiento B es que Fred escogió una galleta llana. Para computar P (A|B), primero necesitamos saber:

• P (A), o la probabilidad que Fred escogió el tazón de fuente #1 sin importar cualquier otra información. Puesto que Fred está tratando ambos tazones de fuente igualmente, es 0.5.
• P (B), o la probabilidad de conseguir una galleta llana sin importar cualquier otra información. Puesto que hay 80 galletas totales, y 50 de ellos son llano, la probabilidad de seleccionar una galleta llana es 50/80 = 0.625.
• P (B|A), o la probabilidad de conseguir una galleta llana dada Fred escogió el tazón de fuente #1. Puesto que hay 40 galletas en el tazón de fuente #1 y 30 de ellos son llanos, la probabilidad es 30/40 = 0.75.

Dado toda esta información, podemos computar la probabilidad de Fred que selecciona el tazón de fuente #1 dado que él consiguió una galleta llana por la substitución:

Como esperamos, es más que medio.

Tablas de ocurrencias y de frecuencias relativas

Es a menudo provechoso al calcular probabilidades condicionales crear una tabla simple que contiene el número de ocurrencias de cada resultado, o frecuencias relativas de cada resultado, para cada uno de las variables independientes. Las tablas abajo ilustran el uso de este método para las galletas.

Número de galletas en cada tazón de fuente por tipo la galleta		Frecuencia relativa de galletas en cada tazón de fuente por tipo la galleta
Tazón de fuente #1 Tazón de fuente #2 Totales Viruta del chocolate 10 20 30 Llano 30 20 50 Total 40 40 80		Tazón de fuente #1 Tazón de fuente #2 Totales Viruta del chocolate 0.125 0.250 0.375 Llano 0.375 0.250 0.625 Total 0.500 0.500 1.000

La tabla a la derecha es derivada de la tabla a la izquierda dividiendo cada entrada por el número total de galletas bajo consideración, es decir. dividir cada número por 80.

Ejemplo #2: Prueba de la droga

El teorema de Bayes es útil en la evaluación del resultado de pruebas de la droga. Suponga que cierta prueba de la droga es el 99% sensible y el 99% específico, es decir, la prueba identificará correctamente a usuario de droga como positivo de prueba el 99% del tiempo, e identificará correctamente a no utilizador como negativa de prueba el 99% del tiempo. Ésta se parecería ser una prueba relativamente exacta, pero el teorema de Bayes revelará un defecto potencial. Asumamos una corporación decide probar a sus empleados para opio el uso, y 0.5% de los empleados utilizan la droga. Deseamos saber probabilidad que, dado una prueba positiva de la droga, un empleado es realmente un usuario de droga. “D dejada” sea el acontecimiento de ser un usuario de droga y “N” indica ser un no utilizador. Dejado “+” sea el acontecimiento de una prueba positiva de la droga. Necesitamos saber el siguiente:

• P(D), o la probabilidad que el empleado es un usuario de droga, sin importar cualquier otra información. Éste es 0.005, puesto que 0.5% de los empleados son usuarios de droga. Éste es probabilidad anterior de la D.
• P(N), o la probabilidad que el empleado no es un usuario de droga. Esto es 1 − P(D), o 0.995.
• P(+|D), o la probabilidad que la prueba es positiva, dado que el empleado es un usuario de droga. Éste es 0.99, puesto que la prueba es el 99% exacto.
• P(+|N), o la probabilidad que la prueba es positiva, dado que el empleado no es un usuario de droga. Éste es 0.01, puesto que la prueba producirá a positivo falso para el 1% de no utilizadores.
• P(+), o la probabilidad de un acontecimiento positivo de la prueba, sin importar la otra información. Éste es 0.0149 o 1.49%, que es encontrado agregando la probabilidad que la prueba producirá un resultado positivo verdadero en caso de uso de la droga (el = 99% x 0.5% = 0.495%) más la probabilidad que la prueba producirá un positivo falso en caso de uso de la no-droga (el = 1% x 99.5% = 0.995%). Ésta es la probabilidad anterior de +.

Dado esta información, podemos computar la probabilidad posterior P(D|+) de un empleado que probó el positivo realmente que era un usuario de droga:

A pesar de la alta exactitud de la prueba, la probabilidad que un empleado que probó el positivo utilizó realmente las drogas es el solamente cerca de 33%, así que él es realmente más probablemente que el empleado no es un usuario de droga. Cuanto más rara es la condición para la cual nosotros están probando, mayor es el porcentaje de las pruebas positivas que será positivos falsos.

Ejemplo #3: Inferencia Bayesian

Los usos del teorema de Bayes asumen a menudo la filosofía subyacente Probabilidad Bayesian esa incertidumbre y los grados de creencia se pueden medir como probabilidades. Un tal ejemplo sigue. Para los ejemplos resueltos adicionales, incluyendo ejemplos más simples, vea por favor el artículo sobre los ejemplos de Inferencia Bayesian.

Describimos la distribución marginal de la probabilidad de una variable A como distribución anterior de la probabilidad o simplemente el “anterior”. La distribución condicional de A dado los “datos” B es distribución posterior de la probabilidad o apenas el “trasero”.

Suponga que deseamos saber sobre la proporción r de votantes en una población grande que votará “sí” en un referéndum. Dejado n sea el número de votantes en una muestra escogida al azar (elegida con el reemplazo, de modo que tengamos independencia estadística) y deje m sea el número de votantes en esa muestra escogida al azar que vote “sí”. Suponga que observamos n = 10 votantes y m = opinión 7 que votarán sí. Del teorema de Bayes podemos calcular la función de distribución de la probabilidad para r el usar

De esto vemos eso de la función anterior de la densidad de la probabilidad f(r) y la función de la probabilidad L(r) = f(m = 7|r, n = 10), podemos computar la función posterior de la densidad de la probabilidad f(r|n = 10, m = 7).

La función anterior de la densidad de la probabilidad f(r) resume de lo que sabemos sobre la distribución r en ausencia de cualquier observación. Asumimos provisional en este caso que la distribución anterior de r es uniforme sobre el intervalo [0, 1]. Es decir, f(r) = 1. Si se encuentra una cierta información de fondo adicional, debemos modificar el anterior por consiguiente. No obstante antes de que tengamos cualquier observación, todos los resultados son igualmente probables.

Bajo asunción del muestreo al azar, elegir a votantes es justo como bolas que eligen de una urna. La función de la probabilidad L(r) = P(m = 7|r, n = 10,) para tal problema es justos la probabilidad de 7 éxitos en 10 ensayos para a distribución binomial.

Como con el anterior, la probabilidad está abierta a la revisión -- asunciones más complejas rendirán funciones más complejas de la probabilidad. Manteniendo las asunciones actuales, computamos el factor de normalización,

y la distribución posterior para r entonces está

para r entre 0 y 1, inclusivo.

Uno puede estar interesado en la probabilidad que más que mitad de los votantes votarán “sí”. La probabilidad anterior que más que mitad de los votantes votarán “sí” es el 1/2, por la simetría del distribución uniforme. En la comparación, la probabilidad posterior que más que mitad de los votantes votarán “sí”, es decir, la probabilidad condicional dada el resultado del sondeo de opinión que siete de los 10 votantes preguntados votarán “sí” - está

cuál está sobre una “ocasión del 89%”.

Ejemplo #4: El problema de Monty Pasillo

Artículo principal: Problema de Monty Pasillo

Nos presentan con tres puertas - rojas, verde, y azul - una de las cuales tengamos un premio. Elegimos rojo puerta, que no se abre hasta que el presentador realiza una acción. El presentador quién sabe qué puerta es el premio detrás, y quién debe abrir una puerta, pero no se permite para abrir la puerta que hemos escogido o la puerta con el premio, abre azul la puerta y revela que no hay premio detrás de él y pregunta posteriormente si deseamos cambiar nuestra mente sobre nuestra selección inicial de rojo. ¿Cuál es la probabilidad que el premio está detrás de cada uno de las puertas verdes y rojas?

Llamemos la situación que el premio está detrás de una puerta dada A_r, A_g, y A_b.

Para comenzar con, , y hacer las cosas más simples nos asumiremos que hemos escogido ya la puerta roja.

Llamemos B “el presentador abre la puerta azul”. Sin ningún conocimiento anterior, asignaríamos a esto una probabilidad de el 50%.

• En la situación donde está el premio detrás de la puerta roja, el anfitrión está libre escoger entre la puerta verde o azul al azar. Así, P(B | A_r) = 1 / 2
• En la situación donde está el premio detrás de la puerta verde, el anfitrión debe escoger la puerta azul. Así, P(B | A_g) = 1
• En la situación donde está el premio detrás de la puerta azul, el anfitrión debe escoger la puerta verde. Así, P(B | A_b) = 0

Así,

Nota cómo esto depende del valor de P (B).

Observaciones históricas

Una investigación de un profesor de la estadística (Stigler 1983) sugiere que el teorema de Bayes fuera descubierto cerca Nicholas Saunderson una cierta hora antes de Bayes.

El teorema de Bayes se nombra después del Reverend Thomas Bayes (1702–1761), que estudió cómo computar una distribución para el parámetro de a distribución binomial (para utilizar terminología moderna). Su amigo, Precio de Richard, corregido y presentado el trabajo adentro 1763, después de la muerte de Bayes, como Un ensayo hacia solucionar un problema en la doctrina de ocasiones. Pierre-Simon Laplace replegado y extendido estos resultados en un ensayo de 1774, al parecer inconsciente del trabajo de Bayes.

Uno de los resultados de Bayes (asunto 5) da una descripción simple de probabilidad condicional, y demostraciones que puede ser expresado independientemente de la orden en la cual las cosas ocurren:

Si haya dos acontecimientos subsecuentes, la probabilidad del segundo b/N y la probabilidad de ambos junto P/N, y él primero que es descubierto que ha sucedido el segundo acontecimiento también, por lo tanto de mí conjeturo que ha sucedido el primer acontecimiento también, la probabilidad que tengo razón [es decir, la probabilidad condicional del primer acontecimiento que es verdad dado que ha sucedido el segundo también] soy P/b.

Observe que la expresión no dice nada sobre orden en cuál ocurrieron los acontecimientos; mide la correlación, no causalidad. Sus resultados del preliminar, particularmente proponen 3, 4, y 5, implican a Teorema del resultado del Bayes ahora llamado (como se describe anteriormente), pero no aparece que Bayes mismo acentuado o centrado en ese resultado.

El resultado principal de Bayes (asunto 9 en el ensayo) es el siguiente: a que asume distribución uniforme para distribución anterior de binomial parámetro p, la probabilidad eso p está entre dos valores a y b es

donde m es el número de éxitos observados y n el número de faltas observadas.

Cuál es “Bayesian” sobre el asunto 9 es que Bayes lo presentó como probabilidad para el parámetro p. Así pues, uno puede computar la probabilidad para un resultado experimental, pero también para el parámetro que lo gobierna, y la misma álgebra se utiliza para hacer inferencias de cualquiera buenas.

Bayes indica su pregunta de una manera que pudo hacer la idea de asignar una distribución de la probabilidad a un parámetro sabrosa a un frequentist. Él supone que una bola de billar está lanzada al azar sobre una tabla del billiard, y que las probabilidades p y q son las probabilidades que las bolas de billar subsecuentes caerán sobre o debajo de la primera bola.

Stephen Fienberg [[1]] describe la evolución del campo de la “probabilidad inversa” a la hora de Bayes y de Laplace, y la iguala de Harold Jeffreys (1939) a “Bayesian” en los años 50. La ironía es que esta etiqueta fue introducida cerca R.A. Pescador en un sentido despectivo. Así pues, históricamente, Bayes no era un “Bayesian”. Es realmente confuso si o no él era un Bayesian en el sentido moderno del término, es decir. si o no él estaba interesado en inferencia o simplemente en probabilidad: el ensayo 1763 es más de un papel de probabilidad.

Vea también

Referencias

Versiones del ensayo

• Thomas Bayes (1763), “un ensayo hacia solucionar un problema en la doctrina de ocasiones. Por el último inversor de corriente. Sr. Bayes, F. R. S. comunicado por Sr. Tase, en una letra al cantón de Juan, A. M. F. R. S. “, Transacciones filosóficas, Dando una cierta cuenta de las actuales empresas, estudia y trabaja del ingenioso en muchas partes considerables del mundo 53:370 - 418.
• Estudios de Thomas Bayes (1763/1958) “en la historia de la probabilidad y de la estadística: IX. Ensayo de Thomas Bayes hacia solucionar un problema en la doctrina de ocasiones ", Biometrika 45:296 - 315. (Ensayo de Bayes en la notación modernizada)
• Thomas Bayes “Un ensayo hacia solucionar un problema en la doctrina de ocasiones”. (Ensayo de Bayes en la notación original)

Comentarios

• G. A. Barnard (1958) “estudios en la historia de la probabilidad y de la estadística: IX. Ensayo de Thomas Bayes hacia solucionar un problema en la doctrina de ocasiones ", Biometrika 45:293 - 295. (observaciones biográficas)
• Daniel Covarrubias. “Un ensayo hacia solucionar un problema en la doctrina de ocasiones”. (un contorno y una exposición del ensayo de Bayes)
• Stephen M. Stigler (1982). “Inferencia Bayesian de Thomas Bayes,” Diario de la sociedad estadística real, Serie A, 145:250 - 258. (Stigler discute para una interpretación revisada del ensayo; recomendado)
• Isaac Todhunter (1865). Una historia de la teoría matemática de la probabilidad desde PASCAL a el de Laplace, Macmillan. Reimpreso 1949, 1956 por Chelsea y 2001 por Thoemmes.
• Una explicación intuitiva del razonamiento Bayesian (incluye biografía)

Material adicional

• Pierre-Simon Laplace (1774/1986), “memoria en la probabilidad de las causas de acontecimientos”, Ciencia estadística 1 (3): 364-378.
• Stephen M. Stigler (1986), “memoria 1774 de Laplace en probabilidad inversa”, Ciencia estadística 1 (3): 359-378.
• Stephen M. Stigler (1983), “quién descubrió el teorema de Bayes?” El estadístico americano 37 (4): 290-296.
• Jeff Molinero, y otros., Aplicaciones lo más temprano posible sabidas de algunas de las palabras de las matemáticas (b). (muy informativo; recomendado)
• Athanasios Papoulis (1984), Probabilidad, variables al azar, y procesos estocásticos, segunda edición. Nueva York: McGraw-Colina.
• El libro de textos en línea: Teoría de información, inferencia, y algoritmos que aprenden, cerca David J. C. MacKay proporciona una descripción actualizada del uso del teorema de Bayes en teoría de información y aprender de máquina.
• Teorema de Bayes entrada en Enciclopedia de Stanford de la filosofía por James Joyce proporciona una introducción comprensiva al teorema de Bayes.
• Enciclopedia de Stanford de la filosofía: Lógica inductiva proporciona un tratamiento Bayesian comprensivo de la lógica y de la teoría inductivas de la confirmación.
• Eric W. Weisstein, Teorema de Bayes en MathWorld.
• Teorema de Bayes en PlanetMath.
• Eliezer S. Yudkowsky (2003), "Una explicación intuitiva del razonamiento Bayesian"
• Una clase particular en probabilidad y teorema de Bayes' ideado para los estudiantes de la psicología de la universidad de Oxford
• Teoría de la confirmación Una presentación extensa de la teoría Bayesian de la confirmación