Markovianas

nuvem de probabilidades (mais sobre repetições)

Cadeias de Markov

Em matemática, a cadeia de Markov é um caso particular de processo estocástico. Com tempo discreto. E apresentando a propriedade de Markov, chamada assim em homenagem ao matemático Andrei Andreyevich Markov. A definição desta propriedade, também chamada de memória markoviana, é que os estados anteriores são irrelevantes para a predição dos estados seguintes, desde que o estado atual seja conhecido.

Note que também existem cadeias de Markov de estado contínuo.

Uma cadeia de Markov é uma seqüencia X1, X2, X3, ... de variáveis aleatórias. O escopo destas variáveis, isto é, o conjunto de valores que elas podem assumir, é chamado de espaço de estados, onde Xn denota o estado do processo no tempo n. Se a distribuição de probabilidade condicional de Xn+1 nos estados passados é uma função apenas de Xn, então:



onde x é algum estado do processo. A identidade acima define a propriedade de Markov.

Uma maneira simples de visualizar um tipo específico de cadeia de Markov é através de uma máquina de estados finitos. Se você está no estado y no tempo n, então a probabilidade de que você se mova para o estado x no tempo n + 1 não depende de n, e somente depende do estado atual y em que você está. Assim em qualquer tempo n, uma cadeia de Markov finita pode ser caracterizada por uma matriz de probabilidades cujo elemento (x, y) é dado por:



e é independente do tempo n. Estes tipos de cadeia de Markov finitas e discretas podem também ser descritas por meio de um grafo dirigido, onde cada aresta é rotulada com as probabilidade de transição de um estado a outro sendo estes estados representados como os nós conectados pelas arestas.

Andrey Markov obteve os primeiros resultados para estes processos em 1906. Uma generalização para espaços de estados infinitos contáveis foi dada por Kolmogorov em 1936. Cadeias de Markov estão relacionadas ao movimento Browniano e à hipótese ergódica, dois importantes tópicos da física nos primeiros anos do século XX, mas a motivação de Markov para o desenvolvimento da teoria parece ter sido estender a teoria dos números grandes para eventos dependentes.

Cadeias de Markov em espaços de estados discretos

Um espaço de estados é representável por uma matriz. Chamada de matriz de transição, com o (i, j)-ésimo elemento igual a



Para um espaço de estados discretos, as integrações na probabilidade de transição de k passos são somatórios, e podem ser calculados como a k-ésima potência da matriz de transição. Isto é, se P é a matriz de transição para um passo, então Pk é a matriz de transição para a transição de k passos.

A distribuição estacionária é o vetor que satisfaz à equação



onde πT é a matriz transposta de π. Em outras palavras, a distribuição estacionária π é o autovetor esquerdo da matriz de transição, associado com o autovalor 1.
Como conseqüencia, nem a existência nem a unicidade de distribuição estacionária é garantida para uma matriz de transição qualquer P. Contudo, se P é irredutível e aperiódica, então existe uma distribuição estacionária π. Além disso, Pk converge para uma matrix na qual cada linha é a (transposta da) distribuição estacionária πT, que é dada por



onde é o vetor coluna com todas as entradas iguais a 1. Isto é estabelecido pelo Teorema de Perron-Frobenius.

Isto siginifica que se nós simularmos ou observamos uma caminhada aleatória com matriz de transição P, então a probabilidade de longo prazo de que o indivíduo que faz a caminhada esteja em um certo estado é independente do estado em que a caminha começou, e é definida pela distribuição estacionária. A caminhada aleatória "ignora" o passado. Em suma, cadeias de Markov são o passo seguinte depois dos processos sem memória (isto é, uma seqüencia de variáveis aleatórias independentes distribuidas uniformemente).

Uma matriz de transição que é positiva (isto é, todo o elemento da matriz é positivo) é irredutível e aperiódica. Uma matriz é uma matriz estocástica se e somente se é uma matriz de probabilidades de transição de uma cadeia de Markov.

Um caso especial de probabilidade de transição independente do passado é conhecido como o esquema de Bernoulli. Um esquema de Bernoulli com somente dois estados possíveis é conhecido como um processo de Bernoulli.

Wikipedia

*quanto tempo uma pessoa precisa para perceber isso na vida?*

*devia ter sido um aluno mais atento no primeiro ano de faculdade. markov é desapercebidamente é um gênio da sociologia*