Uma contribuição à teoria da informação e ao critério de informação de Akaike - Araujo, Adrielle Braga de (2020)
Sempre que fazemos observações estatísticas ou planejamos e realizamos experimentos estatísticos, buscamos informações. Consequentemente, o conceito de informação desempenha um papel importante em áreas que utilizam sistemas probabilísticos ou estatísticos de observações. Neste trabalho estudamos duas variáveis aleatórias centrais da teoria da informação: a informação de Shannon e a informação de Kullback-Leibler. Mostramos que as respectivas esperanças matemáticas são conhecidas como entropia de Shannon e divergência de Kullback-Leibler. Dedicamos mais espaço para estudar as propriedades matemáticas da divergência de Kullback-Leibler com o objetivo de mostrar sua aplicação na seleção de modelos probabilísticos como uma medida da “distância” entre distribuições de probabilidade. Apresentamos o critério de informação de Akaike como uma metodologia de otimização da esperança da divergência de Kullback-Leibler