class: center, middle, inverse, title-slide .title[ # MODELOS LINEARES GENERALIZADOS STA13829 ] .subtitle[ ## Familia Exponencial de Distribuições ] .author[ ### Nátaly A. Jiménez Monroy ] .institute[ ### LECON/DEST - UFES ] --- [//]: <> (https://pkg.garrickadenbuie.com/extra-awesome-xaringan/intro/index.html#1) [//]: <> (https://pkg.garrickadenbuie.com/xaringanthemer/articles/xaringanthemer.html) [//]: <> (https://www.biostatistics.dk/talks/CopenhagenRuseRs-2019/index.html#1) [//]: <> (https://rstudio-education.github.io/sharing-short-notice/#1) [//]: <> (https://www.kirenz.com/slides/xaringan-demo-slides.html#1) [//]: <> (https://github.com/yihui/xaringan/issues/26) [//]: <> (https://github.com/emitanaka/anicon) [//]: <> (https://github.com/mitchelloharawild/icons) [//]: <> (https://slides.yihui.org/2020-genentech-rmarkdown.html#1) [//]: <> (https://github.com/gadenbuie/xaringanExtra) [//]: <> (class: center, middle, animated, slideInRight) class: animated, slideInRight <style> body {text-align: justify} </style> <!-- Justify text. --> # Introdução - Nelder e Wedderburn (1972), propuseram os Modelos Lineares Generalizados (MLGs), que são uma extensão dos modelos normais lineares. -- - A idéia básica consiste em abrir o leque de opções para a distribuição da variável resposta, permitindo que a mesma pertença à família exponencial de distribuições, bem como dar maior flexibilidade para a relação funcional entre a média da variável resposta ( `\(\mu\)` ) e o preditor linear `\(\eta\)`; -- - A ligação entre a média e o preditor linear não é necessariamente a identidade, podendo assumir qualquer forma monótona não-linear. -- - Nelder e Wedderburn (1972) propuseram também um processo iterativo para a estimação dos parâmetros e introduziram o conceito de desvio que tem sido largamente utilizado na avaliação da qualidade do ajuste dos MLGs, bem como no desenvolvimento de resíduos e medidas de diagnóstico. -- - Estudos abrangentes sobre MLGs são encontrados nos livros de McCullagh e Nelder (1989), Cordeiro (1986), Dobson (1990) e Paula (2024). --- [//]: <> (class: center, middle, animated, slideInRight/ class: animated slideInRight fadeOutLeft) class: animated, fadeIn # Família Exponencial de Distribuições - Muitas das distribuições conhecidas podem ser reunidas em uma família denominada família exponencial de distribuições. -- - Por exemplo, pertencem a essa família as distribuições normal, binomial, gama, Poisson, normal inversa, multinomial, beta, logarítmica, entre outras. -- - Essa classe de distribuições foi proposta independentemente por Koopman, Pitman e Darmois através do estudo de propriedades de suficiência estatística. -- - Posteriormente, muitos outros aspectos dessa família foram estudados e tornaram-se importantes na teoria moderna de Estatística. O conceito de família exponencial foi introduzido na Estatística por Fisher mas os modelos da família exponencial apareceram na Mecânica Estatística no final do século XIX e foram desenvolvidos por Maxwell, Boltzmann e Gibbs. -- - A importância da família exponencial de distribuições teve maior destaque, na área dos modelos de regressão, a partir do trabalho pioneiro de Nelder e Wedderburn (1972) que definiram os modelos lineares generalizados. Na década de 80, esses modelos popularizaram-se, inicialmente, no Reino Unido, e, posteriormente, nos Estados Unidos e na Europa. --- [//]: <> (class: center, middle, animated, slideInRight/ class: animated slideInRight fadeOutLeft) class: animated, fadeIn ## Família exponencial uniparamétrica **Definição** A família exponencial uniparamétrica é caracterizada por uma função (de probabilidade ou densidade) da forma `\begin{equation} f(y; \theta) = h(y) \exp[\eta(\theta) t(y) - b(\theta)], \label{eq:fam_exp_uni} \end{equation}` em que as funções `\(\eta(\theta), b(\theta), t(y)\)` e `\(h(y)\)` assumem valores em subconjuntos dos reais. --- [//]: <> (class: center, middle, animated, slideInRight/ class: animated slideInRight fadeOutLeft) class: animated, fadeIn ### Observações As funções `\(\eta(\theta), b(\theta), t(y)\)` não são únicas. Por exemplo, `\(\eta(\theta)\)` pode ser multiplicada por uma constante `\(k\)` e `\(t(y)\)` pode ser dividida pela mesma constante. -- - Várias distribuições importantes podem ser escritas na forma da equação \ref{eq:fam_exp_uni}, tais como: Poisson, binomial, Rayleigh, normal, gama e normal inversa (as três últimas com a suposição de que um dos parâmetros é conhecido). -- - No artigo de Cordeiro et al. (1995), são apresentadas 24 distribuições na forma da equação \ref{eq:fam_exp_uni}. -- - O suporte da família exponencial não pode depender de `\(\theta\)`. Assim, a distribuição uniforme em (0, `\(\theta)\)` não é um modelo da família exponencial. --- [//]: <> (class: center, middle, animated, slideInRight/ class: animated slideInRight fadeOutLeft) class: animated, fadeIn ## Família exponencial uniparamétrica na forma canônica - I **Definição** A família exponencial uniparamétrica na *forma canônica* é definida à partir de (\ref{eq:fam_exp_uni}) considerando que as funções `\(\eta(\theta)\)` e `\(t(y)\)` são iguais a identidade, de forma que `\begin{equation} f(y; \theta) = h(y) \exp[\theta y - b(\theta)]. \label{eq:fam_exp_uni_2} \end{equation}` > **Observação**: > Na parametrização apresentada em (\ref{eq:fam_exp_uni_2}), `\(\theta\)` é chamado de parâmetro canônico. --- [//]: <> (class: center, middle, animated, slideInRight/ class: animated slideInRight fadeOutLeft) class: animated, fadeIn ## Família exponencial uniparamétrica na forma canônica - II A partir da família exponencial uniparamétrica na forma canônica (\ref{eq:fam_exp_uni_2}), podemos introduzir um parâmetro de perturbação `\(\phi > 0\)`, fazendo com que seja possível incorporar distribuições biparamétricas à família exponencial. Sendo assim, a função densidade (ou de probabilidade) na família exponencial será da forma (Paula, 2024). `\begin{equation} f(y; \theta, \phi) = \exp[\phi\{\theta y - b(\theta)\} + c(y, \phi)]. \label{eq:fam_exp_uni_3} \end{equation}` em que `\(b(\cdot)\)` e `\(c(\cdot)\)` são funções conhecidas. Para o modelo em (\ref{eq:fam_exp_uni_3}), valem as seguintes relações: .center[ `\(E(Y) = \mu = b'(\theta), \qquad Var(Y) = \phi^{-1}V\)`, ] sendo `\(\phi^{-1} > 0\)` ( `\(\phi > 0\)` ) o parâmetro de dispersão (precisão) e `\(V = V(\mu) = \partial\mu/\partial\theta\)` é a função de variância. --- [//]: <> (class: center, middle, animated, slideInRight/ class: animated slideInRight fadeOutLeft) class: animated, fadeIn ## Família exponencial uniparamétrica na forma canônica - III **Observações** - A função de variância desempenha um papel importante na família exponencial, uma vez que a mesma caracteriza a distribuição. Isto é, dada a função de variância, tem-se uma classe de distribuições correspondentes, e vice-versa. Essa propriedade permite a comparação de distribuições através de testes simples para a função de variância. -- - Quando `\(\phi\)` é conhecido, a família de distribuições (\ref{eq:fam_exp_uni_3}) é idêntica à família exponencial na forma canônica (\ref{eq:fam_exp_uni_2}). -- - O suporte da família exponencial como definida em (\ref{eq:fam_exp_uni_3}) não pode depender de `\(\theta\)`. -- - A família de distribuições (\ref{eq:fam_exp_uni_3}) permite incorporar dados que exibem assimetria, dados de natureza discreta ou contínua e dados que são restritos a um intervalo do conjunto dos reais, conforme bem exemplificam as distribuições dadas na Tabela 1 a ser vista adiante. --- [//]: <> (class: center, middle, animated, slideInRight/ class: animated slideInRight fadeOutLeft) class: animated, fadeIn ## Casos particulares de distribuições na família exponencial ### Poisson Seja `\(Y\)` uma variável aleatória com distribuição Poisson de taxa média `\(\mu\)`. -- A função de probabilidade de `\(Y\)` é expressa na forma `$$\frac{e^{-\mu} \mu^y}{y!} = \exp\left\{y \; \log \; \mu - \mu - \log \; y!\right\},$$` em que `\(\mu > 0\)` e `\(y = 0, 1, \cdots\)`. -- Logo, $$ \log(\mu) = \theta, \;\; b(\theta) = e^{\theta}, \;\; \phi = 1, \;\; c(y, \phi) = - \log \; y!. $$ A função de variância é dada por `\(V(\mu) = \mu.\)` --- [//]: <> (class: center, middle, animated, slideInRight/ class: animated slideInRight fadeOutLeft) class: animated, fadeIn ### Normal Seja `\(Y\)` uma variável aleatória com distribuição normal de média `\(\mu\)` e variância `\(\sigma^2\)`, `\(Y \sim N(\mu, \sigma^2)\)`. -- A função densidade de `\(Y\)` é expressa na forma <div class="math"> \[\begin{align*} &\frac{1}{\sigma \sqrt{2 \pi}} \exp\left\{-\frac{1}{2 \sigma^2} (y - \mu)^2 \right\} \\ &=\exp \left\{ \frac{1}{\sigma^2} \left[\mu y - \frac{\mu^2}{2} \right] - \frac{1}{2} \left[ \log(2 \pi \sigma^2) + \frac{y^2}{\sigma^2} \right] \right\}, \end{align*}\] </div> em que `\(y \in \mathbb{R}\)`, `\(\mu \in \mathbb{R}\)`, `\(\sigma^2 \in \mathbb{R^*_+}.\)` -- Logo, $$ \theta = \mu, \;\; b(\theta) = {\theta^2}/2, \;\; \phi = \sigma^{-2}, \;\; c(y, \phi) = \frac{1}{2} \log \frac{\phi}{2 \pi} - \frac{\phi y^2}{2}. $$ A função de variância é dada por `\(V(\mu) = 1.\)` --- [//]: <> (class: center, middle, animated, slideInRight/ class: animated slideInRight fadeOutLeft) class: animated, fadeIn ### Binomial Seja `\(Y^*\)` a proporção de sucessos em `\(n\)` ensaios independentes, cada um com probabilidade de ocorrência `\(\mu\)`. Assumimos que `\(n Y^* \sim Bin(n, \mu)\)`. -- A função probabilidade de `\(Y^*\)` é expressa na forma <div class="math"> \[\begin{align*} &\binom{n}{n y^*} \mu^{n y^*} (1 - \mu)^{n - n y^*} \\ &= exp \left\{ \log \binom{n}{n y^*} + n y^* \; \log\left( \frac{\mu}{1-\mu} \right) + n \log(1 - \mu)\right\} \end{align*}\] </div> em que `\(0 < \mu, y^* < 1\)`. -- Logo, `$$\theta = \log\left( \frac{\mu}{1-\mu} \right), \;\; b(\theta) = \log(1 + e^\theta), \;\; \phi = n, \;\; c(y^*, \phi) = \binom{\phi}{\phi y^*}.$$` A função de variância é dada por `\(V(\mu) = \mu (1-\mu).\)` --- [//]: <> (class: center, middle, animated, slideInRight/ class: animated slideInRight fadeOutLeft) class: animated, fadeIn ### . **Tabela 1.** Principais distribuições pertencentes à família exponencial. |Distribuição | `\(b(\theta)\)` | `\(\theta\)` | `\(\phi\)` | `\(V(\mu)\)` | |:--------------|:--------------------:|:-------------------:|:-------------:|:-----------:| |Normal | `\({\theta^2}/2\)` | `\(\mu\)` | `\(\sigma^{-2}\)` | 1 | |Poisson | `\(e^{\theta}\)` | `\(\log \mu\)` | 1 | `\(\mu\)` | |Binomial | `\(\log(1 + e^\theta)\)` | `\(\log(\mu/(1-\mu))\)` | `\(n\)` | `\(\mu(1-\mu)\)`| |Normal Inversa | `\(-\sqrt{-2 \theta}\)` | `\(-1/{2 \mu^2}\)` | `\(\phi\)` | `\(\mu^3\)` | --- [//]: <> (class: center, middle, animated, slideInRight/ class: animated slideInRight fadeOutLeft) class: animated, fadeIn ## Função geradora de momentos - I A função geradora de momentos (f.g.m.) da família exponencial em (\ref{eq:fam_exp_uni_3}) é dada por: `\begin{equation} M_Y(t; \theta, \phi) = E(e^{tY}) = \exp\{\phi[b(\phi^{-1} t + \theta) - b(\theta)]\}. \end{equation}` >**Prova** >A prova será feita apenas para o caso de variáveis aleatórias contínuas. Lembrando-se que: $$ \int f(y; \theta, \phi) \; \partial y = 1, $$ então `$$\int \exp[\phi\left\{\theta y - b(\theta)\right\} + c(y, \phi)] \; \partial y = 1,$$` --- [//]: <> (class: center, middle, animated, slideInRight/ class: animated slideInRight fadeOutLeft) class: animated, fadeIn ## Função geradora de momentos - II >obtendo-se `\begin{equation} \int \exp[\phi \; \theta \; y + c(y, \phi)] \; \partial y = \exp[\phi \; b(\theta)]. \label{eq:result} \end{equation}` Logo, <div class="math"> \[\begin{align} M_Y(t; \theta, \phi) &= E(e^{tY}) = \int \exp(t y) f(y) \; \partial y\\ \nonumber & = \int \exp(t y) \exp[\phi \{ \theta y - b(\theta)\} + c(y, \phi)] \; \partial y\\ \nonumber & = \int \exp[\phi \{ (\phi^{-1} t + \theta) y - b(\theta) \} + c(y, \phi)] \; \partial y\\ \nonumber & = \frac{1}{\exp[\phi b(\theta)]} \int \exp[\phi \{ (\phi^{-1} t + \theta) y \} + c(y, \phi)] \; \partial y \end{align}\] </div> --- [//]: <> (class: center, middle, animated, slideInRight/ class: animated slideInRight fadeOutLeft) class: animated, fadeIn ## Função geradora de momentos - III >e, usando-se (\ref{eq:result}), tem-se que: `\begin{equation} M_Y(t; \theta, \phi) = \frac{1}{\exp[\phi \; b(\theta)]} \exp[\phi \; b(\phi^{-1} t + \theta)], \end{equation}` ou ainda `\begin{equation} M_Y(t; \theta, \phi) = \exp\{\phi \; [b(\phi^{-1} t + \theta) - b(\theta)]\}. \end{equation}` `\(\blacksquare\)` Vamos demonstrar a partir da f.g.m. que se uma variável aleatória `\(Y\)` pertence à família exponencial parametrizada com `\(\theta\)` e `\(\phi\)`, então .center[ `\(E(Y) = \mu = b'(\theta), \qquad Var(Y) = \phi^{-1}V\)`, ] sendo `\(\phi^{-1} > 0\)` ( `\(\phi > 0\)` ) o parâmetro de dispersão (precisão) e `\(V = V(\mu) = \partial\mu/\partial\theta\)` é a função de variância. --- [//]: <> (class: center, middle, animated, slideInRight/ class: animated slideInRight fadeOutLeft) class: animated, fadeIn ## Estatística Suficiente Sejam `\(\mathbf{Y} = (Y_1, Y_2, \cdots, Y_n)\)` uma amostra aleatória da variável aleatória `\(Y\)` com função de densidade ou de probabilidade `\(f(y \mid \theta)\)`. Quando resumimos a informação que os dados contêm sobre `\(\theta\)`, utilizando uma estatística, é importante que não haja perda de informação sobre `\(\theta\)`. Ou seja, a estatística deve, dentro do possível, conter toda a informação sobre `\(\theta\)` presente na amostra. Em outras palavras, se pudermos usar uma estatística `\(T = T(\mathbf{Y})\)` para extrairmos toda a informação que a amostra `\((Y_1, Y_2, \cdots, Y_n)\)` contém sobre `\(\theta\)`, então dizemos que `\(T\)` (que pode ser um vetor) é suficiente para `\(\theta\)`. Dessa forma, o conhecimento apenas de `\(T\)` (e não necessariamente da amostra completa `\((Y_1, Y_2, \cdots, Y_n)\)` é suficiente para que sejam feitas inferências sobre `\(\theta\)`. -- >**Definição** >Dizemos que a estatística `\(T = T(\mathbf{Y})\)` é suficiente para um parâmetro `\(\theta\)`, quando a distribuição condicional de `\(\mathbf{Y}\)` dada a estatística `\(T = T(\mathbf{Y})\)` for independente de `\(\theta\)`. -- A Definição acima permite, apenas, que possamos verificar se determinada estatística é ou não suficiente. Contudo não pode ser utilizada como um método para a obtenção de estatísticas suficientes. Um procedimento para a obtenção de estatística suficientes é o critério da fatoração que apresentamos a seguir. --- [//]: <> (class: center, middle, animated, slideInRight/ class: animated slideInRight fadeOutLeft) class: animated, fadeIn ## Critério da Fatoração de Neyman >**Proposição** Sejam `\((Y_1, Y_2,\cdots,Y_n)\)` uma amostra aleatória da distribuição da variável aleatória `\(Y\)` com função de densidade (ou de probabilidade) `\(f(y\mid\theta)\)` e função de verossimilhança `\(L(\theta; y)\)`. temos, então, que a estatística `\(T = T(Y_1, Y_2, \cdots, Y_n)\)` é suficiente para `\(\theta\)`, se, e somente se, pudermos escrever <div class="math"> \[\begin{align} L(\theta;y)=h(y_1,y_2,\cdots,y_n) g_{\theta}(T(y_1,y_2,\cdots,y_n)), \end{align}\] </div> >onde `\(h(y_1,y_2,\cdots,y_n)\)` é uma função que depende apenas de `\(y_1, y_2,\cdots,y_n\)` (não depende de `\(\theta\)` ) e `\(g_{\theta}(T(y_1,y_2,\cdots,y_n))\)` depende de `\(\theta\)` e de `\((y_1, y_2, \cdots, y_n)\)` somente através de `\(T\)`. --- [//]: <> (class: center, middle, animated, slideInRight/ class: animated slideInRight fadeOutLeft) class: animated, fadeIn ## Estatística Suficiente na Família Exponencial - I Sejam `\((Y_1, Y_2, \cdots, Y_n)\)` uma amostra aleatória de uma distribuição que pertence à família exponencial. Sendo assim, <div class="math"> \[\begin{align} L(\theta; y) &= \prod_{i = 1}^n f(y_i; \theta, \phi)\\ \nonumber &= \prod_{i = 1}^n \exp[\phi \{ \theta y_i - b(\theta)\} + c(y_i, \phi)]\\ \nonumber &= \exp\left[\phi \left\{ \theta \sum_{i = 1}^n y_i - n \; b(\theta)\right\}\right] \exp\left[\sum_{i = 1}^n c(y_i, \phi)\right]. \end{align}\] </div> --- [//]: <> (class: center, middle, animated, slideInRight/ class: animated slideInRight fadeOutLeft) class: animated, fadeIn ## Estatística Suficiente na Família Exponencial - II Pelo Teorema de Fatoração de Neyman e supondo `\(\phi\)` conhecido, tem-se que `\(T = \sum_{i = 1}^n y_i\)` é uma estatística suficiente para `\(\theta\)` pois `\begin{equation} L(\theta; y) = g(t, \theta) h(y_1, y_2, \cdots, y_n), \end{equation}` sendo que `\(g(t, \theta)\)` depende de `\(\theta\)` e dos `\(y's\)` apenas através de `\(t\)` e `\(h(y_1, \cdots, y_n)\)` independe de `\(\theta\)`. -- Isso mostra que, se uma distribuição pertence a família exponencial uniparamétrica, então existe uma estatística suficiente. --- [//]: <> (class: center, middle, animated, slideInRight/ class: animated slideInRight fadeOutLeft) class: animated, fadeIn ## Família Exponencial Multiparamétrica A família exponencial multiparamétrica de dimensão `\(k\)` é caracterizada por uma função (de probabilidade ou densidade) da forma `\begin{equation} f(\mathrm{y}; \boldsymbol{\theta}) = h(\mathrm{y})\exp\left[ \sum_{i = 1}^k \eta_i(\boldsymbol{\theta})t_i(\mathrm{y}) - b(\boldsymbol{\theta}) \right], \label{eq:fam:exp:multi} \end{equation}` em que `\(\boldsymbol{\theta}\)` é um vetor de parâmetros, usualmente, de dimensão `\(k\)`, e as funções `\(\eta_i(\boldsymbol{\theta})\)`, `\(b(\boldsymbol{\theta})\)`, `\(t_i(\mathrm{y})\)` e `\(h(\mathrm{y})\)` assumem valores em subconjuntos dos reais. Obviamente, a forma dada em (\ref{eq:fam_exp_uni}) é um caso especial de (\ref{eq:fam:exp:multi}). --- [//]: <> (class: center, middle, animated, slideInRight/ class: animated slideInRight fadeOutLeft) class: animated, fadeIn ### Observações - Pelo teorema da fatoração, o vetor `\(\boldsymbol{T} = [T_1(\boldsymbol{Y}), \cdots, T_k(\boldsymbol{Y})]^T\)`; é suficiente para o vetor de parâmetros `\(\boldsymbol{\theta}\)`. - Quando `\(\eta_i(\boldsymbol{\theta}) = \theta_i\)`, `\(i = 1, \cdots, k\)`, obtém-se a família exponencial na forma canônica com parâmetros canônicos `\(\theta_1, \cdots, \theta_k\)` e estatísticas canônicas `\(T_1(\boldsymbol{Y}), \cdots, T_k(\boldsymbol{Y})\)`. Têm-se que <div class="math"> \[\begin{align} f(\mathrm{y}; \boldsymbol{\theta}) = h(\mathrm{y})\exp\left[ \sum_{i = 1}^k \theta_i t_i(\mathrm{y}) - b(\boldsymbol{\theta}) \right], \label{eq:fam:exp:multi_2} \end{align}\] </div> - Considere a família exponencial parametrizada de acordo com (\ref{eq:fam_exp_uni_3}). Se `\(\phi\)` não for conhecido, a família (\ref{eq:fam_exp_uni_3}) pode, ou não, pertencer à família exponencial biparamétrica em (\ref{eq:fam:exp:multi_2}). - Para `\(\phi\)` desconhecido, as distribuições normal, gama e normal inversa pertencem à família exponencial dada em (\ref{eq:fam:exp:multi_2}). - É possível mostrar que a distribuição beta pertence à família exponencial biparamétrica canônica (\ref{eq:fam:exp:multi_2}), com `\(k = 2\)`. --- class: animated, hide-logo, bounceInDown ## Política de proteção aos direitos autorais > <span style="color:grey">O conteúdo disponível consiste em material protegido pela legislação brasileira, sendo certo que, por ser o detentor dos direitos sobre o conteúdo disponível na plataforma, o **LECON** e o **NEAEST** detém direito exclusivo de usar, fruir e dispor de sua obra, conforme Artigo 5^o, inciso XXVII, da Constituição Federal e os Artigos 7^o e 28^o, da Lei 9.610/98. A divulgação e/ou veiculação do conteúdo em sites diferentes à plataforma e sem a devida autorização do **LECON** e o **NEAEST**, pode configurar violação de direito autoral, nos termos da Lei 9.610/98, inclusive podendo caracterizar conduta criminosa, conforme Artigo 184^o, §1^o a 3^o, do Código Penal. É considerada como contrafação a reprodução não autorizada, integral ou parcial, de todo e qualquer conteúdo disponível na plataforma.</span> .pull-left[ <img src="images/logo_lecon.png" width="50%" style="display: block; margin: auto;" /> ] .pull-right[ <img src="images/logo_neaest.png" width="50%" style="display: block; margin: auto;" /> ] .center[ [https://lecon.ufes.br](https://lecon.ufes.br/) ] <font size="2"><span style="color:grey">Material elaborado pela equipe LECON/NEAEST: Alessandro J. Q. Sarnaglia, Bartolomeu Zamprogno, Fabio A. Fajardo, Luciana G. de Godoi e Nátaly A. Jiménez.</span></font>