گفت‌وگوی علمی

محمدحسین نژادحقیقی

برای برآورد پارامترهای مدل رگرسیون لاسو (Lasso Regression) با استفاده از روش شبیه‌سازی نمونه‌گیری گیبس (Gibbs Sampling)، می‌توان از چارچوب تحلیل بیزی (Bayesian) استفاده کرد. در این حالت، لاسو به عنوان یک مدل بیزی با توزیع پیشین لاپلاس (Laplace prior) روی ضرایب رگرسیون در نظر گرفته می‌شود. در ادامه به صورت مرحله‌به‌مرحله توضیح می‌دهم که چطور این کار انجام می‌شود: --- 1. مدل رگرسیون خطی پایه فرض کنیم داریم: y = X\beta + \epsilon \quad \text{with} \quad \epsilon \sim \mathcal{N}(0, \sigma^2 I) که در آن: بردار پاسخ (n×1)، ماتریس طراحی (n×p)، بردار ضرایب رگرسیون (p×1)، نویز نرمال با واریانس --- 2. مدل بیزی برای لاسو در مدل لاسو، بر ضرایب توزیع پیشین لاپلاس قرار می‌گیرد: p(\beta_j \mid \lambda) = \frac{\lambda}{2} \exp(-\lambda |\beta_j|) اما چون لاپلاس برای نمونه‌گیری گیبس مناسب نیست، آن را به‌صورت توزیع مرکب (mixture distribution) بازنویسی می‌کنیم: --- 3. نمایش لاپلاس به عنوان نرمال-نمایی (Normal-Exponential Mixture) توزیع لاپلاس می‌تواند به صورت زیر بازنویسی شود: \beta_j \mid \tau_j^2 \sim \mathcal{N}(0, \tau_j^2), \quad \tau_j^2 \sim \text{Exponential}\left(\frac{\lambda^2}{2}\right) با این بازنویسی، می‌توانیم از روش نمونه‌گیری گیبس استفاده کنیم، چرا که حالا همه توزیع‌های شرطی کامل (full conditional distributions) شناخته شده‌اند. --- 4. الگوریتم نمونه‌گیری گیبس برای لاسو در هر تکرار از الگوریتم گیبس، مراحل زیر را انجام می‌دهیم: 1. نمونه‌گیری از (ضرایب رگرسیون): \beta \mid y, X, \sigma^2, \tau^2 \sim \mathcal{N}(m, V) V = \left(X^TX + D_{\tau}^{-1}\right)^{-1}, \quad m = V X^T y 2. نمونه‌گیری از واریانس کمکی : برای هر ، \tau_j^2 \mid \beta_j \sim \text{Inverse-Gaussian}\left(\sqrt{\frac{\lambda^2 \sigma^2}{\beta_j^2}}, \lambda^2\right) 3. اگر بخواهیم را هم نمونه‌گیری کنیم: با فرض پیشین معکوس گاما، \sigma^2 \mid y, X, \beta \sim \text{Inverse-Gamma}\left(\alpha, \beta\right) --- 5. اجرای الگوریتم الگوریتم گیبس را برای تعداد مشخصی از تکرارها اجرا می‌کنیم (مثلاً 5000 بار)، بخش ابتدایی را دور می‌اندازیم (burn-in)، سپس میانگین یا میانه نمونه‌ها را به عنوان برآورد پارامترها می‌گیریم. --- 6. منابع برای مطالعه بیشتر Park, Trevor, and George Casella. "The Bayesian Lasso." Journal of the American Statistical Association, 2008. Bayesian Data Analysis – Gelman et al. Bayesian Lasso در ویکی‌پدیا

برای ارسال پاسخ شوید.