گفتوگوی علمی
براورد پارامتر های مدل رگرسیونی لاسو از روش شبیه سازی نمونه گیری گیبز
چطور میشود از روش شبیه سازی نمونه گیری گیبز به براورد پارامتر های مدل رگرسیونی لاسو دست یافت؟
نمونهگیری گیبز مدل رگرسیونی لاسوبا سلام
ابتدا هدف را بفرمائید، اما به طور کلی به نظر میاد که به کمک تابع belasso و نرم افزار R امکان پذیر باشه.
موفق باشید
1
برای برآورد پارامترهای مدل رگرسیون لاسو (Lasso Regression) با استفاده از روش شبیهسازی نمونهگیری گیبس (Gibbs Sampling)، میتوان از چارچوب تحلیل بیزی (Bayesian) استفاده کرد. در این حالت، لاسو به عنوان یک مدل بیزی با توزیع پیشین لاپلاس (Laplace prior) روی ضرایب رگرسیون در نظر گرفته میشود. در ادامه به صورت مرحلهبهمرحله توضیح میدهم که چطور این کار انجام میشود: --- 1. مدل رگرسیون خطی پایه فرض کنیم داریم: y = X\beta + \epsilon \quad \text{with} \quad \epsilon \sim \mathcal{N}(0, \sigma^2 I) که در آن: بردار پاسخ (n×1)، ماتریس طراحی (n×p)، بردار ضرایب رگرسیون (p×1)، نویز نرمال با واریانس --- 2. مدل بیزی برای لاسو در مدل لاسو، بر ضرایب توزیع پیشین لاپلاس قرار میگیرد: p(\beta_j \mid \lambda) = \frac{\lambda}{2} \exp(-\lambda |\beta_j|) اما چون لاپلاس برای نمونهگیری گیبس مناسب نیست، آن را بهصورت توزیع مرکب (mixture distribution) بازنویسی میکنیم: --- 3. نمایش لاپلاس به عنوان نرمال-نمایی (Normal-Exponential Mixture) توزیع لاپلاس میتواند به صورت زیر بازنویسی شود: \beta_j \mid \tau_j^2 \sim \mathcal{N}(0, \tau_j^2), \quad \tau_j^2 \sim \text{Exponential}\left(\frac{\lambda^2}{2}\right) با این بازنویسی، میتوانیم از روش نمونهگیری گیبس استفاده کنیم، چرا که حالا همه توزیعهای شرطی کامل (full conditional distributions) شناخته شدهاند. --- 4. الگوریتم نمونهگیری گیبس برای لاسو در هر تکرار از الگوریتم گیبس، مراحل زیر را انجام میدهیم: 1. نمونهگیری از (ضرایب رگرسیون): \beta \mid y, X, \sigma^2, \tau^2 \sim \mathcal{N}(m, V) V = \left(X^TX + D_{\tau}^{-1}\right)^{-1}, \quad m = V X^T y 2. نمونهگیری از واریانس کمکی : برای هر ، \tau_j^2 \mid \beta_j \sim \text{Inverse-Gaussian}\left(\sqrt{\frac{\lambda^2 \sigma^2}{\beta_j^2}}, \lambda^2\right) 3. اگر بخواهیم را هم نمونهگیری کنیم: با فرض پیشین معکوس گاما، \sigma^2 \mid y, X, \beta \sim \text{Inverse-Gamma}\left(\alpha, \beta\right) --- 5. اجرای الگوریتم الگوریتم گیبس را برای تعداد مشخصی از تکرارها اجرا میکنیم (مثلاً 5000 بار)، بخش ابتدایی را دور میاندازیم (burn-in)، سپس میانگین یا میانه نمونهها را به عنوان برآورد پارامترها میگیریم. --- 6. منابع برای مطالعه بیشتر Park, Trevor, and George Casella. "The Bayesian Lasso." Journal of the American Statistical Association, 2008. Bayesian Data Analysis – Gelman et al. Bayesian Lasso در ویکیپدیا
0
کاکو تو خودت لایکی! فالو هم هستی:)
حتما اشتباهی رخ داده است.
ممکن است یکی از مشکلات زیر وجود داشته باشد.
1.برای ارتباط با سایر کاربران حتما باید عضو ویژه سازمان باشید.
2.برای استفاده مناسب در طول روز نباید تعداد درخواستهای زیادی ارسال کنید.
3.قوانین را رعایت کنید و به دوستان خود احترام بگذارید.
4. حداقل 3 حرف و حداکثر 300 حرف برای پستها و نظرات بنویسید.
1.برای ارتباط با سایر کاربران حتما باید عضو ویژه سازمان باشید.
2.برای استفاده مناسب در طول روز نباید تعداد درخواستهای زیادی ارسال کنید.
3.قوانین را رعایت کنید و به دوستان خود احترام بگذارید.
4. حداقل 3 حرف و حداکثر 300 حرف برای پستها و نظرات بنویسید.
آیا از حذف پست اطمینان دارید؟
راهنمای پشتیبانی
×
کاربر گرامی سامانه دانشگاهیان
در صورت فعالیت در شبکه اجتماعی سازمان، پروفایل و مطالبتان برای سایر کاربران نمایش داده خواهد شد.
همچنین در روز تولدتان از طرف بقیه کاربران پیام تبریک و امتیاز هدیه دریافت خواهید کرد.
مشاهده قوانین
در صورت فعالیت در شبکه اجتماعی سازمان، پروفایل و مطالبتان برای سایر کاربران نمایش داده خواهد شد.
همچنین در روز تولدتان از طرف بقیه کاربران پیام تبریک و امتیاز هدیه دریافت خواهید کرد.
مشاهده قوانین
فعالسازی حساب کاربری
جهت فعالیت در شبکه اجتماعی، لازم است اطلاعات حساب کاربری شما تأیید شده باشد
زمان فعالسازی
پس از تکمیل اطلاعات، ظرف ۲۴ ساعت حساب شما فعال خواهد شد.
عضویت ویژه
دسترسی نامحدود به کلیه خدمات سامانه به مدت ۱ سال
امکانات ویژه شامل:
کارت دانشجویی بینالمللی
(۱۰ یورو)
۱۶ دوره آموزشی
(۶ میلیون تومان)
۱۰ ترم انگلیسی Hi English
(۵ میلیون تومان)
مشاوره و ثبت شرکت
(۳ میلیون تومان)
تخفیفهای VIP اقتصادی
(نامحدود)
ارزش کل بسته:
بیش از ۱۷ میلیون تومان