در این مقاله نخست مسئلۀ هم‌خطی در مدل رگرسیونی معرفی می‌شود و شیوۀ تشخیص هم‌خطی و راه‌های برطرف کردن هم‌خطی مطرح می‌شوند. در ادامه تعاریف مقدماتی از نظریۀ اطلاع عنوان می‌شوند که در نهایت با استفاده از نظریۀ اطلاع، هم‌خطی در مدل رگرسیونی شناسایی می‌شود و راه حلی برای برطرف کردن آن پیشنهاد می‌شود. 

یکی از عوامل تأثیرگذار در تحلیل آماری داده‌ها، وجود مشاهده‌های دورافتاده است. به روش‌هایی که تحت تأثیر مشاهده‌های دورافتاده قرار نمی‌گیرند، روش‌های آماری استوار گفته می‌شود. علاوه بر وجود مشاهده‌های دورافتاده، وجود وابستگی خطی میان متغیرهای پیشگو، که از آن با عنوان هم‌خطی چندگانه یاد می‌شود و نیز تعداد زیاد متغیرها در مقابل اندازۀ کم نمونه، به خصوص در مدل‌های تُنک با بعد بالا، از دیگر مشکلاتی هستند که منجر به کاهش کارایی استنباط‌های حاصل از روش‌های کلاسیک رگرسیونی می‌شوند.

در این مقاله، ابتدا معایب روش رگرسیونی کلاسیک کمترین توان‌های دوم در مقابل مشاهده‌های دورافتاده، هم‌خطی چندگانه و مدل‌های تنک را بررسی می‌کنیم. سپس به معرفی و بررسی روش‌های رگرسیون استوار و رگرسیون تاوانیده به عنوان راهکارهای حل این مشکلات می‌پردازیم. همچنین با در نظر گرفتن مشاهده‌های دورافتاده و هم‌خطی چندگانه و یا مدل‌های تنک به‌طور هم‌زمان به بررسی روش‌های رگرسیون استوار تاوانیده می‌پردازیم.

در نهایت به‌منظور مقایسۀ عملکرد براوردگرهای مختلف مطرح شده در این مقاله، ابتدا سه مطالعۀ شبیه‌سازی را انجام داده و سپس به تحلیل یک مجموعه دادۀ واقعی با استفاده از روش‌های رگرسیون استوار تاوانیده می‌پردازیم.