機器學習面試考點 — Linear Regression

架構

1. 機器學習、模型優化面試考題
2. 統計學面試考題

符號

x : inputs / features / attributes

y: outputs / target

1.機器學習、模型優化面試考題

Q1 What is Linear Regression?

線性回歸屬於監督式學習的一種，模型想要找到一條線很好的描述input x。我們可以進一步將LR分成簡單回歸與多元回歸兩種，模型為f(x) = wx+b，參數是w,b，衡量error的方式是square error = (f(x)-y)² = (ŷ-y)²

Q2Explain how does the Gradient descent work in Linear Regression

梯度下降是一種最佳化演算法，透過不斷迭代的方式更新參數，最終找到最佳解。

在線性回歸問題中，我們希望最小化Cost Function J(w,b)=Σ(ŷ-y)²，也就是MSE，同時求解出參數w,b。把ŷ用wx+b帶進去，可得J(w,b)=Σ((wx+b)-y)²

現在我們讓參數w,b不斷往負的梯度方向跑直到收斂（w不再動），就完成了梯度下降，其中α是learning rate，代表每一次迭代的步長要多大。

Q3 In which case you would use Gradient Descent method or Ordinary Least Squares and why?

GD透過一步步迭代的方式找到參數w,b的最佳解，缺點是如果learning rate太小會跑很慢。OLS最小平方估計法經過推導後可得到正規方程式（Normal Equation)，不用learning rate、不用迭代，但是要做反矩陣還有矩陣乘法，時間複雜度高，若資料簡單可採用後者。

Q4 Why use Root Mean Squared Error (RMSE) instead of Mean Absolute Error (MAE)?

因為MSE具有平滑可微分的特性，在做梯度下降時更方便。

Q5 How would you deal with Overfitting in Linear Regression models?

1. 增加更多的data
2. 做Feature Selection
3. 正規化（以下為考慮L2正規化的Cost Function）

2.統計學面試考題

Q1 What are the Assumptions of Linear Regression?

1. 直線性：x和y存在線性關係
2. 常態性：誤差呈常態分配 →Check by Q-Q plots
3. 同質性：誤差變異相同
4. 獨立性：自變數彼此獨立 →Check by Correlation Matrix

Q2 What is the evaluation metrics for regression analysis? Name a disadvantage of R-squared and explain how would you address it?

R²又叫做判定係數，用來呈現回歸線的解釋能力。其公式為總變異分之可解釋變異

總變異：SST = SSy = Σ(yi-ȳ)²

回歸變異：SSR = Σ(ŷi-ȳ)²

R² = SSR/SST

Photo by Rahul Pathak on Medium

R²的缺點是加入不相干的自變數也會造成SSR上升，進而使R²也跟著上升。因此Adjusted R²把變數的個數也納入考量，若加入的變數貢獻太小，會使Adjusted R²下降。

R²a = 1-MSE/MST

參考資料 medium1, 資源