查看: 229|回复: 0

房价预测（线性回归）

字体大小: 正常放大

833 主题	1 听众	2188 积分

该用户从未签到

电梯直达

1^#

发表于 2024-3-31 16:37 |显示全部楼层 |倒序浏览

|招呼Ta 关注Ta

数据集：使用加利福尼亚房价数据集。
任务：构建一个模型预测加利福尼亚地区的房价。
挑战：尝试不同的预处理方法（标准化、归一化等）和特征选择技术来改进模型性能。
线性回归是一种预测数值型数据的经典统计方法，它假设目标值和特征之间存在线性关系。在房价预测任务中，我们可以使用线性回归模型来预测基于多个特征（如房屋大小、位置、年龄等）的房价。以下是使用加利福尼亚房价数据集进行房价预测的示例代码，以及如何应用不同的预处理方法和特征选择技术来改进模型性能。

加载和预处理数据
首先，我们从scikit-learn中加载加利福尼亚房价数据集，并进行基本的数据预处理。

from sklearn.datasets import fetch_california_housing
% a6 U$ l. K$ }: B
$ }0 N8 ]* p! a/ I% f
from sklearn.model_selection import train_test_split' m# h3 F& M! H3 u/ W* U
: ]4 W; u- ` X. X
from sklearn.preprocessing import StandardScaler
( A# \: i* B2 l+ L4 |
( {\\" b9 A! l$ Y& Y: [\\" c! E \, `
from sklearn.linear_model import LinearRegression3 r, s# Q. o7 O+ H
5 R. d* W1 a) G* d! @1 b
from sklearn.metrics import mean_squared_error
$ ]% }9 x+ O9 e% H* W; C8 }
- q+ P) r4 y. {7 j4 A7 b E\\" g
+ G1 o* V9 U( r1 ?1 b
4 \& p4 e) D7 c1 x
# 加载数据集
; k\\" M3 ` A' E. e\\" q
2 s/ }- g% Z% z \4 |, ~. F
housing = fetch_california_housing()
Q3 o$ ]; |4 ~ h# q: L8 ^+ F
) B* H% A: O( {( O
X, y = housing.data, housing.target# f3 I$ ]2 M\\" ~3 ]8 s
: I- |) R1 p P) G2 Q
5 [8 X9 G, Q. K: B
9 K3 F7 C0 r( i7 ? ?
# 划分训练集和测试集; r$ r' K- t/ M\\" n% r! a- f
4 s& z0 ~/ ^ X
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)3 G! H* ~7 O# `: y) H8 a' r
9 V( j0 {4 F/ v6 m4 C* f
2 O$ l- ^6 E- w3 J
% |7 c3 m& U; x, i0 c+ q; C( F
# 数据预处理：标准化
+ h8 f4 F' }: D8 U2 c, l
! o5 j/ h0 C5 H8 |5 h
scaler = StandardScaler()
1 C! G' p* Y\\" g
5 N; [* \. V q Y4 b
X_train_scaled = scaler.fit_transform(X_train)* t) g4 h( x/ @5 ]
, S, s: f- s, _8 V4 n( S
X_test_scaled = scaler.transform(X_test)

from sklearn.datasets import fetch_california_housing 
% a6 U$ l. K$ }: B
$ }0 N8 ]* p! a/ I% f

from sklearn.model_selection import train_test_split' m# h3 F& M! H3 u/ W* U

: ]4 W; u- `  X. X

from sklearn.preprocessing import StandardScaler 
( A# \: i* B2 l+ L4 |
( {\\" b9 A! l$ Y& Y: [\\" c! E  \, `

from sklearn.linear_model import LinearRegression3 r, s# Q. o7 O+ H

5 R. d* W1 a) G* d! @1 b
from sklearn.metrics import mean_squared_error 
$ ]% }9 x+ O9 e% H* W; C8 }
 
- q+ P) r4 y. {7 j4 A7 b  E\\" g
 
+ G1 o* V9 U( r1 ?1 b
4 \& p4 e) D7 c1 x

# 加载数据集 
; k\\" M3 `  A' E. e\\" q
2 s/ }- g% Z% z  \4 |, ~. F

housing = fetch_california_housing() 
  Q3 o$ ]; |4 ~  h# q: L8 ^+ F
) B* H% A: O( {( O

X, y = housing.data, housing.target# f3 I$ ]2 M\\" ~3 ]8 s

: I- |) R1 p  P) G2 Q

5 [8 X9 G, Q. K: B

9 K3 F7 C0 r( i7 ?  ?

# 划分训练集和测试集; r$ r' K- t/ M\\" n% r! a- f

4 s& z0 ~/ ^  X
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)3 G! H* ~7 O# `: y) H8 a' r

9 V( j0 {4 F/ v6 m4 C* f
 2 O$ l- ^6 E- w3 J

% |7 c3 m& U; x, i0 c+ q; C( F
# 数据预处理：标准化 
+ h8 f4 F' }: D8 U2 c, l
 
! o5 j/ h0 C5 H8 |5 h
scaler = StandardScaler() 
1 C! G' p* Y\\" g
5 N; [* \. V  q  Y4 b

X_train_scaled = scaler.fit_transform(X_train)* t) g4 h( x/ @5 ]

, S, s: f- s, _8 V4 n( S

X_test_scaled = scaler.transform(X_test)

构建和训练线性回归模型

# 创建线性回归模型# j7 J- p9 Y9 T, U
model = LinearRegression()
, m! K8 L, s. N8 b7 V
! z# M$ u/ s; l( g8 B+ U/ ^! E. g
# 训练模型
4 B) f\" } F1 d7 ~% G
model.fit(X_train_scaled, y_train)
9 |* l2 Y1 ]- I( `2 O
, w9 l& G2 r1 M: ?# H
# 预测测试集
/ [$ G3 }! _0 U. \ s
y_pred = model.predict(X_test_scaled)3 [) z# P9 @ }* P) j; K
% M7 Q9 h\" c& V! j& O
# 评估模型
6 D9 z6 _4 Z& J* y
mse = mean_squared_error(y_test, y_pred)6 y* \% X( k6 O _3 x/ Z8 x2 Z
print(f"Mean Squared Error: {mse}")

复制代码

挑战：尝试不同的预处理方法和特征选择
预处理方法：除了标准化，你还可以尝试归一化（MinMaxScaler）、对数转换等方法，看看它们如何影响模型的性能。
特征选择：可以使用不同的特征选择方法（如SelectKBest, SelectFromModel）来选择最有影响力的特征，这有助于模型专注于最重要的信息，提高预测准确性。

from sklearn.feature_selection import SelectKBest, f_regression: E8 j4 E; e( o0 l. O\" a& l: J; E
& U3 W7 F* ]* o/ d
# 特征选择
( w0 d; A) W- R: h\" A, h+ M
selector = SelectKBest(score_func=f_regression, k=5)# a! y4 `/ [3 `3 S+ b5 V
X_train_selected = selector.fit_transform(X_train_scaled, y_train)
3 {7 z9 g4 Q4 W
X_test_selected = selector.transform(X_test_scaled)8 C8 |% ^9 c5 |9 R6 M+ Z5 j
1 Z# r$ y1 x) ~
# 使用选择的特征重新训练模型+ U4 R, N( l+ w% ?9 J
model.fit(X_train_selected, y_train)* P! k9 q9 _# e( {: D# F' k+ I
y_pred_selected = model.predict(X_test_selected)
/ w5 N\" l% K$ H% T5 G\" U
\" ~* I& `1 @8 f' |$ C, f
# 评估0 j- H& M* _* }
mse_selected = mean_squared_error(y_test, y_pred_selected)
0 o4 R$ G$ o1 j4 |, q
print(f"Mean Squared Error with selected features: {mse_selected}")