MLPRegressor#

class sklearn.neural_network.MLPRegressor(hidden_layer_sizes=(100,), activation='relu', *, solver='adam', alpha=0.0001, batch_size='auto', learning_rate='constant', learning_rate_init=0.001, power_t=0.5, max_iter=200, shuffle=True, random_state=None, tol=0.0001, verbose=False, warm_start=False, momentum=0.9, nesterovs_momentum=True, early_stopping=False, validation_fraction=0.1, beta_1=0.9, beta_2=0.999, epsilon=1e-08, n_iter_no_change=10, max_fun=15000)[源代码]#

多层感知器回归器。

该模型使用LBFSG或随机梯度下降来优化平方误差。

Added in version 0.18.

参数:

hidden_layer_sizesarray-like of shape(n_layers - 2,), default=(100,)

第i个元素表示第i个隐藏层中神经元的数量。

activation' identific '，' tanh '，' relu '，&#39

隐藏层的激活功能。

“身份”，无操作激活，有助于实现线性瓶颈，返回f（x）= x
“logistic”，逻辑sigmoid函数，返回f（x）= 1 /（1 + BEP（-x））。
双曲tan函数“tanh”返回f（x）= tanh（x）。
“relu”，即已纠正的线性单位函数，返回f（x）= max（0，x）

solver' lbfgs '，' adam '}，默认=' adam '

权重优化的求解器。

“lbfgs”是准牛顿方法家族中的优化器。
“sgd”指的是随机梯度下降。
“adam”指的是Kingma、Diederik和Jimmy Ba提出的随机基于梯度的优化器

有关Adam优化器和Singapore之间的比较，请参阅比较MLP分类器的随机学习策略 .

注：默认的求解器adam在训练时间和验证分数方面都能很好地处理相对较大的数据集（具有数千个训练样本或更多）。然而，对于小数据集，“lbfgs”可以收敛得更快，性能更好。

alphafloat，默认=0.0001

L2正规化项的强度。当添加到损失中时，L2正规化项将除以样本大小。

batch_sizeint，默认=' Auto '

随机优化器的小批量大小。如果求解器是“lbfgs”，则回归器将不会使用minibatch。当设置为“自动”时， batch_size=min(200, n_samples) .

learning_rate' constant '，' invscaling '，'

体重更新的学习率时间表。

“constant”是由“learning_rate_initit”给出的恒定学习率。
“invscaling”逐渐降低学习率 learning_rate_ 在每个时间步长“t”处使用“power_t”的反标度指数。effective_learning_rate = learning_rate_initit/ pow（t，power_t）
只要训练损失不断减少，“自适应”就会将学习率保持为“learning_rate_initt”。每当两个连续时期未能将训练损失减少至少tol，或者如果“early_stoping”打开，则无法将验证分数增加至少tol，当前学习率将被除以5。

仅在solver='sgd'时使用。

learning_rate_init浮动，默认=0.001

使用的初始学习率。它控制更新权重时的步进大小。仅在solver =' sgd '或'时使用。

power_t浮点数，默认值=0.5

逆缩放学习率的指数。当learning_rate设置为“invscaling”时，它用于更新有效学习率。仅在solver='sgd'时使用。

max_iterint，默认=200

最大迭代次数。求解器迭代直到收敛（由“tol”确定）或此迭代次数。对于随机解算器（'sgd'，'adam'），请注意这决定了epoch的数量（每个数据点将被使用多少次），而不是梯度步骤的数量。

shuffle布尔，默认=True

是否在每次迭代中洗牌样本。仅在solver =' sgd '或'时使用。

random_stateint，RandomState实例，默认=无

确定权重和偏差初始化的随机数生成、使用提前停止的训练测试分裂以及当求解器=' sgd '或'时的批采样。传递int以获得跨多个函数调用的可重复结果。看到 Glossary .

tolfloat，默认= 1 e-4

优化的容忍度。当损失或分数至少没有改善时 tol 为 n_iter_no_change 连续迭代，除非 learning_rate 设置为“自适应”，则认为已达到收敛并停止训练。

verbose布尔，默认=假

是否将进度消息打印到stdout。

warm_start布尔，默认=假

When set to True, reuse the solution of the previous call to fit as initialization, otherwise, just erase the previous solution. See the Glossary.

momentum浮点数，默认值=0.9

梯度下降更新的动量。应该介于0和1之间。仅在solver='sgd'时使用。

nesterovs_momentum布尔，默认=True

是否利用涅斯捷罗夫的势头。仅在求解器=' sgd '且动量> 0时使用。

early_stopping布尔，默认=假

当验证分数没有提高时，是否使用提前停止来终止培训。如果设置为True，它将自动留出 validation_fraction 将训练数据作为验证，并在验证分数至少没有提高时终止训练 tol 为 n_iter_no_change 连续的时代。仅当求解器=' sgd '或'时有效。

validation_fractionfloat，默认=0.1

预留作为提前停止验证的训练数据比例。必须介于0和1之间。仅在early_stopping为True时使用。

beta_1浮点数，默认值=0.9

亚当一阶矩向估计的指数衰减率应在[0，1）中。仅在求解器=' adam '时使用。

beta_2float，默认=0.999

二阶矩量估计的指数衰减率（以亚当为单位）应该在[0，1）中。仅在求解器=' adam '时使用。

epsilonfloat，默认= 1 e-8

亚当的数字稳定性值。仅在求解器=' adam '时使用。

n_iter_no_changeint，默认值=10

不满足的最大纪元数 tol 改进.仅当求解器=' sgd '或'时有效。

Added in version 0.20.

max_funint，默认=15000

仅当求解器=' lbfgs '时使用。最大函数调用数。求解器迭代直到收敛（由以下决定 tol ），迭代次数达到max_iter，或者这个函数调用次数。请注意，函数调用的次数将大于或等于MLPRegressor的迭代次数。

Added in version 0.22.

属性:

loss_浮子: 使用损失函数计算的当前损失。
best_loss_浮子: 求解器在整个装配过程中达到的最小损失。如果 early_stopping=True ，此属性设置为 None .参阅 best_validation_score_ 相反，适合属性。仅当求解器=' sgd '或'时才可用。
loss_curve_ ：形状列表 (n_iter_ ,)形状列表（: 每个训练步骤结束时评估损失值。列表中的第i个元素代表第i次迭代时的损失。仅当求解器=' sgd '或'时才可用。
validation_scores_ ：形状列表 (n_iter_ ，）或无形状列表（: 已完成的验证集中每次迭代的分数。报告的评分为R2评分。仅在以下情况下可用 early_stopping=True ，否则属性设置为 None .仅当求解器=' sgd '或'时才可用。
best_validation_score_浮动或无: 触发提前停止的最佳验证分数（即R2分数）。仅在以下情况下可用 early_stopping=True ，否则属性设置为 None .仅当求解器=' sgd '或'时才可用。
t_int: 求解器在适配期间看到的训练样本数量。数学上等于 n_iters * X.shape[0] ，这意味着 time_step 并由优化器的学习率调度器使用。
coefs_形状列表（n_layers - 1，）: 列表中的第i个元素表示与第i层对应的权重矩阵。
intercepts_形状列表（n_layers - 1，）: 列表中的第i个元素表示与层i + 1对应的偏置载体。
n_features_in_int: 期间看到的功能数量 fit .

Added in version 0.24.
feature_names_in_ ：nd形状数组 (n_features_in_ ,)nd数组形状（: Names of features seen during fit. Defined only when X has feature names that are all strings.

Added in version 1.0.
n_iter_int: 求解器已运行的迭代次数。
n_layers_int: 层数。
n_outputs_int: 输出数量。
out_activation_str: 输出激活函数的名称。

参见

BernoulliRBM: Bernoulli Restricted Boltzmann Machine (RBM).
MLPClassifier: 多层感知器分类器。
sklearn.linear_model.SGDRegressor: 线性模型通过最小化与新元的正规化经验损失来进行。

注意到

MLPRegressor迭代训练，因为在每个时间步，都会计算损失函数相对于模型参数的偏导以更新参数。

它还可以向损失函数中添加一个正规化项，该函数可以缩小模型参数以防止过度逼近。

此实现可处理表示为浮点值的密集和稀疏numpy数组的数据。

引用

杰弗里·E·辛顿“连接主义学习程序。“人工智能40.1（1989）：185-234。

格洛洛特、泽维尔和约瑟姆·本吉奥。“了解训练深度前向神经网络的困难。“国际人工智能与统计会议。2010.

He, Kaiming, et al (2015). "Delving deep into rectifiers: Surpassing human-level performance on imagenet classification."

Kingma, Diederik, and Jimmy Ba (2014) "Adam: A method for stochastic optimization."

示例

>>> from sklearn.neural_network import MLPRegressor
>>> from sklearn.datasets import make_regression
>>> from sklearn.model_selection import train_test_split
>>> X, y = make_regression(n_samples=200, n_features=20, random_state=1)
>>> X_train, X_test, y_train, y_test = train_test_split(X, y,
...                                                     random_state=1)
>>> regr = MLPRegressor(random_state=1, max_iter=2000, tol=0.1)
>>> regr.fit(X_train, y_train)
MLPRegressor(max_iter=2000, random_state=1, tol=0.1)
>>> regr.predict(X_test[:2])
array([  28..., -290...])
>>> regr.score(X_test, y_test)
0.98...

fit(X, y)[源代码]#

将模型匹配数据矩阵X和目标y。

参数:

Xnd数组或形状稀疏矩阵（n_samples，n_features）: 输入数据。
y形状的nd数组（n_samples，）或（n_samples，n_outputs）: The target values (class labels in classification, real numbers in regression).

返回:

self对象: 返回经过训练的MLP模型。

get_metadata_routing()[源代码]#

获取此对象的元数据路由。

请检查 User Guide 关于路由机制如何工作。

返回:

routingMetadataRequest: A MetadataRequest 封装路由信息。

get_params(deep=True)[源代码]#

获取此估计器的参数。

参数:

deep布尔，默认=True: 如果为True，将返回此估计量和包含的作为估计量的子对象的参数。

返回:

paramsdict: 参数名称映射到其值。

partial_fit(X, y)[源代码]#

通过给定数据的单次迭代更新模型。

参数:

X形状（n_samples，n_features）的{类数组，稀疏矩阵}: 输入数据。
y形状的nd数组（n_samples，）: The target values.

返回:

self对象: 训练过的MLP模型。

predict(X)[源代码]#

Predict using the multi-layer perceptron model.

参数:

X形状（n_samples，n_features）的{类数组，稀疏矩阵}: 输入数据。

返回:

yndarray of shape（n_samples，n_outputs）: 预测值。

score(X, y, sample_weight=None)[源代码]#

返回预测的决定系数。

决定系数 $R^2$ 被定义为 $(1 - \frac{u}{v})$ ，在哪里 $u$ 是残差平方和 ((y_true - y_pred)** 2).sum() 和 $v$ 是平方总和 ((y_true - y_true.mean()) ** 2).sum() .最好的可能分数是1.0，并且可以是负的（因为模型可以任意更差）。始终预测的期望值的恒定模型 y 如果不考虑输入功能，就会得到 $R^2$ 评分0.0。

参数:

X形状类似阵列（n_samples，n_features）: Test samples. For some estimators this may be a precomputed kernel matrix or a list of generic objects instead with shape (n_samples, n_samples_fitted), where n_samples_fitted is the number of samples used in the fitting for the estimator.
y形状的类似阵列（n_samples，）或（n_samples，n_outputs）: 真正的价值观 X .
sample_weight形状类似数组（n_samples，），默认=无: 样本重量。

返回:

score浮子: $R^2$ 的 self.predict(X) w.r.t. y .

注意到

的 $R^2$ 呼叫时使用的分数 score 在回归器上使用 multioutput='uniform_average' 从0.23版本开始，与默认值保持一致 r2_score .这影响了 score 所有多输出回归器的方法（除了 MultiOutputRegressor ).

set_params(**params)[源代码]#

设置此估计器的参数。

该方法适用于简单估计器以及嵌套对象（例如 Pipeline ).后者具有以下形式的参数 <component>__<parameter> 以便可以更新嵌套对象的每个组件。

参数:

**paramsdict: 估计参数。

返回:

self估计器实例: 估计实例。

set_score_request(*, sample_weight: bool | None | str = '$UNCHANGED$') → MLPRegressor[源代码]#

请求元数据传递给 score 法

请注意，此方法仅适用于以下情况 enable_metadata_routing=True （见 sklearn.set_config ).请参阅 User Guide 关于路由机制如何工作。

The options for each parameter are:

True ：元数据被请求并传递给 score 如果提供的话。如果未提供元数据，则会忽略请求。
False ：未请求元数据，元估计器不会将其传递给 score .
None ：不请求元数据，如果用户提供元估计器，则元估计器将引发错误。
str ：元数据应通过此给定别名而不是原始名称传递给元估计器。

默认 (sklearn.utils.metadata_routing.UNCHANGED ）保留现有请求。这允许您更改某些参数的请求，而不是其他参数。

Added in version 1.3.

备注

只有当该估计器用作元估计器的子估计器时，该方法才相关，例如在 Pipeline .否则就没有效果了。

参数:

sample_weight字符串、真、假或无，默认=sklearn.utils. metalics_Routing.UNChanged: 元数据路由 sample_weight 参数 score .

返回:

self对象: 更新的对象。