MLPClassifier#

class sklearn.neural_network.MLPClassifier(hidden_layer_sizes=(100,), activation='relu', *, solver='adam', alpha=0.0001, batch_size='auto', learning_rate='constant', learning_rate_init=0.001, power_t=0.5, max_iter=200, shuffle=True, random_state=None, tol=0.0001, verbose=False, warm_start=False, momentum=0.9, nesterovs_momentum=True, early_stopping=False, validation_fraction=0.1, beta_1=0.9, beta_2=0.999, epsilon=1e-08, n_iter_no_change=10, max_fun=15000)[源代码]#

多层感知器分类器。

该模型使用LBFSG或随机梯度下降来优化对数损失函数。

Added in version 0.18.

参数:

hidden_layer_sizesarray-like of shape(n_layers - 2,), default=(100,)

第i个元素表示第i个隐藏层中神经元的数量。

activation' identific '，' tanh '，' relu '，&#39

隐藏层的激活功能。

“身份”，无操作激活，有助于实现线性瓶颈，返回f（x）= x
“logistic”，逻辑sigmoid函数，返回f（x）= 1 /（1 + BEP（-x））。
双曲tan函数“tanh”返回f（x）= tanh（x）。
“relu”，即已纠正的线性单位函数，返回f（x）= max（0，x）

solver' lbfgs '，' adam '}，默认=' adam '

权重优化的求解器。

“lbfgs”是准牛顿方法家族中的优化器。
“sgd”指的是随机梯度下降。
“adam”指的是Kingma、Diederik和Jimmy Ba提出的随机基于梯度的优化器

有关Adam优化器和Singapore之间的比较，请参阅比较MLP分类器的随机学习策略 .

注：默认的求解器adam在训练时间和验证分数方面都能很好地处理相对较大的数据集（具有数千个训练样本或更多）。然而，对于小数据集，“lbfgs”可以收敛得更快，性能更好。

alphafloat，默认=0.0001

L2正规化项的强度。当添加到损失中时，L2正规化项将除以样本大小。

有关不同正规化的示例使用和可视化，请参阅多层感知器中的变化规则化 .

batch_sizeint，默认=' Auto '

随机优化器的小批量大小。如果求解器是“lbfgs”，则分类器将不会使用minibatch。当设置为“自动”时， batch_size=min(200, n_samples) .

learning_rate' constant '，' invscaling '，'

体重更新的学习率时间表。

“constant”是由“learning_rate_initit”给出的恒定学习率。
“invscaling”使用“power_t”的逆缩放指数逐渐降低每个时间步“t”的学习率。effective_learning_rate = learning_rate_initit/ pow（t，power_t）
只要训练损失不断减少，“自适应”就会将学习率保持为“learning_rate_initt”。每当两个连续时期未能将训练损失减少至少tol，或者如果“early_stoping”打开，则无法将验证分数增加至少tol，当前学习率将被除以5。

仅在当 solver='sgd' .

learning_rate_init浮动，默认=0.001

使用的初始学习率。它控制更新权重时的步进大小。仅在solver =' sgd '或'时使用。

power_t浮点数，默认值=0.5

逆缩放学习率的指数。当learning_rate设置为“invscaling”时，它用于更新有效学习率。仅在solver='sgd'时使用。

max_iterint，默认=200

最大迭代次数。求解器迭代直到收敛（由“tol”确定）或此迭代次数。对于随机解算器（'sgd'，'adam'），请注意这决定了epoch的数量（每个数据点将被使用多少次），而不是梯度步骤的数量。

shuffle布尔，默认=True

是否在每次迭代中洗牌样本。仅在solver =' sgd '或'时使用。

random_stateint，RandomState实例，默认=无

确定权重和偏差初始化的随机数生成、使用提前停止的训练测试分裂以及当求解器=' sgd '或'时的批采样。传递int以获得跨多个函数调用的可重复结果。看到 Glossary .

tolfloat，默认= 1 e-4

优化的容忍度。当损失或分数至少没有改善时 tol 为 n_iter_no_change 连续迭代，除非 learning_rate 设置为“自适应”，则认为已达到收敛并停止训练。

verbose布尔，默认=假

是否将进度消息打印到stdout。

warm_start布尔，默认=假

When set to True, reuse the solution of the previous call to fit as initialization, otherwise, just erase the previous solution. See the Glossary.

momentum浮点数，默认值=0.9

梯度下降更新的动量。应该介于0和1之间。仅在solver='sgd'时使用。

nesterovs_momentum布尔，默认=True

是否利用涅斯捷罗夫的势头。仅在求解器=' sgd '且动量> 0时使用。

early_stopping布尔，默认=假

当验证分数没有提高时，是否使用提前停止来终止培训。如果设置为真，它将自动保留10%的训练数据作为验证，并在验证分数至少没有提高时终止训练 tol 为 n_iter_no_change 连续的时代。拆分是分层的，但多标签设置除外。如果提前停止为假，那么当n_iter_no_change在训练集中连续传球的训练损失没有改善超过tol时，训练停止。仅当求解器=' sgd '或'时有效。

validation_fractionfloat，默认=0.1

预留作为提前停止验证的训练数据比例。必须介于0和1之间。仅在early_stopping为True时使用。

beta_1浮点数，默认值=0.9

亚当一阶矩向估计的指数衰减率应在[0，1）中。仅在求解器=' adam '时使用。

beta_2float，默认=0.999

二阶矩量估计的指数衰减率（以亚当为单位）应该在[0，1）中。仅在求解器=' adam '时使用。

epsilonfloat，默认= 1 e-8

亚当的数字稳定性值。仅在求解器=' adam '时使用。

n_iter_no_changeint，默认值=10

不满足的最大纪元数 tol 改进.仅当求解器=' sgd '或'时有效。

Added in version 0.20.

max_funint，默认=15000

仅当求解器=' lbfgs '时使用。损失函数调用的最大数量。求解器迭代，直到收敛（由“tol”确定）、迭代次数达到max_iter或此损失函数调用次数。请注意，损失函数调用的次数将大于或等于 MLPClassifier .

Added in version 0.22.

属性:

classes_nd数组或形状的nd数组列表（n_classes，）: 每个输出的类标签。
loss_浮子: 使用损失函数计算的当前损失。
best_loss_浮动或无: 求解器在整个装配过程中达到的最小损失。如果 early_stopping=True ，此属性设置为 None .参阅 best_validation_score_ 相反，适合属性。
loss_curve_ ：形状列表 (n_iter_ ,)形状列表（: 列表中的第i个元素代表第i次迭代时的损失。
validation_scores_ ：形状列表 (n_iter_ ，）或无形状列表（: 已完成的验证集中每次迭代的分数。报告的分数是准确性分数。仅在以下情况下可用 early_stopping=True ，否则属性设置为 None .
best_validation_score_浮动或无: 触发提前停止的最佳验证分数（即准确性分数）。仅在以下情况下可用 early_stopping=True ，否则属性设置为 None .
t_int: 求解器在适配期间看到的训练样本数量。
coefs_形状列表（n_layers - 1，）: 列表中的第i个元素表示与第i层对应的权重矩阵。
intercepts_形状列表（n_layers - 1，）: 列表中的第i个元素表示与层i + 1对应的偏置载体。
n_features_in_int: 期间看到的功能数量 fit .

Added in version 0.24.
feature_names_in_ ：nd形状数组 (n_features_in_ ,)nd数组形状（: Names of features seen during fit. Defined only when X has feature names that are all strings.

Added in version 1.0.
n_iter_int: 求解器已运行的迭代次数。
n_layers_int: 层数。
n_outputs_int: 输出数量。
out_activation_str: 输出激活函数的名称。

参见

MLPRegressor: 多层感知器回归器。
BernoulliRBM: Bernoulli Restricted Boltzmann Machine (RBM).

注意到

MLPDClassifier迭代训练，因为在每个时间步，都会计算损失函数相对于模型参数的偏导以更新参数。

它还可以向损失函数中添加一个正规化项，该函数可以缩小模型参数以防止过度逼近。

此实现适用于表示为浮点值的密集numpy数组或稀疏scipy数组的数据。

引用

杰弗里·E·辛顿“连接主义学习程序。“人工智能40.1（1989）：185-234。

格洛洛特、泽维尔和约瑟姆·本吉奥。“了解训练深度前向神经网络的困难。“国际人工智能与统计会议。2010.

He, Kaiming, et al (2015). "Delving deep into rectifiers: Surpassing human-level performance on imagenet classification."

Kingma, Diederik, and Jimmy Ba (2014) "Adam: A method for stochastic optimization."

示例

>>> from sklearn.neural_network import MLPClassifier
>>> from sklearn.datasets import make_classification
>>> from sklearn.model_selection import train_test_split
>>> X, y = make_classification(n_samples=100, random_state=1)
>>> X_train, X_test, y_train, y_test = train_test_split(X, y, stratify=y,
...                                                     random_state=1)
>>> clf = MLPClassifier(random_state=1, max_iter=300).fit(X_train, y_train)
>>> clf.predict_proba(X_test[:1])
array([[0.038..., 0.961...]])
>>> clf.predict(X_test[:5, :])
array([1, 0, 1, 0, 1])
>>> clf.score(X_test, y_test)
0.8...

fit(X, y)[源代码]#

将模型匹配数据矩阵X和目标y。

参数:

Xnd数组或形状稀疏矩阵（n_samples，n_features）: 输入数据。
y形状的nd数组（n_samples，）或（n_samples，n_outputs）: The target values (class labels in classification, real numbers in regression).

返回:

self对象: 返回经过训练的MLP模型。

get_metadata_routing()[源代码]#

获取此对象的元数据路由。

请检查 User Guide 关于路由机制如何工作。

返回:

routingMetadataRequest: A MetadataRequest 封装路由信息。

get_params(deep=True)[源代码]#

获取此估计器的参数。

参数:

deep布尔，默认=True: 如果为True，将返回此估计量和包含的作为估计量的子对象的参数。

返回:

paramsdict: 参数名称映射到其值。

partial_fit(X, y, classes=None)[源代码]#

通过给定数据的单次迭代更新模型。

参数:

X形状（n_samples，n_features）的{类数组，稀疏矩阵}: 输入数据。
y形状类似阵列（n_samples，）: The target values.
classes形状数组（n_classes，），默认=无: 所有partial_fit调用的类。人士可利用 np.unique(y_all) 其中y_all是整个数据集的目标向量。第一次调用partial_fit时需要此参数，在后续调用中可以省略。请注意，y不需要包含 classes .

返回:

self对象: 训练过的MLP模型。

predict(X)[源代码]#

使用多层感知器分类器进行预测。

参数:

X形状（n_samples，n_features）的{类数组，稀疏矩阵}: 输入数据。

返回:

yndarray，shape（n_samples，）或（n_samples，n_classes）: 预测的班级。

predict_log_proba(X)[源代码]#

返回概率估计的日志。

参数:

X形状的nd数组（n_samples，n_features）: 输入数据。

返回:

log_y_prob形状的nd数组（n_samples，n_classes）: 模型中每个类别的样本的预测log概率，其中类别按其所在位置排序 self.classes_ .相当于 log(predict_proba(X)) .

predict_proba(X)[源代码]#

概率估计。

参数:

X形状（n_samples，n_features）的{类数组，稀疏矩阵}: 输入数据。

返回:

y_prob形状的nd数组（n_samples，n_classes）: 模型中每个类别的样本预测概率，其中类别按其所在位置排序 self.classes_ .

score(X, y, sample_weight=None)[源代码]#

返回给定测试数据和标签的平均准确度。

在多标签分类中，这是子集准确度，这是一个苛刻的指标，因为您需要为每个样本正确预测每个标签集。

参数:

X形状类似阵列（n_samples，n_features）: 测试样本。
y形状的类似阵列（n_samples，）或（n_samples，n_outputs）: 真正的标签 X .
sample_weight形状类似数组（n_samples，），默认=无: 样本重量。

返回:

score浮子: 平均准确度 self.predict(X) w.r.t. y .

set_params(**params)[源代码]#

设置此估计器的参数。

该方法适用于简单估计器以及嵌套对象（例如 Pipeline ).后者具有以下形式的参数 <component>__<parameter> 以便可以更新嵌套对象的每个组件。

参数:

**paramsdict: 估计参数。

返回:

self估计器实例: 估计实例。

set_partial_fit_request(*, classes: bool | None | str = '$UNCHANGED$') → MLPClassifier[源代码]#

请求元数据传递给 partial_fit 法

请注意，此方法仅适用于以下情况 enable_metadata_routing=True （见 sklearn.set_config ).请参阅 User Guide 关于路由机制如何工作。

The options for each parameter are:

True ：元数据被请求并传递给 partial_fit 如果提供的话。如果未提供元数据，则会忽略请求。
False ：未请求元数据，元估计器不会将其传递给 partial_fit .
None ：不请求元数据，如果用户提供元估计器，则元估计器将引发错误。
str ：元数据应通过此给定别名而不是原始名称传递给元估计器。

默认 (sklearn.utils.metadata_routing.UNCHANGED ）保留现有请求。这允许您更改某些参数的请求，而不是其他参数。

Added in version 1.3.

备注

只有当该估计器用作元估计器的子估计器时，该方法才相关，例如在 Pipeline .否则就没有效果了。

参数:

classes字符串、真、假或无，默认=sklearn.utils. metalics_Routing.UNChanged: 元数据路由 classes 参数 partial_fit .

返回:

self对象: 更新的对象。

set_score_request(*, sample_weight: bool | None | str = '$UNCHANGED$') → MLPClassifier[源代码]#

请求元数据传递给 score 法

请注意，此方法仅适用于以下情况 enable_metadata_routing=True （见 sklearn.set_config ).请参阅 User Guide 关于路由机制如何工作。

The options for each parameter are:

True ：元数据被请求并传递给 score 如果提供的话。如果未提供元数据，则会忽略请求。
False ：未请求元数据，元估计器不会将其传递给 score .
None ：不请求元数据，如果用户提供元估计器，则元估计器将引发错误。
str ：元数据应通过此给定别名而不是原始名称传递给元估计器。

默认 (sklearn.utils.metadata_routing.UNCHANGED ）保留现有请求。这允许您更改某些参数的请求，而不是其他参数。

Added in version 1.3.

备注

只有当该估计器用作元估计器的子估计器时，该方法才相关，例如在 Pipeline .否则就没有效果了。

参数:

sample_weight字符串、真、假或无，默认=sklearn.utils. metalics_Routing.UNChanged: 元数据路由 sample_weight 参数 score .

返回:

self对象: 更新的对象。