SGDClassifier#

class sklearn.linear_model.SGDClassifier(loss='hinge', *, penalty='l2', alpha=0.0001, l1_ratio=0.15, fit_intercept=True, max_iter=1000, tol=0.001, shuffle=True, verbose=0, epsilon=0.1, n_jobs=None, random_state=None, learning_rate='optimal', eta0=0.0, power_t=0.5, early_stopping=False, validation_fraction=0.1, n_iter_no_change=5, class_weight=None, warm_start=False, average=False)[源代码]#

线性分类器（支持者、逻辑回归等）接受新加坡元培训。

This estimator implements regularized linear models with stochastic gradient descent (SGD) learning: the gradient of the loss is estimated each sample at a time and the model is updated along the way with a decreasing strength schedule (aka learning rate). SGD allows minibatch (online/out-of-core) learning via the partial_fit method. For best results using the default learning rate schedule, the data should have zero mean and unit variance.

此实现使用表示为要素的浮点值密集或稀疏数组的数据。它所适合的模型可以通过损失参数进行控制;默认情况下，它适合线性支持向量机（SV）。

正规化器是添加到损失函数的惩罚，该函数使用平方欧几里得规范L2或绝对规范L1或两者的组合（弹性网）将模型参数缩小到零载体。如果参数更新因规则化器而超过0.0值，则更新将被截断为0.0，以允许学习稀疏模型并实现在线特征选择。

阅读更多的 User Guide .

参数:

loss' hinge '，' log_loss '，' moded_huber '， “感知器”、“平方错误”、“休伯”、“_insensitive”、 ' squared_RST_Insensitive '}，默认=' hinge ' hinge '

要使用的损失函数。

“hinge”给出了线性支持机。
“log_loss”给出了逻辑回归（一种概率分类器）。
'modified_huber'是另一种平滑损失，它可以容忍离群值和概率估计。
“squared_hinge”类似于hinge，但受到二次惩罚。
“感知器”是感知器算法使用的线性损失。
其他损失“squared_error”、“huber”、“spared_insert”和“squared_insert”是为回归而设计的，但在分类中也很有用;请参阅 SGDRegressor 以获取描述。

有关损失公式的更多详细信息，请参见 User Guide 您可以在中找到损失函数的可视化新元：凸损失函数 .

penalty' l2 '，' l1 '，' elasticnet '，无}，默认=' l2 '

要使用的惩罚（aka正则化项）。指定为“l2”，这是线性支持者模型的标准正规化器。“l1”和“elasticnet”可能会给模型（特征选择）带来“l2”无法实现的稀疏性。设置为时不增加处罚 None .

您可以在中看到点球的可视化新元：处罚 .

alphafloat，默认=0.0001

乘以正规化项的常数。值越高，规则化越强。还用于计算学习率时 learning_rate 设置为“最佳”。值必须在范围内 [0.0, inf) .

l1_ratio浮动，默认=0.15

弹性净混合参数，0 <= l1_ratio <= 1。l1_ratio=0对应于L2罚分，l1_ratio=1到L1。仅在以下情况下使用 penalty 是“弹性网”。值必须在范围内 [0.0, 1.0] .

fit_intercept布尔，默认=True

是否应该估计拦截。如果为False，则假设数据已位于中心。

max_iterint，默认=1000

训练数据（又名epochs）的最大传递次数。它只会影响 fit 方法，而不是 partial_fit 法值必须在范围内 [1, inf) .

Added in version 0.19.

tol浮动或无，默认= 1 e-3

停止标准。如果不是无，则训练将在（loss > best_loss - tol）时停止 n_iter_no_change 连续的时代。根据训练损失或验证损失检查收敛性，具体取决于 early_stopping 参数.值必须在范围内 [0.0, inf) .

Added in version 0.19.

shuffle布尔，默认=True

训练数据是否应该在每个历元后进行洗牌。

verboseint，默认=0

冗长程度。值必须在范围内 [0, inf) .

epsilonfloat，默认=0.1

Epsilon不敏感损失函数中的Epsilon;仅当 loss 是'huber'、'squared_insensitive'或'squared_insensitive'。对于'huber'，确定阈值，在该阈值处，准确预测变得不那么重要。对于ε不敏感，如果当前预测和正确标签之间的任何差异小于此阈值，则忽略它们。值必须在范围内 [0.0, inf) .

n_jobsint，默认=无

用于进行UVA（One Versus All，用于多类问题）计算的中央处理器数量。 None 意思是1，除非在a中 joblib.parallel_backend 上下文 -1 意味着使用所有处理器。看到 Glossary 了解更多详细信息。

random_stateint，RandomState实例，默认=无

用于洗牌数据，当 shuffle 设置为 True .传递int以获得跨多个函数调用的可重复输出。看到 Glossary .收件箱值必须在范围内 [0, 2**32 - 1] .

learning_ratestring，default='optimal'

学习率计划：

“常数”： eta = eta0
“最佳”： eta = 1.0 / (alpha * (t + t0)) 哪里 t0 由Leon Bottou提出的启发式选择。
'invscaling'： eta = eta0 / pow(t, power_t)
“适应性”： eta = eta0 ，只要训练不断减少。每次n_iter_no_change连续历元未能通过tol减少训练损失或未能通过tol增加验证分数 early_stopping 是 True ，当前学习率除以5。

Added in version 0.20: 添加了“自适应”选项。

eta0float，默认=0.0

“constant”、“invscaling”或“adaptive”调度的初始学习率。默认值为0.0，因为默认计划“optimal”不使用eta0。值必须在范围内 [0.0, inf) .

power_t浮点数，默认值=0.5

逆缩放学习率的指数。值必须在范围内 (-inf, inf) .

early_stopping布尔，默认=假

当验证分数没有提高时，是否使用提前停止来终止培训。如果设置为 True ，它将自动保留训练数据的分层部分作为验证，并在返回验证分数时终止训练 score 对于n_iter_no_change连续时期，方法至少没有改善tol。

看到随机梯度下降的早停止作为提前停止影响的一个例子。

Added in version 0.20: 添加了“early_stopping”选项

validation_fractionfloat，默认=0.1

预留作为提前停止验证的训练数据比例。必须介于0和1之间。仅在以下情况下使用 early_stopping 是真的值必须在范围内 (0.0, 1.0) .

Added in version 0.20: 添加了“validation_fraction”选项

n_iter_no_changeint，默认=5

在停止拟合之前等待的没有改进的迭代次数。根据训练损失或验证损失检查收敛性，具体取决于 early_stopping 参数.收件箱值必须在范围内 [1, max_iter) .

Added in version 0.20: 添加了“n_iter_no_change”选项

class_weightdict，{class_Label：weight}或“平衡”，默认=无

为class_weight fit参数预设。

与班级相关的权重。如果没有给出，所有类别的权重都应该为一。

“平衡”模式使用y值自动调整与输入数据中的类别频率成反比例的权重， n_samples / (n_classes * np.bincount(y)) .

warm_start布尔，默认=假

When set to True, reuse the solution of the previous call to fit as initialization, otherwise, just erase the previous solution. See the Glossary.

由于数据洗牌的方式，当warm_start为True时重复调用fit或partial_fit可能会导致与单次调用fit不同的解决方案。如果使用动态学习率，则学习率根据已看到的样本数量进行调整。调用 fit 重置此计数器，而 partial_fit 将导致现有计数器的增加。

averagebool或int，默认=False

如果设置为 True ，计算所有更新的平均新元权重，并将结果存储在 coef_ 属性如果设置为大于1的int，则一旦看到的样本总数达到，就会开始求平均 average .所以 average=10 将在看到10个样本后开始求平均值。收件箱值必须在范围内 [1, n_samples] .

属性:

coef_如果n_classes == 2，则形状的nd数组（1，n_features）否则（n_类，n_特征）: 分配给要素的权重。
intercept_如果n_classes == 2，则形状为（1，）的nd数组否则（n_classes，）: 决策功能中的常数。
n_iter_int: 达到停止标准之前的实际迭代次数。对于多类配合，它是每个二元配合的最大值。
classes_形状数组（n_classes，）
t_int: 训练期间执行的体重更新次数。相同 (n_iter_ * n_samples + 1) .
n_features_in_int: 期间看到的功能数量 fit .

Added in version 0.24.
feature_names_in_ ：nd形状数组 (n_features_in_ ,)nd数组形状（: Names of features seen during fit. Defined only when X has feature names that are all strings.

Added in version 1.0.

参见

sklearn.svm.LinearSVC: 线性支持载体分类。
LogisticRegression: 逻辑回归。
Perceptron: 继承自SGDClassifier。 Perceptron() 相当于 SGDClassifier(loss="perceptron", eta0=1, learning_rate="constant", penalty=None) .

示例

>>> import numpy as np
>>> from sklearn.linear_model import SGDClassifier
>>> from sklearn.preprocessing import StandardScaler
>>> from sklearn.pipeline import make_pipeline
>>> X = np.array([[-1, -1], [-2, -1], [1, 1], [2, 1]])
>>> Y = np.array([1, 1, 2, 2])
>>> # Always scale the input. The most convenient way is to use a pipeline.
>>> clf = make_pipeline(StandardScaler(),
...                     SGDClassifier(max_iter=1000, tol=1e-3))
>>> clf.fit(X, Y)
Pipeline(steps=[('standardscaler', StandardScaler()),
                ('sgdclassifier', SGDClassifier())])
>>> print(clf.predict([[-0.8, -1]]))
[1]

decision_function(X)[源代码]#

预测样本的置信度分数。

样本的置信度分数与该样本到超平面的带符号距离成正比。

参数:

X形状（n_samples，n_features）的{类数组，稀疏矩阵}: 我们想要获取其置信度分数的数据矩阵。

返回:

scores形状的ndarray（n_samples，）或（n_samples，n_classes）: 信心分数 (n_samples, n_classes) 组合.在二元情况下，置信度得分 self.classes_[1] 其中>0意味着这个类将被预测。

densify()[源代码]#

将系数矩阵转换为密集数组格式。

转换 coef_ member（back）to a numpy.ndarray.这是 coef_ 并且是装配所需的，因此仅需要对之前已精简的模型调用此方法;否则，这是不操作的。

返回:

自我: 拟合估计量。

fit(X, y, coef_init=None, intercept_init=None, sample_weight=None)[源代码]#

使用随机梯度下降拟合线性模型。

参数:

X{类数组，稀疏矩阵}，形状（n_samples，n_features）: 训练数据。
y形状的nd数组（n_samples，）: 目标值。
coef_init形状的nd数组（n_classes，n_features），默认=无: 热启动优化的初始系数。
intercept_initndarray of shape（n_classes，），default=None: 热启动优化的初始拦截。
sample_weight类似阵列，形状（n_samples，），默认=无: 应用于单个样本的权重。如果未提供，则假设均匀的权重。如果指定了class_weight，这些权重将与class_weight（通过构造函数传递）相乘。

返回:

self对象: 返回自我的实例。

get_metadata_routing()[源代码]#

获取此对象的元数据路由。

请检查 User Guide 关于路由机制如何工作。

返回:

routingMetadataRequest: A MetadataRequest 封装路由信息。

get_params(deep=True)[源代码]#

获取此估计器的参数。

参数:

deep布尔，默认=True: 如果为True，将返回此估计量和包含的作为估计量的子对象的参数。

返回:

paramsdict: 参数名称映射到其值。

partial_fit(X, y, classes=None, sample_weight=None)[源代码]#

对给定样本执行一个周期的随机梯度下降。

在内部，这种方法使用 max_iter = 1 .因此，不能保证在调用一次之后达到成本函数的最小值。目标收敛、提前停止和学习率调整等问题应由用户处理。

参数:

X{类数组，稀疏矩阵}，形状（n_samples，n_features）: 训练数据的子集。
y形状的nd数组（n_samples，）: 目标值的子集。
classesndarray of shape（n_classes，），default=None: 所有partial_fit调用的类。可通过以下方式获得： np.unique(y_all) 其中y_all是整个数据集的目标向量。第一次调用partial_fit时需要此参数，在后续调用中可以省略。请注意，y不需要包含 classes .
sample_weight类似阵列，形状（n_samples，），默认=无: 应用于单个样本的权重。如果未提供，则假设均匀的权重。

返回:

self对象: 返回自我的实例。

predict(X)[源代码]#

预测X中样本的类别标签。

参数:

X形状（n_samples，n_features）的{类数组，稀疏矩阵}: 我们想要获取预测的数据矩阵。

返回:

y_pred形状的nd数组（n_samples，）: 包含每个样本的类标签的载体。

predict_log_proba(X)[源代码]#

概率估计日志。

This method is only available for log loss and modified Huber loss.

当loss=“modified_huber”时，概率估计可能是硬0和1，因此不可能取对数。

看到 predict_proba 有关详细信息

参数:

X形状（n_samples，n_features）的{类数组，稀疏矩阵}: 输入数据进行预测。

返回:

T类阵列，形状（n_samples，n_classes）: 返回模型中每个类的样本的log概率，其中类按其所在位置排序 self.classes_ .

predict_proba(X)[源代码]#

概率估计。

This method is only available for log loss and modified Huber loss.

多类概率估计源自二进制（一vs.-其余）按照Zadrozny和Elkan的建议，通过简单标准化进行估计。

损失=“modifted_huber”的二进制概率估计由（clip（decision_system（X），-1，1）+ 1）/ 2给出。对于其他损失函数，有必要通过将分类器包裹起来来执行适当的概率校准 CalibratedClassifierCV 而不是.

参数:

X{类数组，稀疏矩阵}，形状（n_samples，n_features）: 输入数据进行预测。

返回:

形状的nd数组（n_samples，n_classes）: 返回模型中每个类的样本概率，其中类按其所在位置排序 self.classes_ .

引用

Zadrozny和Elkan，“将分类器分数转化为多类概率估计”，SIGKDD ' 02，https://dl.acm.org/doi/pdf/10.1145/775047.775151

loss=“modifted_huber”情况下公式的合理性见：http://jmlr.csail.mit.edu/papers/volume2/zhang02c/zhang02c.pdf的附录B

score(X, y, sample_weight=None)[源代码]#

返回给定测试数据和标签的平均准确度。

在多标签分类中，这是子集准确度，这是一个苛刻的指标，因为您需要为每个样本正确预测每个标签集。

参数:

X形状类似阵列（n_samples，n_features）: 测试样本。
y形状的类似阵列（n_samples，）或（n_samples，n_outputs）: 真正的标签 X .
sample_weight形状类似数组（n_samples，），默认=无: 样本重量。

返回:

score浮子: 平均准确度 self.predict(X) w.r.t. y .

请求元数据传递给 fit 法

请注意，此方法仅适用于以下情况 enable_metadata_routing=True （见 sklearn.set_config ).请参阅 User Guide 关于路由机制如何工作。

The options for each parameter are:

True ：元数据被请求并传递给 fit 如果提供的话。如果未提供元数据，则会忽略请求。
False ：未请求元数据，元估计器不会将其传递给 fit .
None ：不请求元数据，如果用户提供元估计器，则元估计器将引发错误。
str ：元数据应通过此给定别名而不是原始名称传递给元估计器。

默认 (sklearn.utils.metadata_routing.UNCHANGED ）保留现有请求。这允许您更改某些参数的请求，而不是其他参数。

Added in version 1.3.

备注

只有当该估计器用作元估计器的子估计器时，该方法才相关，例如在 Pipeline .否则就没有效果了。

参数:

coef_init字符串、真、假或无，默认=sklearn.utils. metalics_Routing.UNChanged: 元数据路由 coef_init 参数 fit .
intercept_init字符串、真、假或无，默认=sklearn.utils. metalics_Routing.UNChanged: 元数据路由 intercept_init 参数 fit .
sample_weight字符串、真、假或无，默认=sklearn.utils. metalics_Routing.UNChanged: 元数据路由 sample_weight 参数 fit .

返回:

self对象: 更新的对象。

set_params(**params)[源代码]#

设置此估计器的参数。

该方法适用于简单估计器以及嵌套对象（例如 Pipeline ).后者具有以下形式的参数 <component>__<parameter> 以便可以更新嵌套对象的每个组件。

参数:

**paramsdict: 估计参数。

返回:

self估计器实例: 估计实例。

set_partial_fit_request(*, classes: bool | None | str = '$UNCHANGED$', sample_weight: bool | None | str = '$UNCHANGED$') → SGDClassifier[源代码]#

请求元数据传递给 partial_fit 法

请注意，此方法仅适用于以下情况 enable_metadata_routing=True （见 sklearn.set_config ).请参阅 User Guide 关于路由机制如何工作。

The options for each parameter are:

True ：元数据被请求并传递给 partial_fit 如果提供的话。如果未提供元数据，则会忽略请求。
False ：未请求元数据，元估计器不会将其传递给 partial_fit .
None ：不请求元数据，如果用户提供元估计器，则元估计器将引发错误。
str ：元数据应通过此给定别名而不是原始名称传递给元估计器。

默认 (sklearn.utils.metadata_routing.UNCHANGED ）保留现有请求。这允许您更改某些参数的请求，而不是其他参数。

Added in version 1.3.

备注

只有当该估计器用作元估计器的子估计器时，该方法才相关，例如在 Pipeline .否则就没有效果了。

参数:

classes字符串、真、假或无，默认=sklearn.utils. metalics_Routing.UNChanged: 元数据路由 classes 参数 partial_fit .
sample_weight字符串、真、假或无，默认=sklearn.utils. metalics_Routing.UNChanged: 元数据路由 sample_weight 参数 partial_fit .

返回:

self对象: 更新的对象。

set_score_request(*, sample_weight: bool | None | str = '$UNCHANGED$') → SGDClassifier[源代码]#

请求元数据传递给 score 法

请注意，此方法仅适用于以下情况 enable_metadata_routing=True （见 sklearn.set_config ).请参阅 User Guide 关于路由机制如何工作。

The options for each parameter are:

True ：元数据被请求并传递给 score 如果提供的话。如果未提供元数据，则会忽略请求。
False ：未请求元数据，元估计器不会将其传递给 score .
None ：不请求元数据，如果用户提供元估计器，则元估计器将引发错误。
str ：元数据应通过此给定别名而不是原始名称传递给元估计器。

默认 (sklearn.utils.metadata_routing.UNCHANGED ）保留现有请求。这允许您更改某些参数的请求，而不是其他参数。

Added in version 1.3.

备注

只有当该估计器用作元估计器的子估计器时，该方法才相关，例如在 Pipeline .否则就没有效果了。

参数:

sample_weight字符串、真、假或无，默认=sklearn.utils. metalics_Routing.UNChanged: 元数据路由 sample_weight 参数 score .

返回:

self对象: 更新的对象。

sparsify()[源代码]#

将系数矩阵转换为稀疏格式。

转换 coef_ scipy.sparse矩阵的成员，对于L1正规化模型，该矩阵比通常的numpy. ndray表示具有更高的内存和存储效率。

的 intercept_ 成员未转换。

返回:

自我: 拟合估计量。

注意到

对于非稀疏模型，即当零不多时 coef_ ，这实际上可能 increase 内存使用情况，因此请谨慎使用此方法。经验法则是零元素的数量，可以用 (coef_ == 0).sum() ，必须超过50%才能提供显着的好处。

调用此方法后，使用partial_fit方法（如果有的话）的进一步匹配将无法工作，直到调用denssify。