使用scikit-learn为NER训练NLP对数线性模型

Question

我想知道如何使用sklearn.linear_model.LogisticRegression来训练用于命名实体识别（NER）的NLP对数线性模型。

对于一个典型的对数 - 线性模型定义如下的条件概率：

与：

• X：当前字
• Y：类的单词的被考虑为
• f：特征向量函数，它将单词x和类y映射到标量向量。
• 五：特征权重向量

能sklearn.linear_model.LogisticRegression火车这样的模式？

问题是功能取决于类。

Answer 1

在scikit-learn 0.16和更高版本中，您可以使用multinomial选项sklearn.linear_model.LogisticRegression来训练对数线性模型（又名MaxEnt分类器，多类逻辑回归）。目前multinomial选项是由'lbfgs'和'newton-cg'求解器。

与虹膜数据集实施例（4个特征，3类，150个样品）：

#!/usr/bin/python 
# -*- coding: utf-8 -*- 

from __future__ import print_function 
from __future__ import division 

import numpy as np 
import matplotlib.pyplot as plt 
from sklearn import linear_model, datasets 
from sklearn.metrics import confusion_matrix 
from sklearn.metrics import classification_report 

# Import data 
iris = datasets.load_iris() 
X = iris.data # features 
y_true = iris.target # labels 

# Look at the size of the feature matrix and the label vector: 
print('iris.data.shape: {0}'.format(iris.data.shape)) 
print('iris.target.shape: {0}\n'.format(iris.target.shape)) 

# Instantiate a MaxEnt model 
logreg = linear_model.LogisticRegression(C=1e5, multi_class='multinomial', solver='lbfgs') 

# Train the model 
logreg.fit(X, y_true) 
print('logreg.coef_: \n{0}\n'.format(logreg.coef_)) 
print('logreg.intercept_: \n{0}'.format(logreg.intercept_)) 

# Use the model to make predictions 
y_pred = logreg.predict(X) 
print('\ny_pred: \n{0}'.format(y_pred)) 

# Assess the quality of the predictions 
print('\nconfusion_matrix(y_true, y_pred):\n{0}\n'.format(confusion_matrix(y_true, y_pred))) 
print('classification_report(y_true, y_pred): \n{0}'.format(classification_report(y_true, y_pred))) 

的multinomial选项sklearn.linear_model.LogisticRegressionwas introduced in version 0.16：

• 添加multi_class="multinomial"选项 ：类：linear_model.LogisticRegression实施Logistic 回归求解器，最小化交叉熵或多项式损失 而不是默认的One-vs-Rest设置。支持lbfgs和 ​​求解器。通过Lars Buitinck _和Manoj Kumar _。求解器选项 ​​Simon Wu。