From 4fa423fec261aa8bdffef6d53723422607dfd846 Mon Sep 17 00:00:00 2001 From: Xingyu Wang Date: Fri, 3 Feb 2023 11:24:51 +0800 Subject: [PATCH] RP MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit @chai001125 https://linux.cn/article-15504-1.html 恭喜！升级为⭐️⭐️⭐️⭐️贡献者！ --- ...alyse Sentiments Using Machine Learning.md | 61 ++++++++++--------- 1 file changed, 32 insertions(+), 29 deletions(-) rename {translated/tech => published}/20220906 How to Analyse Sentiments Using Machine Learning.md (80%) diff --git a/translated/tech/20220906 How to Analyse Sentiments Using Machine Learning.md b/published/20220906 How to Analyse Sentiments Using Machine Learning.md similarity index 80% rename from translated/tech/20220906 How to Analyse Sentiments Using Machine Learning.md rename to published/20220906 How to Analyse Sentiments Using Machine Learning.md index a9955e0fbf..b119fec784 100644 --- a/translated/tech/20220906 How to Analyse Sentiments Using Machine Learning.md +++ b/published/20220906 How to Analyse Sentiments Using Machine Learning.md @@ -3,28 +3,30 @@ [#]: author: "Jishnu Saurav Mittapalli https://www.opensourceforu.com/author/jishnu-saurav-mittapalli/" [#]: collector: "lkxed" [#]: translator: "chai001125" -[#]: reviewer: " " -[#]: publisher: " " -[#]: url: " " +[#]: reviewer: "wxy" +[#]: publisher: "wxy" +[#]: url: "https://linux.cn/article-15504-1.html" 如何使用机器学习来分析情感 ====== ->本文将帮助你理解什么是 情感分析sentiment analysis，并且你能了解如何使用机器学习进行情感分析。我们使用了不同的机器学习算法进行情感分析，然后将各个算法的准确率结果进行比较，以确定哪一种算法最适合这个问题。 +![][0] -情感分析是自然语言处理（NLP）中的一个重要的内容。情绪指的是我们对某一事件、物品、情况或事物产生的感觉。情感分析是一个从文本中自动提取人类情感的研究领域。它在上世纪 90 年代初才慢慢地开始发展起来。 +本文将帮助你理解 情感分析sentiment analysis 的概念，并且学习如何使用机器学习进行情感分析。我们使用了不同的机器学习算法进行情感分析，然后将各个算法的准确率结果进行比较，以确定哪一种算法最适合这个问题。 -本文将让你明白如何将机器学习 (ML) 用于情感分析，并比较不同机器学习算法的结果。本文的目标不在于研究提高算法性能的方法。 +情感分析是自然语言处理（NLP）中的一个重要的内容。情感指的是我们对某一事件、物品、情况或事物产生的感觉。情感分析是一个从文本中自动提取人类情感的研究领域。它在上世纪 90 年代初才慢慢地开始发展起来。 + +本文将让你明白如何将机器学习（ML）用于情感分析，并比较不同机器学习算法的结果。本文的目标不在于研究如何提高算法性能。 如今，我们生活在一个快节奏的社会中，所有的商品都能在网上购买到，每个人都可以在网上发表自己的评论。而一些商品的负面网络评论可能会损害公司的声誉，从而影响公司的销售额。因此对公司来说，通过商品评论来了解客户真正想要什么变得非常重要。但是这些评论数据太多了，无法一个个地手动查看所有的评论。这就是情绪分析诞生的缘由。 现在，就让我们看看如何用机器学习开发一个模型，来进行基本的情绪分析吧。 -### 现在就开始吧! +### 现在就开始吧！ #### 获取数据 -第一步是选择一个数据集。你可以从任何公开的评论中进行选择，例如推文或电影评论。数据集中包含两列：标签和实际的文本段。 +第一步是选择一个数据集。你可以从任何公开的评论中进行选择，例如推文或电影评论。数据集中至少要包含两列：标签和实际的文本段。 下图显示了我们选取的部分数据集。 @@ -40,9 +42,9 @@ import re import string ``` -我们使用 NumPy 和 Pandas 库来处理数据。至于其他库，我们会在使用到它们时再说明。 +正如你在上面代码看到，我们导入了 `NumPy` 和 `Pandas` 库来处理数据。至于其他库，我们会在使用到它们时再说明。 -数据集已准备就绪，并且已导入所需的库。接着，我们需要用 Pandas 库将数据集读入到我们的项目中去。我们使用以下的代码将数据集读入 Pandas 数据帧（DataFrame）类型： +数据集已准备就绪，并且已导入所需的库。接着，我们需要用 `Pandas` 库将数据集读入到我们的项目中去。我们使用以下的代码将数据集读入 Pandas 数据帧DataFrame 类型： ``` sentiment_dataframe = pd.read_csv(“/content/drive/MyDrive/Data/sentiments - sentiments.tsv”,sep = ‘\t’) @@ -60,11 +62,11 @@ sentiment_dataframe.columns = [“label”,”body_text”] ![Figure 2: Data frame with basic modifications][2] -#### 准备好特征值、目标值 +#### 准备好特征值、目标值 下一步是数据的预处理。这是非常重要的一步，因为机器学习算法只能理解/处理数值形数据，而不能理解文本，所以此时要进行特征抽取，将字符串/文本转换成数值化的数据。此外，还需要删除冗余和无用的数据，因为这些数据可能会污染我们的训练模型。我们在这一步中去除了噪声数据、缺失值数据和不一致的数据。 -对于情感分析，我们在数据帧中添加特征文本的长度和标点符号计数。我们还要进行词干提取，即将所有相似词（如“give”、“giving”等）转换为单一形式。完成后，我们将数据集分为两部分：特征值 X 和 目标值 Y。 +对于情感分析，我们在数据帧中添加特征文本的长度和标点符号计数。我们还要进行词干提取，即将所有相似词（如 “give”、“giving” 等）转换为单一形式。完成后，我们将数据集分为两部分：特征值 X 和 目标值 Y。 上述内容是使用以下代码完成的。下图显示了执行这些步骤后的数据帧。 @@ -87,29 +89,29 @@ X = sentiment_dataframe[‘body_text’] y = sentiment_dataframe[‘label’] ``` -#### 特征工程：文本特征处理 +#### 特征工程：文本特征处理 -我们接下来进行文本特征抽取，对文本特征进行数值化。为此，我们使用计数向量器（CountVectorizer)，它返回词频矩阵。 +我们接下来进行文本特征抽取，对文本特征进行数值化。为此，我们使用计数向量器CountVectorizer，它返回词频矩阵。 在此之后，计算数据帧 X 中的文本长度和标点符号计数等特征。X 的示例如下图所示。 ![Figure 4: Sample of final features][4] -#### 使用的机器学习算法 +#### 使用的机器学习算法 现在数据已经可以训练了。下一步是确定使用哪些算法来训练模型。如前所述，我们将尝试多种机器学习算法，并确定最适合情感分析的算法。由于我们打算对文本进行二元分类，因此我们使用以下算法： -* K-近邻算法(KNN) +* K-近邻算法（KNN） * 逻辑回归算法 -* 支持向量机(SVMs) +* 支持向量机（SVMs） * 随机梯度下降（SGD） * 朴素贝叶斯算法 * 决策树算法 * 随机森林算法 -#### 划分数据集 +#### 划分数据集 -首先，将数据集划分为训练集和测试集。使用 sklearn 库，详见以下代码： +首先，将数据集划分为训练集和测试集。使用 `sklearn` 库，详见以下代码： ``` from sklearn.model_selection import train_test_split @@ -118,9 +120,9 @@ X_train, X_test, y_train, y_test = train_test_split(X,y, test_size = 0.20, rando 我们使用 20% 的数据进行测试，80% 的数据用于训练。划分数据的意义在于对一组新数据（即测试集）评估我们训练的模型是否有效。 -##### K-近邻算法 +##### K-近邻算法 -现在，让我们开始训练第一个模型。首先，我们使用 KNN 算法。先训练模型，然后再评估模型的准确率（具体的代码都可以使用 Python 的 sklearn 库来完成）。详见以下代码，KNN 训练模型的准确率大约为 50%。 +现在，让我们开始训练第一个模型。首先，我们使用 KNN 算法。先训练模型，然后再评估模型的准确率（具体的代码都可以使用 Python 的 `sklearn` 库来完成）。详见以下代码，KNN 训练模型的准确率大约为 50%。 ``` from sklearn.neighbors import KNeighborsClassifier @@ -131,7 +133,7 @@ model.score (X_test,y_test) 0.5056689342403629 ``` -##### 逻辑回归算法 +##### 逻辑回归算法 逻辑回归模型的代码十分类似——首先从库中导入函数，拟合模型，然后对模型进行评估。下面的代码使用逻辑回归算法，准确率大约为 66%。 @@ -144,7 +146,7 @@ model.score (X_test,y_test) 0.6621315192743764 ``` -##### 支持向量机算法 +##### 支持向量机算法 以下代码使用 SVM，准确率大约为 67%。 @@ -157,7 +159,7 @@ model.score(X_test,y_test) 0.6780045351473923 ``` -##### 随机森林算法 +##### 随机森林算法 以下的代码使用了随机森林算法，随机森林训练模型的准确率大约为 69%。 @@ -170,7 +172,7 @@ model.score(X_test,y_test) 0.6938775510204082 ``` -##### 决策树算法 +##### 决策树算法 接下来，我们使用决策树算法，其准确率约为 61%。 @@ -183,7 +185,7 @@ model.score(X_test,y_test) 0.6190476190476191 ``` -##### 随机梯度下降算法 +##### 随机梯度下降算法 以下的代码使用随机梯度下降算法，其准确率大约为 49%。 @@ -196,7 +198,7 @@ model.score(X_test,y_test) 0.49206349206349204 ``` -##### 朴素贝叶斯算法 +##### 朴素贝叶斯算法 以下的代码使用朴素贝叶斯算法，朴素贝叶斯训练模型的准确率大约为 60%。 @@ -209,7 +211,7 @@ model.score(X_test,y_test) 0.6009070294784581 ``` -#### 情感分析的最佳算法 +#### 情感分析的最佳算法 接下来，我们绘制所有算法的准确率图。如下图所示。 @@ -228,7 +230,7 @@ via: https://www.opensourceforu.com/2022/09/how-to-analyse-sentiments-using-mach 作者：[Jishnu Saurav Mittapalli][a] 选题：[lkxed][b] 译者：[chai001125](https://github.com/chai001125) -校对：[校对者ID](https://github.com/校对者ID) +校对：[wxy](https://github.com/wxy) 本文由 [LCTT](https://github.com/LCTT/TranslateProject) 原创编译，[Linux中国](https://linux.cn/) 荣誉推出 @@ -240,3 +242,4 @@ via: https://www.opensourceforu.com/2022/09/how-to-analyse-sentiments-using-mach [4]: https://www.opensourceforu.com/wp-content/uploads/2022/07/Figure-4-Sample-of-final-features.jpg [5]: https://www.opensourceforu.com/wp-content/uploads/2022/07/Figure-5-Accuracy-performance-of-the-different-algorithms.jpg [6]: https://www.opensourceforu.com/wp-content/uploads/2022/07/Figure-6-Sample-predictions-made.jpg +[0]: hhttps://img.linux.net.cn/data/attachment/album/202302/03/112201q909lsqqs9e0jjzc.jpg \ No newline at end of file