现在的AI大模型越来越强大，也越来越好用。今年以来，很多AI大模型开始免费使用，这数据处理带来了福音。为什么呢？以前需要python进行编码处理的工作，现在可以直接交给AI大模型来帮助我们实现，不仅快速，而且有时更加准确。为此，白领服务工作室推出“AI助力Python数据处理实战”栏目。通过实际的测试Demo和数据处理案例，向大家展示AI在python数据处理中的用法、经验和技巧，提高我们的工作和学习的效率。

这一节，我们来看看文心大模型如何助力我们清洗文本。

一、示例第1阶段

"""
Python is a programming language that lets you work more quickly and integrate your systems more effectively.


You can learn to use Python and see almost immediate gains in productivity and lower maintenance costs.

Python是一种编程语言，可以让您更快地工作，更有效地集成系统。
您可以学习     使用Python，并看到几乎立即		提高生产力和降低维护成本。
"""
你现在是一名数据处理工程师，请将上面三引号内的文本内容按照以下步骤逐步进行清洗：
第1步：删除文本内容中所有的Tab空格
第2步：删除文本内容中所有的换行符
第3步：删除文本内容中所有的中文标点符号和英文标点符号，并用空格进行替换
第4步：完成以上三个步骤的清洗后，以字符串的形式返回清洗后的文本内容

上面是我们使用的prompt提示词，也就是输入大模型的问题，希望大模型给出我们希望的结果。我们看看文心大模型的结果，如下所示：

解读：我们看到，没有输出我们想要的结果。继续向模型提问。

请输出上述清洗后的文本内容

输入上面的prompt，得到如下：

解读：这次输出了清洗后的文本，具体文本如下：

Python is a programming language that lets you work more quickly and integrate your systems more effectively You can learn to use Python and see almost immediate gains in productivity and lower maintenance costs Python是一种编程语言 可以让您更快地工作 更有效地集成系统 您可以学习 使用Python 并看到几乎立即 提高生产力和降低维护成本

二、示例第2阶段

请对上述清洗后的文本内容进行分词，并以列表的形式输出结果

执行以上prompt，得到结果如下：

解读：我们看到，并没有以列表输出结果。所以，prompt还是不完善，需要优化。

继续发问如下：

以列表形式直接输出上述分词的结果即可，不需要代码

分词的结果：['Python', 'is', 'a', 'programming', 'language', 'that', 'lets', 'you', 'work', 'more', 'quickly', 'and', 'integrate', 'your', 'systems', 'more', 'effectively', ' ', 'You', 'can', 'learn', 'to', 'use', 'Python', 'and', 'see', 'almost', 'immediate', 'gains', 'in', 'productivity', 'and', 'lower', 'maintenance', 'costs', ' ', 'Python', '是', '一种', '编程语言', ' ', '可以', '让', '您', '更快地', '工作', ' ', '更', '有效地', '集成', '系统', ' ', '您', '可以', '学习', ' ', '使用', 'Python', ' ', '并', '看到', '几乎', '立即', ' ', '提高', '生产力', '和', '降低', '维护', '成本']

三、示例第3阶段

删除以上列表中的停用词，并以列表输出删除停用词后的新列表，注意不需要代码，直接给出结果即可

使用上面的prompt，得到如下的结果：

这次输出的结果：['Python', 'a', 'programming', 'language', 'that', 'lets', 'you', 'work', 'more', 'quickly', 'integrate', 'your', 'systems', 'effectively', 'You', 'learn', 'use', 'Python', 'see', 'almost', 'immediate', 'gains', 'productivity', 'lower', 'maintenance', 'costs', 'Python', '编程语言', '快地', '工作', '有效', '集成', '系统', '学习', '使用', 'Python', '几乎', '立即', '提高', '生产力', '降低', '维护', '成本']

对比之前的分词结果：['Python', 'is', 'a', 'programming', 'language', 'that', 'lets', 'you', 'work', 'more', 'quickly', 'and', 'integrate', 'your', 'systems', 'more', 'effectively', ' ', 'You', 'can', 'learn', 'to', 'use', 'Python', 'and', 'see', 'almost', 'immediate', 'gains', 'in', 'productivity', 'and', 'lower', 'maintenance', 'costs', ' ', 'Python', '是', '一种', '编程语言', ' ', '可以', '让', '您', '更快地', '工作', ' ', '更', '有效地', '集成', '系统', ' ', '您', '可以', '学习', ' ', '使用', 'Python', ' ', '并', '看到', '几乎', '立即', ' ', '提高', '生产力', '和', '降低', '维护', '成本']

解读：对比可以看到，还是有个别地方处理的不好，例如，将分词“看到”删除了，将“更快地”在后续处理中弄错成“快地”，等等。

四、总结

1、向大模型提问的prompt至关重要，不同的提问内容，结果会有较大差别。所以，需要掌握prompt工程的知识和技巧，提高prompt的结构和质量。

2、大模型具有上下文理解能力，可以持续就同一个问题不断追问，逐步得到所需要的结果。

3、由上面删除停用词可以看到，大模型只使用了部分停用词来删除文本中的停用词，没有使用全量的停用词，这是一个缺陷。当然，可以在prompt中补充停用词表。

五、提取prompt模板

"""
Python is a programming language that lets you work more quickly and integrate your systems more effectively.


You can learn to use Python and see almost immediate gains in productivity and lower maintenance costs.

Python是一种编程语言，可以让您更快地工作，更有效地集成系统。
您可以学习     使用Python，并看到几乎立即		提高生产力和降低维护成本。
"""
中文停用词如下：
是，一种，可以，让，您，并，和，地，更
英文停用词如下：
is, a, that, and
你现在是一名数据处理工程师，请将上面三引号内的文本内容按照以下步骤逐步进行清洗：
第1步：删除文本内容中所有的Tab空格
第2步：删除文本内容中所有的换行符
第3步：使用空格替换文本内容中所有的中文标点符号和英文标点符号
第4步：对文本进行分词，得到分词列表A
第5步：根据提供的中文停用词和英文停用词，删除分词列表A中的停用词，得到新的分词列表B
第6步：完成以上清洗后，输出分词列表A和分词列表B，注意不需要输出代码，不需要过程，直接输出结果即可

将上述所有过程优化为一个prompt模板，如上所示，输出结果如下：

我们看到，删除停用词后的结果，还是不错的。后续还可以通过不同的文本，不断优化上述的prompt，直到得到通用的文本清洗prompt。