第276章 睡了睡了(2 / 3)

平时能使到的chatgpt就是以chatbot的形式来呈现的，而chatbot在这里的功能实现主要是为了体现检索功能，大致可分为知识库检索功能和在线搜索。那么就产生了三种检索模式。

仅基于大语言模型，连接知识库搜索，和在线搜索。前端部分我采用streamlit来完成，UI设计如图所示。这边是功能按钮，中间是对话框。先前有讲到了，我们来检测针对专业领域的大模型的标准就是检测是否有能力回答专业领域的问题，并针对结果进行优化。这里我向chatbot提出同一个问题。只采用大语言模型，采用知识库与大语言模型结合，和联网搜索与大语言模型结合。三种功能下获得的回答是完全不同的，后面两个检索功能均为大语言模型优化了生成回答的准确性，对大语言模型的专业领域知识做了补充和改善。可以看到普通的大语言模型回答的是最简短的，采用了知识库的回答，将答案细分，扩充，并添加了新的内容，附上参考文献。最后的联网搜索，将答案分为了几类，更加全面，但是每类回答点到即止。最后就是向量知识库进行优化。对于准确率低的查询，分析模型回应错误的原因。如果是由于知识库中缺少相关信息，可以通过添加更多相关文档和数据来增强向量知识库的覆盖范围。用户反馈是对输入的问题和产生的回答进行记录，方便针对性进行调整。反馈可以直接用于指导向量知识库的更新和优化。不断地测试来完善我的专业领域大模型。最后一部分是我本次研究的总结。首先创建了一个能被大语言模型直接调用的专业知识库，在电力LCA这个专业性较高的领域填补了大语言模型的空白。其次是采用RAG技术，将知识库，联网与大语言模型相结合，增强了大语言模型在特定领域的可信度和实用性。最后就是本次研究虽然是针对电力LCA领域，但其背后的构架适用于各个领域，构建了一个完整的体系，可以进行修改，全方面的辅助大语言模型，应用广泛。以下就是我的全部研究内容请各位老师批评指正。

3.3.2 数据预处理

Unstructured 库是一个强大的工具，专为处理非结构化数据设计，具体流程如图 3.7 所示，

如从文本文档、PDF 文件或网页中提取数据。它支持多种数据提取方法，包括正则表达式匹配、自

然语言处理（NLP）技术等。

数据预处理步骤如下：

步骤一：数据清洗

去除杂质：从文本