笔趣阁

手机浏览器扫描二维码访问

第297章 睡了睡了(第1页)

要偏向于更为全面的文献数据。生命周期评价的本质是用来评估产品或服务从生产到消费再到废弃的整个过程对环境和社会的影响,它考虑了资源使用、能源消耗、排放物的产生等方面。那么为了提高最后基于电力LCA这个领域搭建的专业模型的准确度,对文献进行精细筛选,选取同时包括流程图,数据,各单元过程投入产出详细数据,数据时间地点落去方法,技术细节的文献,作为最终的数据。将精细筛选后的论文数据,结合unstructed库进行数据处理。进行信息精细化拆解与清洗,使以pdf形式存储的文献数据通过分割,分区,变成便于嵌入模型的结构化数据。对文字进行筛选与清理,图像的内容进行识别,存储图像的解释信息,表格转化为HTML格式。最后统一变成标题加内容的格式。在这里我列举了简单的数据处理流程。首先是对数据进行分割。随后是对文本进行拆分,识别内容是否为文本,如果是,就填进text_list。将表格转化为HTML格式,将图片变为图片解释信息。第二部分是知识库的构建。向量知识库,能将各类数据(如文本、图像、音频等)转化为向量形式进行存储。数据之间的相似性和关联性得以量化,不像平时你存储你的,我存储我的,向量数据库给予了一个统一的标准。也正是因为统一了格式,利用相似度对比,检索更加高效。构建知识库的流程首先是提取分割文本进行向量化的操作。向量化的本质是将离散的符号信息,如词或句子,映射到连续的向量空间中,以便计算机能够处理。向量化将高维数据转化为低维数据,保留了数据的关键特征又降低了数据的复杂度。选择pipecone存储向量数据,它支持查询,插入,删除等一些列操作。选择weaviate作为向量搜索引擎,可以通过主题的分类检索,进行语义搜索、问答提取等等功能。第三部分是chatbot的构建。先前已经构建好了针对电力LCA领域的专业大模型,但是缺少检验模型的手段,即缺少模型优化环节,本项目设置通过Chatbot模式,通过与用户进行问答的形式,检验模型是否能调用电力行业LCA领域向量数据库回答该领域专业性问题和时效性问题的有效性。Chatbot是模拟人类对话的一种形式,就我们平时能使到的chatgpt就是以chatbot的形式来呈现的,而chatbot在这里的功能实现主要是为了体现检索功能,大致可分为知识库检索功能和在线搜索。那么就产生了三种检索模式。

仅基于大语言模型,连接知识库搜索,和在线搜索。前端部分我采用streamlit来完成,UI设计如图所示。这边是功能按钮,中间是对话框。先前有讲到了,我们来检测针对专业领域的大模型的标准就是检测是否有能力回答专业领域的问题,并针对结果进行优化。这里我向chatbot提出同一个问题。只采用大语言模型,采用知识库与大语言模型结合,和联网搜索与大语言模型结合。三种功能下获得的回答是完全不同的,后面两个检索功能均为大语言模型优化了生成回答的准确性,对大语言模型的专业领域知识做了补充和改善。可以看到普通的大语言模型回答的是最简短的,采用了知识库的回答,将答案细分,扩充,并添加了新的内容,附上参考文献。最后的联网搜索,将答案分为了几类,更加全面,但是每类回答点到即止。最后就是向量知识库进行优化。对于准确率低的查询,分析模型回应错误的原因。如果是由于知识库中缺少相关信息,可以通过添加更多相关文档和数据来增强向量知识库的覆盖范围。用户反馈是对输入的问题和产生的回答进行记录,方便针对性进行调整。反馈可以直接用于指导向量知识库的更新和优化。不断地测试来完善我的专业领域大模型。最后一部分是我本次研究的总结。首先创建了一个能被大语言模型直接调用的专业知识库,在电力LCA这个专业性较高的领域填补了大语言模型的空白。其次是采用RAG技术,将知识库,联网与大语言模型相结合,增强了大语言模型在特定领域的可信度和实用性。最后就是本次研究虽然是针对电力LCA领域,但其背后的构架适用于各个领域,构建了一个完整的体系,可以进行修改,全方面的辅助大语言模型,应用广泛。以下就是我的全部研究内容请各位老师批评指正。

3.3.2数据预处理

Unstructured库是一个强大的工具,专为处理非结构化数据设计,具体流程如图3.7所示,

如从文本文档、PDF文件或网页中提取数据。它支持多种数据提取方法,包括正则表达式匹配、自

然语言处理(NLP)技术等。

数据预处理步骤如下:

这章没有结束,请点击下一页继续阅读!

步骤一:数据清洗

去除杂质:从文本中去除无关的字符,如特殊符号、空白行等。

格式统一:将所有文本统一为相同的编码格式,通常为UTF-8,以避免编码错误。

语言标准化:统一不同术语的使用,例如将所有"photovoltaic"统一替换为"PV",确保术语的

一致性。

步骤二:信息提取

关键信息标识:标识文献中的关键信息,如研究方法、主要结论、实验条件等。

数据分类:根据信息类型将数据分类,如作者、出版年份、研究结果等。

步骤三:结构化转换

结构化处理:将信息精细化拆解与清洗,将各种元素进行转换,形成结构化数据形式,拆分成

标题与内容。

分割部分关键代码:

对于其中的每个元素,如果是CompositeElement类型,就提取其中的文本并将其添加到

text_list中;如果是Table类型,就将表格的文本表示(可能是HTML格式)添加到

text_list中。

将图3.8的提取的数据进行拆分,添加到text_list中,输出结果如图3.11所示。

非结构化文本数据通常非常稀疏,即包含大量的词汇但每个文档只使用其中的一小部分。而结

构化数据则可以通过合并相似信息来降低数据的稀疏性,这有助于生成更加紧凑和有效的嵌入向

量。

结构化数据可以实现更高效的特征提取。结构化数据通常已经按照特定的模式或结构进行了组

织,这使得我们可以更加高效地从中提取有用的特征(如标题、作者、摘要、关键词等)。这些特

征可以作为后续Embedding的输入,帮助生成具有更强区分性和泛化能力的嵌入向量。结构化数据

中的元素(如主题、类别、属性等)通常具有明确的含义,这些含义可以在Embedding过程中被保

留下来。因此,基于结构化数据的嵌入向量往往具有更强的解释性,有助于我们更好地理解模型的

预测结果和内部机制。

喜欢离语请大家收藏:()离语

请勿开启浏览器阅读模式,否则将导致章节内容缺失及无法阅读下一章。

不当舔狗后,校花哭问为什么!  江与溪同归麒麟美人骨  这个影帝只想考证  凡人神算  带着原神祈愿系统穿越到诡异世界  我有个死要钱的系统  四合院之罪恶克星  异界:魔王降临  快穿:病美人仙君又拿白月光剧本  除了我,全家都穿越了  建立超级家族:从52年隐居开始  玄学大佬种田算命捉鬼  我在无限流游戏里为所欲为  红楼之剑天外来  综影视:祖龙杀疯了,我负责躺赢  末世:战姬指挥官  棒打鸳鸯的恶人主母,重生摆烂了  神奇宝贝:羁绊的旅途  归零:云海梦境,山海有灵  苟在修仙世界当反派  

热门小说推荐
异能学校之遇上恋爱脑大佬

异能学校之遇上恋爱脑大佬

关于异能学校之遇上恋爱脑大佬选修课总是遇到女主被迫恋爱脑的魔修大佬vs表面小白实则腹黑爱玩的欧皇新生!简介一高考后准备报考的褚星禾,某天突然接到电话请问是褚星禾同学吗?这里是关山岭职业技术专修学院考生你好,这里是玄天宗职业技法大学招生办褚同学你好,这里是魔神机械设计学院招生办这不妥妥的诈骗电话吗?什么妖魔鬼怪的野鸡学校都打电话过来招生。听听这名字,褚星禾能信吗?当然不能!!!然而她还是被迫入学了。没人告诉她还有入学考试,怎么还有人上学带刀枪剑炮水晶球啊?这都算了!为什么入学考试是闯鬼屋?躲丧尸?跳大神越来越离谱了,得亏褚星禾从小见惯妖魔鬼怪,不然真得被创飞。简介二通识实践课就跟着魔修大佬一起选!结课巨快!为什么?他每个副本都得杀妻证道,主打就是一个大道无情!你进去老公还没喊出来,人就噶掉了!嘎嘎快。还有这种好事?褚星禾第一个冲了!然而她遇到的怎么不太一样?谁能来告诉她,为什么这个魔修大佬只会哭唧唧找老婆,甩都甩不开?...

仙道猎人

仙道猎人

林风穿越到了一个诡异的世界,成了凌虚观的一名小道士。但这世界原本的规则早已破碎,破碎的仙道流落到各种生物手中,滋生出无数邪仙异教。林风在机缘巧合下,被疯子师父血肉附体,还换上了一颗恶鬼的心脏,变成一个半人半鬼的怪物。红月,血雨,尸林倒挂,白蜡油翻滚中人祭,万人朝拜的黄金树,连绵不断的尸垛,不死癫狂的难民,佛世净土中...

星穹铁道:虚无开局否认一切

星穹铁道:虚无开局否认一切

(崩坏星穹铁道同人)从冰雪中复苏的亚历克斯成为了当地人民口中的奇迹之子。亚历克斯本跟着虚无星神IX一起终日摆烂成为摆烂星人然而一不小心就成了可可利亚的弟弟布洛妮娅和希儿的舅舅卡芙卡的灵魂伴侣还被欢愉星神阿哈盯上了。那只能努力下了。努力了几年当星穹列车来到贝洛伯格开拓时亚历克斯站在那永冬的丰碑前说道欢迎来到永恒的国度贝洛伯格。开拓者你是威胁永恒的变数!可可利亚星在黎明到来前...

直播:一首舞女泪,唱懵呆小妹

直播:一首舞女泪,唱懵呆小妹

江云意外获得直播签到系统,只要直播就能获得签到奖励!为了混直播时长领取系统奖励,他选择跟其他主播连麦。连麦第一人就是大主播呆小妹。呆小妹你有什么才艺?江云我会唱歌。呆小妹唱一个听听。江云一步踏错终身错,下海伴舞为了生活。舞女也是人,心中的痛苦向谁说。为了生活的逼迫,颗颗泪水往肚吞落。难道这是命...

诸天带着随身空间到了四合院世界

诸天带着随身空间到了四合院世界

关于诸天带着随身空间到了四合院世界陈琦莫名穿越,来到一片湖心岛,发现拥有空间之后,并感应到世界种子,按其要求吸收物质供给小世界之种,然后就被排斥到四合院世界,开局城门口,因为衣服新颖而被误认为富家公子而被放行,进入城内遇到还在卖包子的未成年何雨柱,阻止了他被人骗,改变了他获得外号的命运,从而改变了主角的命运从其身上获得了气运,得到了一定的庇护避免了被四合院世界排斥而赶出世界。之后陈琦靠着何雨柱的帮助进入了四合院租了院子安定下来,靠着小世界的养殖种植能力,通过何大清介绍给丰泽园供应食材,之后开肉铺,接手杂货铺,开商行,买地,生意越做越大,于是很多事情很多人也纷至沓来,蝴蝶效应直接造成何大清成了丰泽园二厨,并再娶了。而陈琦只想收集这个世界的各种动植物然后去诸天寻找永生。持续的获取气运使得小世界内开始出现了生成中的四合院世界的信标传送门,完成之后就可以在离开这个世界之后就可以随时回到四合院世界。现在开启了荒野大镖客2救赎的第一幕第一个世界,四合院,第1章124章第二世界,荒野西部大镖客2125章第三世界,港综第四个世界待定。...

高武:让你拍照,你批发异能?

高武:让你拍照,你批发异能?

苏羽意外穿越高武世界。高考来临,他觉醒万物图鉴系统!开局收集校花同桌图鉴获得sss异能,成为战术天才。从此,当拍照就可以获得异能他让世人知道什么叫做满身sss异能。当万族对人族第一军师进行斩首行动,接近才知道原来武力最强与智力最强竟是同一人!...

每日热搜小说推荐