周岩下载了《斗破苍穹》的小说文本,对这段代码进行验证,很快就得到了不错的数据,虽然不全面,但显然这个项目是能进行下去的。
周岩又对这段代码提出改进要求,包括词频可视化,把词频用云图展现出来,包括对词频进行文本训练,从而找出词与词之间的关联。
这一回周岩提出的要求是对两本文本进行处理,两本分别是金庸老爷子的《神雕侠侣》和《射雕英雄传》。
很快01给出了相应的代码修改,周岩复制粘贴之后,进行测试。
其实需求也特别简单,就是找主角之间的人物关系。
杨过对应小龙女,那么郭靖对应什么,结果:黄蓉。
周岩又找了杨过和郭靖分别对应的关联词,同时让01局限在人物身上,自己设计一个人物词判定代码。
这一回01终于出现了一点错误,比如人物切分上面,会把4个词的人物变成2个词输出。
这就是细节上的毛病了,周岩现在也不是算法小白,知道怎么改进,不过周岩更期待01给出的结果。
于是他把这个问题粘贴给了01,而01也给出了对词频进行判定,如果两个拆分的词同时出现多次,那么判定两个拆分的词合并成为同一个词,并在字典中删除前面两个拆分词,并对已经分词好的数据进行处理,合并两个拆分词,没有分词好的就以该拆分词作为分词依据,照着分词就行。
粘贴进去以后,周岩发现效果意外的不错。
只是之后人物判别上也出现了一些问题,会把武器什么的加进去。
周岩又去问01,01回答了一些代码修改,但加进去以后,依旧是老样子,没法做到细致的划分。
周岩问01有没有什么好的办法,01说在处理之前,就把处理的小说人物给预设出来,这样就不会出现之后判定错误的情况。
也就是从源头解决问题,同样也算是一件很机械的处理方式。
但是人类有时候的处理,同样很机械,而且也是填鸭式的,就比如基因测序。
所以对于这一点也没办法太过要求什么,01做到这个程度,其实已经挺不错了。
周岩又预设了几个小型项目,并对01进行测试。
终于周岩也得出了一个结论。
那就是01已经具备了较复杂的代码作业能力。
更加专业的周岩自身实力有限,测试不出来,不过这个01用来应付小白显然没有什么问题。
测试完代码,
周岩又测试01的文本完整度,比如让01自己按照要求写一段话,要求包含出现的人物,以及事件,并呈现给他01思考的过程。
做这个的目的,周岩也希望能从中找到女黑客编写的算法逻辑。
而因为对周岩不设门槛,01也呈现出他的思路,包括对事件进行拆分,进行排序,然后进行扩充。
这样就得到了所谓的人物行为序列。
具体的就是是这样:
a干了干什么,a干了什么导致b干了什么。
b说了什么,a说了什么。
b干了什么,b干什么导致c干了什么。
a说了什么。
b干了什么。
a说了什么...
大概就是这样。
然后对这些句子进行组合,通过自然语言处理进行更进一步的润色,比如宾状补之类的词义补充,就得到了最终的句子。
周岩其实也明白,后来智能对话模型之所以那么火,其本质原因还是不对外界呈现出相应的步骤。
相当于黑箱效应,这样就给人一种不明觉厉的感觉。
很神秘,也很厉害,也因此受到很多人追捧!
但这样的处理方式,本身就存在很大的操作(糊弄)空间。
如果你询问的是百科类的知识,人家早早就已经准备好了文本库,你问什么答什么,本质上还是搜索引擎的功能。
如果询问的是算法,同样,如果能拥有世界上所有算法的集合,那么对一些基本问题,智能模型甚至根本不需要调动自己的算力,直接就能给出答案。