【精彩回顾】王东升《大模型的技术发展与对知识图谱的影响》——“智慧图书馆技术应用讲座”2023年第7期（总第23期）

问：对于ChatGPT的回答存在编造的问题，如何去解决？

王东升：对于大模型的hallucination（幻觉）问题，业界、学界目前还没有解。需要考虑的是对未来大模型的应用会不会有较大的限制？其实如果用传统方式，也存在正确率的问题，最终还是需要量化评估，那么如评估结果只要在可接受的范围内就可以。大模型思考的复杂度更强，维度更广、更深，如果最终评估有比较好的量化结果，我觉得不会限制其发展。另一方面，幻觉问题的原因可能在于训练大模型的方法和数据，这方面也可以有提升的空间。

问：知识图谱对于大模型有什么帮助和促进？怎样看大模型时代的知识图谱的发展前景？

王东升：刚刚PPT有一页提到，知识图谱在实体识别等领域还是有很大促进的。比如在医学领域包含了大量的细分领域医学实体，这些实体词汇可以帮助和促进大模型应用。我的感受是，十年前我在做知识图谱项目，将多个数据源抽取，通过三元组融合，然后可视化，然后提供搜索接口。十年后的现在，类似的项目还在重复，没有出现一些新的方向，因此，新的发展方向还需要思考。

问：如何微调大模型，以适合图书馆场景下的读者问答？

王东升：预训练的两个步骤都可以做一些微调。第一个微调大模型下一个词的推测，图书馆有很多自己的典藏和数据库，可以增加新的层（Layers），让大模型记住图书馆特定的数据信息。第二个是instruction tuning，可以在本步骤下功夫，让大模型学习图书馆需要的回答方式。学习用户具体是如何搜索如何使用的。