准确率高达99%,ChatBI如何做到?
近年来,大模型在生成式AI领域的发展势头确实很猛,但在那些专业度高、应用复杂的行业里,不少人觉得它的价格和价值之间差距太大,甚至形成了泡沫。就拿早期引入智能问答式BI的企业来说,投入成本不低,可实际应用效果却没能完全对得上预期,失望情绪自然就来了。

这些智能问答式BI产品,多半依赖NL2SQL技术,用户确实能快速搭建系统、回答简单问题,门槛也降下来了。但问题在于,面对复杂的业务需求,它根本没法灵活、准确地给出洞察。要打破这层泡沫、实现智能BI的精准洞察,关键是把训练成本降下去,同时把各种复杂业务场景下的准确性提上来。而解决准确性,智能BI厂商就得沉下心来,把卓越的BI能力和先进的AI能力真正融合到一起——这也是Smartbi AIChat白泽技术方案的核心理念。
Smartbi AIChat白泽
基于指标模型获得统一可信的全域数据
结合全面的RAG增强LLM在业务理解、映射、SQL生成的准确性,同时借助AI Agent灵活扩展分析能力。通过不断的反思优化,白泽越用越聪明,越用越准确。
以证券行业为例,我们来看下股票分析师面对海量数据,如何借助白泽智能BI解决复杂业务场景下的精准数据洞察问题?
尽管大模型的加持确实让数据分析变得更简单,但如果只是把一堆乱七八糟的数据丢给它,指望它自动得出正确答案,这既不现实也不负责任。就像盖高楼得先打地基一样,从数据治理入手,先把统一、高质的数据基础建起来,才能让智能BI的洞察真正准起来。那么,怎样打造高品质的数据呢?
1、基于数据模型打造“高动力数据引擎”
1、基于数据模型打造“高动力数据引擎”
传统方式通常以“表”为核心,数据分散在各个数据集里,管理混乱、口径不一,严重拖累了数据效率和用户信心。
Smartbi数据模型则把管理方式从“表”升级为“指标”。它具备
一体化多维建模能力
数据模型
能够整合多种数据集
它支持多种模型类型,比如
星型模型、雪花模型
数据模型还具备
强大的计算能力
此外,基于数据模型,还能轻松配置数据权限,达到金融级别的数据管控,确保数据绝对安全。
2、基于指标模型高效构建自增长指标体系
2、基于指标模型高效构建自增长指标体系
为了简化数据模型的构建,Smartbi可以通过指标模型,在可视化界面中用向导式操作统一构建和管理整个指标体系,确保口径一致。同时,指标模型还能承接和整合行业Know-How,帮助企业更好地对接战略目标。白泽AI引入数据模型/指标模型,就像原来不懂业务逻辑和元数据信息的新员工,一跃成为业务专家,甚至还可能拥有决策管理层的视角。
不过,光接入数据模型/指标模型还不够——那样的话,训练成本太高,没法通用。所以,我们引入了检索增强生成RAG技术。
全面RAG
——私域数据精准匹配
全面RAG
RAG技术通过构建高效的数据模型和向量数据库,有效提升数据库的精准匹配和DSL转换能力,实现泛化。
首先,使用Embedding技术,将数据模型中的指标、维度等元数据信息嵌入到向量数据库中。
接着,结合同义词、知识库、示例、规则等提升理解,同时利用BERT模型等技术在向量数据库中查找最匹配的指标、维度和表名。
最后,白泽利用大模型将匹配到的元素转换为DSL,自动生成符合规范的查询语句或代码片段。
通过全面的RAG,等于为大模型配备了企业元数据和行业知识等信息,使其能够精准匹配和转换私域业务数据。无需反复训练,大模型就能胜任多行业的业务需求,就像一位通晓各行各业的专家。
AI Agent
——高级分析灵活处理
AI Agent
基于数据模型的RAG可以保证用户单个查询的准确性,却没法满足多个数据集融合、归因预测等高级分析需求。为此,
白泽引入了AI Agent智能体,为其增添了思考、规则、分解、协调、决策、反思等多重能力。
特定场景下,准确率可达99%
Smartbi AIChat白泽不仅能精准实现诸如多轮对话、图形展示等常见场景,还能驾驭时间智能计算、多事实表查询、归因预测等多种复杂业务场景。目前,初次使用即可达到80-90%的准确度,且不会产生数据错误或权限漏洞。稍微进行RAG微调,
准确率进一步提升,在特定场景下可达99%。
下面,我们演示一个多事实表关联查询的示例。
比如问句
“2024年1月4日,现金资产超过1万且贷款金额少于1万的客户的学历、总资产和总负债情况”
如果用NL2SQL方式,最难的就是判断表关系,它往往会强行把资产事实表和债务事实表关联起来,生成错误的SQL语句。
而白泽AI拥有数据模型,可以以维度建模的方式生成星座模型。这里我们通过共享
“客户维”“日期维”
“资产事实表”“债务事实表”“客户事实表”
图:数据模型
通过一键构建AI图谱,把数据模型的指标、度量等元数据嵌入向量数据库,再结合同义词、知识库、示例等,让大模型实现自然语言与结构化信息之间的精准转换。
图:构建AI图谱
因此,面对上面那个问句,AI Agent的规划器通过全面的RAG技术,准确完成上下文语义理解与数据的映射匹配,进而制定出一个包含多项子任务的执行计划:
1、找到客户表和资产事实表及其关联关系,查询2024年1月4日现金资产超过1万的客户,形成小表。
2、找到客户表和债务事实表及其关联关系,查询2024年1月4日贷款资产超过1万的客户,形成小表。
3、查询客户事实表中的教育程度,形成小表。
4、根据实际情况,合并所有数据。
5、根据聚合粒度计算总资产和总负债。
6、选择列,输出查询结果。
在子任务中,白泽借助星座数据模型,通过
“客户信息表”
“资产事实表”
“债务事实表”
Smartbi AIChat白泽凭借