猎户星空大模型发布!傅盛:企业应用百亿参数就够了

2024-07-24 15:56:07

1月21日,傅盛2024开年AI大课暨猎户星空大模型发布会如约而至,傅盛以《AI大潮下企业如何创新?从技术狂欢到企业落地-私有化大模型是王道》做主题分享,重磅发布猎户星空大模型,并带来七大场景应用微调模型与大模型应用聚言交钥匙解决方案。

会上,傅盛宣布“专为企业应用而生”的开源百亿参数猎户星空大模型正式发布,他强调,在企业应用场景中,猎户星空大模型在结合企业私有数据和应用时,即可实现千亿参数级别的模型效果。

2222222.png

猎户星空百亿参数大模型,企业标配

猎户星空大模型(Orion-14B)是由猎户星空研发的预训练多语言大语言模型,以其140亿参数规模展现出了卓越的性能。

Orion-14B模型在一个庞大且多样化的数据集上进行训练,数据集规模达到了2.5万亿token。这一规模不仅覆盖了常见语言,还涵盖了专业术语和特定领域知识,确保模型能够理解和生成多种语境下的文本。

百亿参数大模型基座能力行业领先。Orion-14B在MMLU、C-Eval、CMMLU、GAOKAO、BBH等第三方测试集上,均为同级别模型SOTA。

333333.png

基于第三方机构OpenCompass独立评测结果

140亿参数,以小博大。第三方OpenCompass综合测评总分中,700亿以下参数基座模型中文数据集排名第一。

44444.png

实现长文本中「大海捞针」。最长可支持 320K token 超长文本,一次性读入一本小说。在三十万文字中任意位置随机隐藏关键信息,对模型进行提问,结果全部正确。

5555.png

量化性能几乎无损。 通过AWQ Q4量化技术,模型大小减少70%,推理速度提升30%,性能几乎无损(损失小于1%),可在千元级显卡可以流畅运行。在NVIDIA RTX 3060显卡实测,推理速度可达31 token/s (约每秒50汉字)

image.png

image.png

多语言能力极强。超越了市面上许多更大参数的模型,尤其日语和韩语能力表现优秀。

image.png

日文为JNLI等8项评测集平均得分;韩文为COPA等4项评测集平均得分;中文英文为OpenCompass对应语言评测集平均得分

独家推出微调模型全家桶

为了更好地满足企业的应用需求,猎户星空独家推出了微调全家桶。在专业应用场景层面,Orion-14B也表现出了显著的可塑性和广泛的应用潜力,可以与千亿级模型媲美。

image.png

企业数字员工应用最牛套件

针对不同的应用需求,进一步扩展了猎户星空大模型(Orion-14B)的功能和实用性,着重打磨的两个方向,检索增强生成(RAG)和Agent。

所有基于大模型搭建好的应用,想要获取实时数据,都需要建立在检索增强生成(RAG)技术之上,RAG能力微调模型 (Orion-14B-RAG)使企业能够快速整合自身知识库,构建定制化的应用。猎户星空通过针对知识边界控制、问答对生成、幻觉控制、结构化数据提取等能力进行专项微调,使之成为最适合开发RAG应用的底座模型。

image.png

通过对比,可以看到猎户星空大模型RAG套件与普通RAG套件在专业领域的区别。

image.png

除了RAG,大模型应用可能拓宽的另一条重要路径,便是Agent。

插件能力微调模型(Orion-14B-Plugin)的关键在于增强模型根据用户问题调用最适配工具的能力,并将插件的结果与模型的处理相结合,以解决更复杂的问题。我们通过针对意图识别、函数调用、缺槽反问、单轮抽参、多轮抽参、ReAct 等能力进行专项微调,使之成为最适合构建Agent应用的底座模型。

image.png

这里不得不说,猎户星空大模型的Agent应用所需的五项能力,包括意图识别、首轮抽参、多轮抽参、缺槽反问、插件调用,都已经接近了GPT-4的水平。

image.png

数字老板:独一无二的大模型应用交钥匙解决方案

傅盛推出企业使用AI的三段位理论。大模型浪潮中,做好应用,依然是创业者最好的机会。

image.png

猎户星空推出大模型深度应用「聚言」,面向企业客户提供大模型咨询与服务一站式解决方案。基于「聚言」打造出的“数字老板”,可以帮助企业老板全面掌握经营细节、不留遗漏,包括人力资产,云资产,数字资产等。帮助企业运营提效,领先同行目标。

image.png

在实践中猎户星空发现,企业需要的不是「大模型」,而是能够结合业务流并解决自身痛点的大模型应用。「聚言」就是结合场景应用微调套件,通过全链条的AI大模型咨询定制,为客户提供AI辅助决策交钥匙解决方案。

image.png

AI大模型创新,以终为始的思考:寻找破局点

“做出自己的千亿大模型,就一定能取得商业上的成功吗?如果技术没有和产品、应用形成闭环,再多技术投入都不能形成壁垒。”傅盛表示。现在大模型之路主流的模式,是砸钱预训练千亿级模型,微调,然后寻找应用场景。而猎户星空AI大模型创新以Think Different思维逻辑,在已知应用场景后,再微调,然后寻找合适的模型。

image.png

七年磨一剑

2016年,猎户星空成立并提出"All in AI"战略蓝图,自研AI全链条技术,并紧密跟随行业技术演进的步伐。从DNN、Attention、Bert到LLM,全面追踪ASR/TTS/NLP全栈的算法演进,不断提升猎户星空的技术实力。

为了实现这一目标,猎户星空投入了巨资,打造了一个博士团队,团队成员来自Meta、Yahoo、百度等全球优秀大厂,拥有数百名优秀算法科学家。这个团队为猎户星空的技术研发提供了强大的支持。

猎户星空的优势不仅在于优秀团队,还在于拥有过去全球20亿用户级应用的经验和应用打磨基因。这使得其能够更好地理解和满足用户的需求,将AI技术应用于实际场景中。

此外,猎户星空在过去近7年的时间里,积累了百亿级真实用户Query数据和数十万亿级别的token数据。这些宝贵的数据为猎户星空的大模型研究和开发提供了坚实的基础,使我们能够更准确地训练和优化我们的模型。

开源地址 :

https://github.com/OrionStarAI/Orion

https://huggingface.co/OrionStarAI