王小川旗下百川智能发布Baichuan-13BAI大模型，号称“130亿

2023-07-13 14:04来源：IT之家阅读量：6265

感谢IT之家网友航空先生的线索投递！

，王小川旗下百川智能今日发布 Baichuan-13B 大模型，号称“130 亿参数开源可商用”。

图源 Baichuang-13B GitHub 页面

据官方介绍，Baichuan-13B 是由百川智能继 Baichuan-7B 之后开发的包含 130 亿参数的开源可商用的大规模语言模型，在中英文 Benchmark 上均取得同尺寸模型中最好的效果。本次发布包含有预训练和对齐 (Baichuan-13B-Chat) 两个版本。

图源 Baichuang-13B GitHub 页面

官方宣称，Baichuan-13B 有如下几个特点:

更大尺寸、更多数据:Baichuan-13B 在 Baichuan-7B 的基础上进一步扩大参数量到 130 亿，并且在高质量的语料上训练了 1.4 万亿 tokens，超过 LLaMA-13B40%，是当前开源 13B 尺寸下训练数据量最多的模型。支持中英双语，使用 ALiBi 位置编码，上下文窗口长度为 4096。
同时开源预训练和对齐模型:预训练模型是适用开发者的『基座』，而广大普通用户对有对话功能的对齐模型具有更强的需求。因此项目中同时具有对齐模型，具有很强的对话能力，开箱即用，几行代码即可简单地部署。
更高效的推理:为了支持更广大用户的使用，项目中同时开源了 int8 和 int4 的量化版本，相对非量化版本在几乎没有效果损失的情况下大大降低了部署的机器资源门槛，可以部署在如英伟达 RTX3090 这样的消费级显卡上。
开源免费可商用:Baichuan-13B 不仅对学术研究完全开放，开发者也仅需邮件申请并获得官方商用许可后，即可以免费商用。

目前该模型已经在 HuggingFace、GitHub、Model Scope 公布，感兴趣的 IT之家小伙伴们可以前往了解。

广告声明:文内含有的对外跳转链接，用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。

郑重声明：此文内容为本网站转载企业宣传资讯，目的在于传播更多信息，与本站立场无关。仅供读者参考，并请自行核实相关内容。

责任编辑：李陈默

最新阅读

“深交所·创享荟”打造资本市场服务国企改革新典范

9月27日，深交所举办第九期“创享荟”国企专业化整合专场活动。“创享荟”是深交所着力打造的具有深市特色的市场服务品牌，目前已围绕热点主题举办了多期专场活动，影响力和吸引力不断增强。深交所相关负...
微软在GitHub上线开发工具包，助力开发者使用Rust语言编写Wind

，微软Azure首席技术官MarkRussinovich日前在X平台发文，公开微软最近宣布“扩大采用Rust语言的成果”，微软同时还在GitHub中发布了一系列开发工具包，让开发者可以使用Rust语言...
擦亮“金融为民”底色光大银行多维发力谱写“人民金融”新篇章

像这样面向听障人士的手语服务模式，光大银行已持续运行了四年。四年来，光大银行通过收集听障客群金融业务需求及沟通痛点，让金融服务更贴近听障人士的日常生活。而这，只是光大银行践行“金融为民”初心，努力提供...
云南信托联合多家金融机构进乡村开展金融知识普及教育

近日，为帮助广大农村群众进一步提升金融素养及金融风险防范意识，助力打造诚信、健康、安全、和谐的金融环境，在云南省农村信用社联合社、昆明市农村信用社联合社及昆明市西山区农村信用合作联社的共同协调组织下，...
“领头羊”计划走进广州番禺，超59家企业具备上市潜力

南方财经全媒体记者翁榕涛实习生曾日丽广州报道 9月26日下午，广州企业上市“领头羊”行动计划“番禺行动”启动仪式在番禺节能科技园交流中心举行。据南方财经全媒体记者了解，今年7月以来，广州市地方金...
算力牛股中际旭创股价“反攻”800G能否助三季度业绩惯性增长？

21世纪经济报道记者雷晨实习生原婷婷北京报道近期受国内外AI利好消息驱动，二级市场上，中际旭创股价重新抬头，9月26日、9月27日连续上涨。截至9月27日收盘，公司股价报收于114.07元/股，收...
索尼申请外置小型触摸屏专利，可“架在”PS5手柄上远程游玩游戏

，据外媒gamerant报道，索尼近日注册了一项新专利，从文件内容上来看，这项专利主要显示，外加可以使用一个“触摸屏”连接DualSense手柄，来游玩PS5游戏。图源索尼索尼于此前正式公布了...
14幅图看懂债市潮起潮落

超越城乡居民储蓄存款规模和A股总市值，拥有百万亿以上体量的债券。如同资产配置中的“米面粮油”，在投资中无处不在。相较于股票，您可能是更加委婉地参与其中，大部分人是通过银行理财、债券基金、保险、资管计划...
国庆黄金周运输今日启动，长三角铁路预计发送超250万人次

国庆黄金周运输启动。 9月27日，澎湃新闻记者从中国铁路上海局集团有限公司获悉，今天是铁路国庆黄金周运输首日，长三角铁路预计发送旅客逾250万人次，较2019年同期多发送60余万人次，增幅超三成。 ...
阿里拟分拆菜鸟在港上市菜鸟子公司已申请上百项物流专利

9月26日，阿里巴巴港交所公告，拟通过以菜鸟股份于香港联交所主板独立上市的方式分拆菜鸟。拟议分拆完成后，阿里巴巴将继续持有菜鸟50%以上的股份，菜鸟将仍为其子公司。天眼查App显示，菜鸟网络科技有...