中国电商网 > 国内> 正文

四个00后的疯狂开源计划：整个互联网转成大模型语料，1亿token嵌入成

2023-06-13 15:35来源：IT之家阅读量：14808

Arxiv 上所有论文转成 Token，加起来不过 14.1GB 而已。

这是最新爆火开源计划亚历山大完成的壮举。

事实上，这还只是第一步。

他们最终是想要将整个互联网变成 Tokens，换言之全都转化成 ChatGPT 等大模型理解这个世界的方式。

一旦这样的数据集诞生，那岂不是为开发出 GPT-4 这样的大模型又新增一大利器，上知天文下知地理指日可待了？！

消息一出，瞬间引发巨大关注。

网友们赞叹，史诗般的。

而这背后仅是四个平均年龄 20 岁的少年发起，目前 Arxiv 所有论文数据集已经发布，他们将于下周发布嵌入搜索平台。

从 Arxiv 上所有论文开始

超过 400 万个项目、6 亿个 token，30.7 亿个向量维度。

这个名为亚历山大的开源计划，首先从 Arxiv 每篇论文上开始。

选择的方式是嵌入，简单来说，就是将现实世界的各种对象具象成计算机所能理解的向量。

最经典的例子就是将原始图像表示为灰度像素。

这种技术最大的特点就是能够表示出人类感知到的语义相似性。

比如，当有 10 个词表示同一事物时，很难通过关键词查找论文。但嵌入就可以完成，因此很适用于搜索、聚类、推荐和分类。

基于实用性和效率的考虑，开发团队只选择嵌入了论文的标题和摘要。

在测试各种模型之后，最终选择使用 InstructorXL 文本嵌入模型，通过简单地提供任务指令，而无需任何微调，适合于多种任务和领域(比如科学、金融、医学等)》

下周他们将发布 Arxiv 搜索。目前为止的流程是，首先对 100 篇最接近的文章进行相似性搜索，然后即时计算这些内容的嵌入，并进行第二次更复杂的搜索。

最终目标是一整个互联网嵌入计划。

20 岁少年的疯狂开源计划

之所以要开展这样一次疯狂的开源计划，主要有两方面的原因。

一方面是嵌入巨大的价值。世界上很多问题只是搜索、聚类、推荐或分类，而这些事情嵌入都非常擅长。而且也如前所述，可以解决一些复杂的难题。

另一方面成本是一次性的且很便宜。大多数情况下无需对同个文件进行二次计算。目前每 1 亿个 Token 只需 1 美元。

但他们并没有找到任何开放的嵌入数据集，因此这样的组织应运而生。

值得一提的是，背后是一群平均年龄仅为 20 岁的少年 team 完成的。

而他们的团队名字同样也很霸气，Macrocosm联盟。

只要你放大到足够远，人类就会成为一个单一的生物。

就官方介绍，他们致力于为 ChatGPT 和其他类似产品构建插件，同时也在开发核心产品，基于大模型的个人研究助理，帮助学习、教学和科研。

感兴趣的旁友可戳下方链接了解~

参考链接:

郑重声明：此文内容为本网站转载企业宣传资讯，目的在于传播更多信息，与本站立场无关。仅供读者参考，并请自行核实相关内容。

责任编辑：竹隐

最新阅读

“深交所·创享荟”打造资本市场服务国企改革新典范

9月27日，深交所举办第九期“创享荟”国企专业化整合专场活动。“创享荟”是深交所着力打造的具有深市特色的市场服务品牌，目前已围绕热点主题举办了多期专场活动，影响力和吸引力不断增强。深交所相关负...
微软在GitHub上线开发工具包，助力开发者使用Rust语言编写Wind

，微软Azure首席技术官MarkRussinovich日前在X平台发文，公开微软最近宣布“扩大采用Rust语言的成果”，微软同时还在GitHub中发布了一系列开发工具包，让开发者可以使用Rust语言...
擦亮“金融为民”底色光大银行多维发力谱写“人民金融”新篇章

像这样面向听障人士的手语服务模式，光大银行已持续运行了四年。四年来，光大银行通过收集听障客群金融业务需求及沟通痛点，让金融服务更贴近听障人士的日常生活。而这，只是光大银行践行“金融为民”初心，努力提供...
云南信托联合多家金融机构进乡村开展金融知识普及教育

近日，为帮助广大农村群众进一步提升金融素养及金融风险防范意识，助力打造诚信、健康、安全、和谐的金融环境，在云南省农村信用社联合社、昆明市农村信用社联合社及昆明市西山区农村信用合作联社的共同协调组织下，...
“领头羊”计划走进广州番禺，超59家企业具备上市潜力

南方财经全媒体记者翁榕涛实习生曾日丽广州报道 9月26日下午，广州企业上市“领头羊”行动计划“番禺行动”启动仪式在番禺节能科技园交流中心举行。据南方财经全媒体记者了解，今年7月以来，广州市地方金...
算力牛股中际旭创股价“反攻”800G能否助三季度业绩惯性增长？

21世纪经济报道记者雷晨实习生原婷婷北京报道近期受国内外AI利好消息驱动，二级市场上，中际旭创股价重新抬头，9月26日、9月27日连续上涨。截至9月27日收盘，公司股价报收于114.07元/股，收...
索尼申请外置小型触摸屏专利，可“架在”PS5手柄上远程游玩游戏

，据外媒gamerant报道，索尼近日注册了一项新专利，从文件内容上来看，这项专利主要显示，外加可以使用一个“触摸屏”连接DualSense手柄，来游玩PS5游戏。图源索尼索尼于此前正式公布了...
14幅图看懂债市潮起潮落

超越城乡居民储蓄存款规模和A股总市值，拥有百万亿以上体量的债券。如同资产配置中的“米面粮油”，在投资中无处不在。相较于股票，您可能是更加委婉地参与其中，大部分人是通过银行理财、债券基金、保险、资管计划...
国庆黄金周运输今日启动，长三角铁路预计发送超250万人次

国庆黄金周运输启动。 9月27日，澎湃新闻记者从中国铁路上海局集团有限公司获悉，今天是铁路国庆黄金周运输首日，长三角铁路预计发送旅客逾250万人次，较2019年同期多发送60余万人次，增幅超三成。 ...
阿里拟分拆菜鸟在港上市菜鸟子公司已申请上百项物流专利

9月26日，阿里巴巴港交所公告，拟通过以菜鸟股份于香港联交所主板独立上市的方式分拆菜鸟。拟议分拆完成后，阿里巴巴将继续持有菜鸟50%以上的股份，菜鸟将仍为其子公司。天眼查App显示，菜鸟网络科技有...