半岛体育是全球最大的在线综合性娱乐平台[永久网址:363050.com]半岛集团旗下的半岛体育在赞助和服务覆盖方面遥遥领先于其他同行，每天为您提供近千场精彩体育赛事。包括半岛、半岛棋牌、半岛彩票、半岛电竞、半岛、半岛电子、全球各地赛事、动画直播、视频直播等服务。

　　【新智元导读】微软研究院开源的原生1bit大模型BitNet b1.58 2B4T，将低精度与高效能结合，开创了AI轻量化的新纪元。通过精心设计的推理框架，BitNet不仅突破了内存的限制，还在多项基准测试中表现出色，甚至与全精度模型不相上下。

　　就在最近，微软亚研院开源了第一款参数量达到20亿，并且还是原生1bit精度的LLM——BitNet b1.58 2B4T。

　　这个模型里的参数，一共只有{-1, 0, +1}三种数值，很难想象知识是如何压缩在里面的！（根据信息论计算公式，这个模型的精度就是≈1.58，如果是纯粹的1bit量化，那么只有两个数值）。

　　参数只有2B，和动辄14B、32B、617B等全量模型相比，大小还不到他们零头，并且由于参数的精度压缩到极低，所以这个模型只有0.4GB的大小。

　　使用为CPU架构专门设计的开源推理框架BitNet来运行，微软已经花了1-2年的时间来完善了这个框架。

　　这种低精度、低参数，并且能在CPU上原生推理的大模型，为端侧AI开启了无限可能性。

　　甚至未来有可能可以部署在家里的电饭煲或者冰箱中，成为真正的「AI智能体」。

　　该模型在包含4万亿个Token的语料库上进行训练，别看它小，这个模型在涵盖语言理解、数学推理、编码熟练度和对话能力的基准测试中都进行了严格评估。

　　只有三种参数的BitNet b1.58 2B4T的性能与同类大小全精度的LLM相当。

　　上图可以看到，BitNet b1.58 2B4T在30亿参数以下的模型中，就性能与内存而言，取得了不错的平衡。

　　在11个基准测试中的平均分已经和1.5B和2B的全精度模型相当，用微软自己的话说就是，「推进了由领先的开放权重LLMs定义的帕累托前沿，展示了更高的效率」。

　　同时，BitNet b1.58 2B4T在计算效率方面提供了显著优势，包括大幅减少的内存占用、能耗和解码延迟。

　　该模型的权重已经通过 Hugging Face 发布，并提供了针对GPU和CPU架构的开源推理实现。

　　开源LLMs已经是AI领域非常重要的一股力量，但是由于部署和推理所需的大量计算资源（简单说就是没卡）阻碍了社区发展——虽然开源了，但是大部分人都玩不了。

　　当模型的权重被限制为二进制{-1, +1}或三进制{-1, 0, +1}，通过大幅减少存储权重所需的内存并实现高效的位运算，它们有可能显著降低部署成本、减少能耗并加速推理速度。

　　微软的这项工作证明，当原生1 bit LLMs在大规模上数据集有效训练时，可以实现与全精度类似规模的模型相媲美的性能。

　　BitNet b1.58 2B4T的架构采用标准的Transformer模型，并基于BitNet框架进行了修改，该模型完全从零开始训练——参数并不是后期量化成{-1, 0, +1}，而是原生训练。

　　预训练语料库由公开可用的文本和代码数据集组成，包括大型网络爬虫数据集，如DCLM和教育网页数据集，如 FineWeb-EDU。

　　在预训练之后，模型进行了有监督微调（SFT），以提高其指令跟随能力，并改善其在对话互动格式中的表现。

　　为了进一步增强特定能力，特别是在推理和复杂指令遵循方面，还补充了使用GLAN和 MathScale方法生成的合成数据集。

　　为了进一步使模型的行为与人类对有用性和安全性的偏好保持一致，在SFT 阶段之后应用了直接偏好优化（DPO）。

　　DPO是一种比传统的RLHF更高效的替代方法，它通过直接优化语言模型并利用偏好数据，避免了训练单独奖励模型的需求。

　　DPO 阶段进一步精炼了模型的对话能力，并使其更好地与实际使用中的预期交互模式保持一致。

　　指令跟随与对线所示，BitNet b1.58 2B4T展现了显著的资源效率。

　　与所有评估过的全精度模型相比，它的非嵌入内存占用和解码过程中估算的能耗明显较低。

　　在任务表现方面，BitNet b1.58 2B4T也表现得非常具有竞争力。

　　进一步通过与Qwen2.5 1.5B的后训练量化（PTQ）版本进行比较，探索效率与性能之间的权衡，使用了标准的INT4方法（GPTQ和AWQ）。

　　INT4量化虽然成功地减少了全精度模型的内存占用（从2.6GB下降到0.7GB），但由于原生的1 bit架构，BitNet b1.58 2B4T的内存需求更低。

　　标准的后训练量化（PTQ）技术会导致相较于原始全精度模型，性能出现明显下降（从平均55.72下降到了51.17）。

　　最后，将BitNet b1.58 2B4T与其他针对或量化到接近1 bit精度的模型进行比较。

　　评估结果明确地将BitNet b1.58 2B4T定位为该类别的领先模型。

　　BitNet b1.58 2B4T在大多数基准测试中取得了最高分，表现远超所有其他比较的 1 位模型。

　　BitNet b1.58 2B4T采用1.58位权重和8位激活的独特量化方案，因此需要专门的实现方式，因为标准的深度学习库通常缺乏针对这种混合精度、低位格式的优化内核。

　　为了解决这个问题，微软开发并开源了专门的推理库，支持GPU和CPU平台，特别地，针对CPU开发了bitnet.cpp。

　　bitnet.cpp是一个C++库，作为1 bit大规模语言模型（LLM）在CPU上推理的官方参考实现，bitnet.cpp提供了针对标准CPU架构优化的内核，旨在高效执行。

　　简单测试一下数学问题，整体输出还是OK的，输出速率在27 token/s。

　　总而言之，微软研究院发布的BitNet b1.58 2B4T模型，以其仅20亿参数、创新的原生1.58位量化技术（参数仅为{-1, 0, +1}）和仅0.4GB的大小，代表了LLM轻量化的一次重要探索。

　　虽然各个指标方面都追求极致的缩小，但是这个模型保持了与同等规模全精度模型相当性能。

　　但其开源特性和展现出的潜力，无疑为资源受限的端侧AI部署开启了新的想象空间。

　　韦福如博士现任微软杰出科学家，领导团队从事基础模型、自然语言处理、语音处理和多模态人工智能等领域的研究。

　　韦博士还担任西安交通大学和中国科技大学兼职博士生导师，香港中文大学教育部-微软重点实验室联合主任。

　　马树铭（Shuming Ma）是微软亚洲研究院（MSRA）自然语言计算组的研究员，工作地点位于中国北京。

　　在加入微软亚洲研究院之前，于2019年获得了北京大学的硕士和学士学位，研究方向主要为自然语言处理。

　　马树铭的研究兴趣集中在大规模预训练语言模型领域。已经在顶级学术会议上发表了30多篇论文，包括ICML、ICLR、ACL、EMNLP等。

　　现为中国科学院（CAS）三年级博士研究生。本科毕业于中国科学技术大学（USTC）计算机科学与技术系，期间在钱超副研究员的指导下进行学习和研究。

　　目前在微软亚洲研究院（MSRA）通用人工智能组（GenAI）担任研究实习生，受韦福如博士和马树铭博士的指导，实习时间为2021年8月至今。

　　04月16日，中方：愿继续同各国加强反恐合作，共同打击一切形式的，线上网投官网，百乐门注册即送现金，188bet金宝搏在哪注册，体育平台开户

　　04月16日，法润彩云南丨“花式”普法掀起学法新热潮，银河网址，百乐门国际真人，永利网站官网，伟德电子网投

　　04月16日，和合诸味 一碗广西米粉如何交融多元饮食文化？，皇冠正规，线个国际音标读法，泛亚电竞网站地址，亚博体育外围

　　04月16日江山如画｜来贵州瞧瞧“桥”188金宝搏官网下载ayx快速开户新宝5在线登录澳门永利游乐网址

　　04月16日重庆南山植物园内千余株腊梅盛开 芳香四溢娱乐二人转在线收听加州娱乐城博彩国际appAG注册官网

　　04月16日墨西哥总统否认在首次竞选总统时接受毒品组织资金香港黑庄内幕天亿棋牌雷速体育怎么下载appag至尊捕鱼电玩……

　　04月16日，“百花齐放”的静电板班，金狮贵宾会登录，庄和闲网站，爆分真人捕鱼游戏，mg官方网站下载

　　04月16日，【世界看两会】南非开普敦大学教授：中非之间的信任是宝贵资产，乐投体育信誉，送注册金的网站，识破玄机，博狗手机版注册

　　04月16日中英/北爱教育合作论坛在贝尔法斯特举行利记平台官方网站纬来体育官网App下载网上AG真人游戏网站竞技平台

　　04月16日，最高人民法院发布仲裁司法审查典型案例，信誉国际娱乐城，必威首页官网体育，365bet体育客户，万赢体育平台官网

　　04月16日，（新春见闻）三个镜头中的雄安新春，真人网投登录，真人版炸金花，经典斗地主老版本下载专区，澳门金沙网

　　04月16日，探访利马APEC国际媒体中心，大发官方下载，AG视讯假不假，888真人国际老品牌，biwei体育官网

　　04月16日未来5年，都没有“大年三十”！去哪了？ 顶级官方赌场下载腾龙游戏开户注册网址捕鱼下分的澳博官方网站

　　04月16日四川入境游走热 东南亚客群成主力极跃体育官网网址九游官网网站是多少十大菠菜开运下载入口app

　　04月16日【一线调研】“自动挡”新农机为丰收添动力宝博体育官网地址7080棋牌各大赌场app猎人国际真人cs照片

　　斗破苍穹之少年归来，小楚乔长大演了大楚乔暴力加剧！3D打印让美国非法暴涨570%抢庄牛牛免费版大发体育网上线上mg国际凯时国际上娱乐官网

　　如果奔跑是我的人生，相亲有哪些不成文的规定从书页到荧屏 琼瑶作品唤起华人世界情感共鸣亚洲国际网站易游下载云顶娱乐手机app下载电子打鱼游戏

　　鹿角男孩 第三季，皇马0比4巴萨贵州省黔西南州政协副主席梁龙甫接受审查调查bg大游万博手机版官网登入入口欧亚体育app官网下载Ju111九州换成什么了

　　跳进地理书的旅行 第二季，以色列称已对伊朗发动袭击第十一届中国—中亚合作论坛达成合作项目金额112亿元188体育网投平台欧宝在线买球澳门银银河下载QY球友会

　　叙利亚首都传来连续枪炮声，云顶之弈S11完整爆料“愤怒的小鸟”创始人盛赞“黑神话：悟空”：让世界了解中华文化亚娱体育官方电玩走兽飞禽电竞官方炸金花怎样玩胜率大

　　2024F1迈阿密大奖赛，拜登：特朗普确实是“热门人选”世界看两会丨国际人士：中国两会分享理念共享机遇 期待更多合作mgm体育外围hjc网站鸿博体育登陆五百万手机版

　　以告诉美方将在拉法展开军事行动，邓超被百度AI情商惊到了李强会见欧盟委员会主席冯德莱恩ag国际真人棋牌体育彩票app平台大全澳门皇冠官网在线