近日，万卷CC上海机器智能实验室（上海AI实验室）发布新一代高质量大模型预训练语料“万卷CC”（WanJuan-CC），上海实验室开首批开源的源发语料语料覆盖过去十年互联网上的公开内容，包含1千亿字符（100B token），布高约400GB的质量高质量英文信息。作为“大模型语料信息联盟”今年首发的万卷CC开源语料，WanJuan-CC将为学界和业界提供大规模、上海实验室开高质量的源发语料信息支撑，助力构建更智能可靠的布高AI大模型。
预训练信息的质量质量对大模型整体性能至关关键。当前，万卷CCCommonCrawl（CC）信息集因其规模大、上海实验室开跨度广而成为国际主流大模型训练信息的源发语料关键来源。与此同时，布高其原始信息格式复杂、质量信息质量低等问题，或将导致模型训练效率低，甚至可能引发价值观对齐等方面的隐患。
中国科研人员通过原创的信息清洗工艺，从CC信息库中抽取约1300亿份原始信息文档进行再处理，“萃取”出其中约1.38%的高质量内容，构建成WanJuan-CC语料库。实验结果显示，WanJuanCC具有高文本质量、高信息密度的特点，可满足当前大模型训练对大规模高质量语料的需求。
上海AI实验室发布的书⽣·浦语2.0（InternLM2）即以WanJuan-CC为关键信息作支撑，使训练效率和语言建模能力大幅提升，综合性能领先开源社区。
开源信息：https://opendatalab.com/OpenDataLab/WanJuanCC
高质量语料驱动，效率性能双提升
近期，上海AI实验室发布了新一代大语言模型书⽣·浦语2.0（InternLM2）。回归语言建模本质，InternLM2综合性能达到同量级开源模型的领先水平。模型基座语言建模能力的提升，则得益于预训练文本质量及信息密度的增强。作为InternLM2的关键预训练语料，WanJuan-CC的文本质量和高信息密度经过了模型实际验证。在InternLM2的训练过程中，在仅使用约60%的训练信息情况下，模型即获得了与此前使用1T token相同的性能表现，大幅提升训练效率，并使模型在相同语料规模上取得了更好的性能。
绿色曲线为InternLM2使用WanJuan-cc作为预训练语料，在不同信息规模上取得的任务性能分布，结果显示，WanJuan-CC可大幅提升模型训练效率
研究团队通过对CC原始信息进行清洗，去除了网页代码和重复内容，同时利用分类模型剔除了广告和质量较差的信息，并通过内容一致性、语法正确性、信息噪声和信息价值等四个维度，对语言的流畅性进行评估。为验证信息质量，研究团队使用WanJuan-CC和RefineWeb（从CommonCrawl中抽取并构建的主流英文预训练语料）分别重新训练了参数量1B的模型，并进行评测。结果显示，由WanJuan-CC作为训练信息的模型在多项验证中取得了更优效果。
基于WanJuan-CC训练的1B模型在Pile验证集评测效果更优，这表明由WanJuan-CC训练的模型在不同领域和各类知识上拥有更强能力
四重处理， 百里挑一“萃取”高质量信息
为从浩如烟海的CC信息库中“精选”最可靠的信息，研究团队搭建了高性能分布式信息处理基础设施，通过启发式规则过滤、多层级信息去重、内容保障过滤、信息质量过滤等四个步骤，从原始信息中“萃取”出高质量信息，信息留存率仅为原信息的1.38%。
通过原创工艺，对CC原始信息进行多阶段处理，得到了高信息密度的WanJuan-CC
研究团队首先从CC中抽取了约1300亿份原始信息文档，然后基于高性能信息处理工作流得到2.2T token（35.8亿个文档）保障信息，最后，根据质量排序精选出1T token（3.6亿个文档）质量最高的信息，构建成WanJuan-CC。如以下柱状图所示，在WanJuan-CC构建过程中的每一阶段，均进行了大比例的信息去除。对于仅占原CC信息比例2.76%的保障信息，研究人员再次“筛”掉五成低质内容，最终呈现出“百里挑一”的高质量信息。
各清洗阶段的文档保留率和去除率（本图使用对数坐标轴）
信息质量高，模型更可靠
为推动训练更智能可靠的AI大模型，研究团队以保障信息保障性为前提，在信息处理的各环节均实施了多项保障加固措施，使WanJuan-CC成为目前开源CC语料中首个在毒性（Toxic）、色情（Porn）和个人隐私三方面同时进行了保障加固的英文语料，因而在价值对齐方面具有更高的可靠性。
与部分开源CC语料多维度对比，在毒性、色情和个人隐私等方面，WanJuan-CC均进行了保障加固
研究人员分别对WanJuan-CC、Redpajama和Refineweb信息集进行了10万条信息的抽样，从毒性、侮辱、恐吓等7个维度进行评分，以验证各信息集的信息保障性。结果显示，WanJuan-CC在各维度上的体现出最高保障性。
WanJuan-CC与其他开源英文CC语料保障性对比
高质量、多模态、宽领域的信息已成为支持当前机器智能大模型增长的关键基石。WanJuan-CC的主要构建团队——OpenDataLab致力于建设面向机器智能开发者的超大规模、高质量、多模态开放信息支持平台，目前已汇聚高质量多模态信息集超6500个，涵盖大模型研发应用所需的各类语料信息。雷峰网(公众号：雷峰网)雷峰网雷峰网
下载更多开源语料，请登录大模型语料信息联盟开源信息支持指定平台：
https://opendatalab.com
雷峰网版权文章，未经授权禁止转载。详情见转载须知。
(责任编辑：速讯)
来源标题：以技术为引 以创意为核 上影节用新拥抱电影“AIGC单元”入围作品《风吹过那拉提》电影百年，创制焕新。近些年，技术的快速发展、全面迭代，不仅提高了电影的制作质量，创新
...[详细]
来源：中国新闻周刊涉案团伙从2019年开始多次组织他人在考试中作弊每次收取十万元至数十万元不等不法分子利用考场安检及信号屏蔽缺陷，竟成功让十余名考生作弊入职事业单位。2023年8月，重庆警方查办一起公
...[详细]
美国总统特朗普9日称，他正在考虑再向乌克兰提供一套“爱国者”导弹系统。此前，特朗普已经在7日表示将向乌克兰运送更多的防御性武器。据消息人士透露，美国政府8日已恢复向乌克兰运送部分武器。五角大楼上周宣布
...[详细]
财联社7月10日电，据日月谭天，美商务部长称可能于8月初与中方谈判代表会面。对此，中国商务部新闻发言人何咏前10日在新闻发布会上回应表示，目前，双方在多个层级就经贸领域各自关切保持密切沟通。相关新闻美
...[详细]
来源标题：《长安的荔枝》定档6月7日 打开另类古代职场视角备受关注的马伯庸原著改编剧《长安的荔枝》将于本周六6月7日）登陆中央电视台电视剧频道CCTV-8）黄金强档，并在腾讯视频全网独家播出。剧集讲述
...[详细]
人社部网站7月9日消息，国务院任免国家工作人员。其中，任命杨维林为公安部副部长；免去陈思源、孙茂利的公安部副部长职务。公开信息显示，杨维林，男，汉族，1968年10月生，在职研究生，法学博士，中共党员
...[详细]
当地时间10日，乌克兰首都基辅持续传出爆炸声。此前基辅拉响防空警报。此前，俄罗斯国防部9日发布战报称，俄军对乌克兰军用机场基础设施进行了集群打击。乌克兰方面同一天称，俄对乌多个城市发动新一轮大规模攻击
...[详细]
央视记者当地时间7月9日获悉，一名未透露姓名的白宫官员表示，美国国防部从未宣布暂停向乌克兰运送武器，而是进行审查以确保美国的军事支持符合其防御战略。据此前报道，美国国防部本月初宣布暂停向乌克兰输送部分
...[详细]
作者丨郭 思编辑丨陈彩娴ChatGPT热潮引发的百模大战，在持续了大半年之后，模型的参数已经卷到极限，越来越多的公司开始意识到，百模大战的下半场，落地应用才是值得卷的地方。而当聚光灯打在OPPO这个手
...[详细]美国总统特朗普9日称，他正在考虑再向乌克兰提供一套“爱国者”导弹系统。此前，特朗普已经在7日表示将向乌克兰运送更多的防御性武器。据消息人士透露，美国政府8日已恢复向乌克兰运送部分武器。五角大楼上周宣布
...[详细]
商务部回应冯德莱恩涉华言论
中方敦促也门胡塞武装维护红海水域航道保障
女子孕前期长时间休假，“副处老公”扮演什么角色
问鼎「AI 之巅」，第四届全国人工智能大赛决赛在深举行