ChatGPT访问量狂飙至9亿,ScalingLaw“精度感知”现象引发热议!
投资要点:
本周数据中心板块超微电脑涨势一骑绝尘,GPU/CPU板块表现活跃。
(1)GPU/CPU:本周(1118-1120)除英特尔外,算力芯片板块普涨,其中英伟达+3.54%,AMD+3.33%,龙芯中科+8.95%,寒武纪+9.98%,海光信息+3.81%。英伟达将于美东时间周三盘后披露三季度财报,建议继续关注。(2)数据中心硬件:超微电脑+52.15%,先前受安永辞职影响,超微电脑股价遭遇重创,11月18日其宣布聘请了新的独立审计师BDO并提交了合规计划,增强了投资者对公司未来合规性的信心。
“精度感知”scalinglaw首次提出,AI领域低精度加速时代即将结束。
根据新智元11月17日报道,哈佛斯坦福MIT等机构研究人员发现低精度训练会降低模型的有效参数量,对此他们提出了“精度感知”scalinglaw。
要点#1:传统scalinglaw忽视精度,低精度训练有效性受限。传统的scalinglaw主要关注参数规模和数据量,但忽视了精度这一关键因素。研究发现,低精度训练不仅影响模型的有效参数量,而且在推理过程中,随着训练数据量的增加,量化带来的性能损失也会增加,特别是在模型后期量化时。
因此,低精度训练的有效性受限。
要点#2:低精度加速时代接近尾声,未来范式将转向资源优化利用。尽管低精度加速曾经是AI进步的核心推动力,但这种趋势现在正接近尾声。研究表明,未来还需要超过8位的精度来训练许多模型。随着低精度方法达到极限,未来的AI研究范式将从单纯的规模扩展转向如何更有效地利用现有资源,更关注于如何通过AI提高人类的生产力。这种思维方式更侧重于流程和人的层面,而非技术本身。
马斯克旗下xAI122天建成10万GPU超算集群,科技巨头纷纷效仿。
根据新智元11月17日报道,马斯克的公司xAI仅用122天,成功建成配备了10万颗GPU的超算集群Colossus,专用于AI模型训练。
要点#1:马斯克采用非传统方法,超算建设速度从4年缩短至4个月。通常情况下,建设如此规模的GPU集群往往需要三年的规划与设计周期,再加上一年的建设时间方能投入使用。Colossus完工之所以如此迅速,是因马斯克采用非传统方法加速建设,包括在电力供应不足情况下开始建设,并使用移动天然气涡轮机作为临时电源。
要点#2:亚马逊、微软、谷歌和OpenAI等科技巨头纷纷效仿马斯克方法。业界普遍认为,服务器集群的规模越大,其训练出来的人工智能表现就越出色。马斯克的这一迅速建设方法已经引起了亚马逊、微软、谷歌和OpenAI等科技巨头的关注,他们正在尝试效仿这种方式,建设规模更大的数据中心。
大模型跟踪
ChatGPT访问量创新高,Kimi发布新推理模型带动下载量。据similarweb最新数据(1108-1114):(1)ChatGPT本周访问量突破9亿,断层第一愈发稳固。根据量子位11月15日报道,ChatGPT发布更新,Mac客户端支持“读屏编程”,可直接读取并处理开发工具中的代码;Windows客户端全量上线,免费用户也可使用,且支持高级语音模式和搜索功能。
据七麦最新数据(1113-1119):(1)Kimi11月16日单日下载量近300万。11月16日,Kimi发布最新一代推理模型k0-math,在数学能力已实现对标OpenAIo1-mini和o1-preview。(2)讯飞星火本周下载量有所增长。11月14日,讯飞星火多模态交互大模型正式上线,该模型实现音视频流实时多模交互,新增“多模态、超拟人和个性化”能力,实现语音、视觉、数字人交互三合一,支持一键调用,带动本周下载量。
建议关注
国产算力链:寒武纪、海光信息、龙芯中科、盛科通信等。
数据中心硬件:中际旭创、工业富联、新易盛、天孚通信、沃尔核材、英维克、沪电股份、胜宏科技。
风险提示
技术发展及落地不及预期;下游终端出货不及预期;下游需求不及预期;市场竞争加剧风险;地缘政治风险。