首页
学习
活动
专区
圈层
工具
发布

#量化

国产GPU全景选型与量化实践:打通大模型训推的性能与生态瓶颈

gawain2048

腾讯科技(深圳)有限公司 | 市场研究 (已认证)

本文聚焦大模型训推面临的算力、访存带宽及生态迁移瓶颈,提出基于“一云多芯”的国产GPU精细化选型矩阵(涵盖GPGPU与DSA架构)。通过覆盖真实业务场景的严格量...

900

以下是根据提供的材料改写的结构化概要。改写过程严格遵循核心原则:忠实原文内容,聚焦量化数据,避免添加未提及的细节;采用Markdown格式组织,清晰分层;关键数据和观点使用**粗体**高亮;完整保留原文中的权威机构、专家姓名和头衔。结构基于核心方法论“病药效[托]”模型重构,主标题体现业务深度与技术确定性,章节标题采用“动词+名词”或核心观点形式,避免空洞形容词和商业废话。

IT前沿资讯站

腾讯科技(深圳)有限公司 | 数据分析 (已认证)

腾讯Tairios智能大模型赋能宇相机器人,提升场景应用可靠性50% 机器人赋能瓶颈——感知与决策能力鸿沟 文化遗产和商业服务场景中,行业普遍面临机器人缺乏...

2200

ollama v0.18.2 发布!OpenClaw 安装优化、Claude 加速、MLX 量化全面升级

福大大架构师每日一题

所有模型的嵌入层从固定的 *nn.Embedding 改为 nn.EmbeddingLayer 接口,兼容普通与量化两种嵌入实现,大幅增强量化模型的推理效率。

7610

知识库更新了,如何快速回归测试 RAG 系统的问答效果

AI智享空间

代码回归思维的团队,在完成服务层验证后,通常会抽几个问题试问一下,看看回答“感觉没问题”,就推进上线。这种做法在知识库变更规模小、内容改动局限时,偶尔能逃过惩罚...

1610

基于场景的AI模型BERT和CLIP选型对比

索旭东

→ 考虑CLIP的二值量化版本 。研究表明,通过在训练中加入伪量化损失,可以将CLIP的向量从float32压缩为二进制,内存减少32倍,同时保持约87-93%...

2410

大白话解释什么是模型微调

索旭东

模型微调(Fine-tuning)是将一个已经在海量数据上预训练好的通用模型,通过少量任务相关数据进一步训练,使其适应特定任务或领域的过程,既是大模型应用落地的...

5910

大模型测试:性能优化的5大实战策略

顾翔

三、动态量化与缓存协同:轻量级优化的黄金组合 量化不是‘一刀切’,而是与缓存机制深度耦合的系统工程。实践表明:

3910

Nat. Comput. Sci. | 大模型规模化与量化驱动网络生物学高效预测

DrugAI

随着单细胞转录组数据规模的快速增长,基于大规模预训练的基础模型正在成为网络生物学的重要工具。然而,模型规模的提升也带来了计算资源消耗的显著增加,限制了其在实际研...

8510

Nature | 超大规模虚拟筛选发现新化学骨架:一项重塑药物发现边界的里程碑研究

DrugIntel

1996年,Bohacek 等人在一篇被广泛引用的文章中估算,类药分子(drug-like molecules,MW < 500 Da,类药五规则范围内)的数量...

8410

让OpenClaw替你打工(五):没花什么钱养了6只虾,还赚到了钱

技术人生黄勇

我研究了一下,写了篇文章我在云端搭了个“贾维斯”:Moltbot(Clawdbot)云端部署与初体验,然后按流程部署了一个云端版本的小龙虾。

20020

详解PolarQuant 与 QJL(Quantized Johnson-Lindenstrauss) 的严格数学细节

jack.yang

本文关于 PolarQuant 与 QJL(Quantized Johnson-Lindenstrauss) 的严格数学细节与理论证明框架,基于谷歌研究院在 I...

39620

数据仓库性能加速利器:哪些产品支持向量化缓存?

gavin1024

从上表可以看出,TCHouse-X 和 TCHouse-D 直接明确地强调了向量化执行引擎,这是其实现高性能分析的公开技术主张。而TCHouse-C则依托Cli...

8710

数据仓库性能飞跃的双引擎:哪些产品真正支持向量化执行与JIT编译?

gavin1024

在数据分析领域,查询性能直接决定了业务决策的时效性。随着数据量的爆炸式增长,传统的数据处理方式已难以满足实时分析的需求。为此,现代数据仓库引入了两大核心技术:向...

10610

AI无法替代的20个职业

搜罗万相

AI可处理审批流程,但政策制定需考虑社会公平、文化传统等非量化因素。正如知乎用户“查讯纤”所言:“公务员是人类社会的管理者,若被AI替代,相当于人类服从机器统治...

26810

GitHub项目FLUX.2开源了,支持 10 张图片同时参考的开源模型

搜罗万相

2024年11月25日,德国AI图像模型独角兽黑森林实验室(Black Forest Labs)发布了最新一代图像生成模型家族FLUX.2,这标志着AI图像生成...

32710

GGML_GGUF 文件格式漏洞深度解读与挖掘思路

枇杷熟了

随着 llama.cpp 等本地推理引擎的普及,GGUF 已成为 Hugging Face 上最流行的模型分发格式之一1。社区为了适配不同档次的硬件,衍生出 Q...

13610

成果丨李婧团队揭示中东沙尘是印度洋偶极子的重要外部驱动因素

气象学家

本研究基于长期观测数据的分析发现,即使剔除ENSO信号的影响,沙尘活动的减弱仍与IOD的正位相表现出显著相关性,回归系数可达约0.5 K(图1)。进一步量化分析...

9010

ArXiv | 仅需2.4TB! 港大、鹏城实验室联合发布全球首套超轻量化30米长时序多源遥感嵌入数据(2000-2024),数据、代码已开源!

气象学家

题目:Democratizing planetary-scale analysis: An ultra-lightweight Earth embedding ...

12110

《自然—地球科学》:张永强等精准量化全球水循环分量,更新传统水循环示意图

气象学家

水是地球表层系统的核心要素,是链接各圈层的关键纽带。然而,全球水循环的量化尤其是河川流量与蒸散发的准确划分,长期受限于模型误差与观测不足,导致对未来水资源变化的...

12010
领券