第1080章 手机里住个AI神

    余大嘴满脸疑惑。
    顾屿刚才抛出的那个技术名词，触及到了他的知识盲区。
    在2025年，随便在数码论坛拉出一个普通网友，对方都能把端侧大模型、参数压缩这些概念说得头头是道。
    可如今是2016年初。
    知识蒸馏这个概念，去年三月份才由几位海外顶尖学者联合发表在学术论文上。
    这门前沿技术目前还锁在极少数实验室的加密硬盘里。
    整个工业界压根就没有人把这东西拿出来大规模商用。
    余大嘴没听过实在太正常了。
    “顾总，你给我交个底。”余大嘴搓了搓下巴，
    “这个蒸馏技术到底是个什么逻辑？”
    顾屿没有抛出学术界那些晦涩难懂的专有名词。
    他拿起桌上的两个水杯，一个大保温杯，一个小茶杯。
    “余总，你把运行在雅安服务器上的完整版天问三号，看作是这个大保温杯。里面装了几百亿参数，运算能力极强。”
    顾屿指了指小茶杯。
    “手机端硬件有限，就是这个小茶杯。我们不可能把一大缸水硬倒进小杯子里。”
    “常规的做法是把大模型直接砍掉一大半功能，做个残次品。但那样出来的模型就会变成弱智，根本没法理解复杂的语言。”
    余大嘴深表赞同地点了点头。
    “所以我们要换一种训练思路。”顾屿把两个杯子靠在一起。
    “我们不直接压缩大模型，而是让雅安服务器里的那个庞然大物当老师。用它去专门训练一个参数量只有十几亿的轻量级模型。”
    “在训练过程中，大模型处理完数据后的输出结果，直接作为小模型的学习标准。”
    顾屿看着余大嘴。
    “这等于把大模型经过大量计算得出的核心逻辑和解题思路，直接喂给小模型。剔除掉那些冗长的计算过程，只保留结论。”
    “经过蒸馏提纯和量化压缩后的轻量级模型，虽然无法做高深的科研推理，但应对手机端日常的意图理解和任务分发，游刃有余。”
    余大嘴听明白了，两眼放光。
    “这技术你们跑通了？”
    顾屿没有废话，直接转头看了一眼陆知远。
    陆知远从公文包里拿出一台厚重的工程测试设备。这是一台加装了散热模块的特殊测试机，屏幕很大。
    陆知远当着余大嘴的面，拔掉了设备上的外接天线，又关闭了系统里的局域网开关。
    顾屿把测试机推到余大嘴面前。
    “设备已经处于绝对断网的物理隔离状态。”
    “这里面装着的，就是那个参数量十二亿的蒸馏版测试模型。”顾屿指了指屏幕上的输入框，
    “现在它连不上网，没法帮你点外卖，也没法查天气。”
    “但你可以试试它对复杂逻辑的理解能力。”
    余大嘴来了兴致，搓了搓手，把那台厚重的测试机捧在手里。
    他略微思索，在输入框里打下了一段极其日常的测试题。
    【我朋友老李下周搬新家，他平时喜欢喝茶，对电子产品不感兴趣。帮我推荐三个五百块以内的乔迁礼物，并分别说明推荐理由。】
    本地设备停顿了两三秒钟，屏幕上就开始快速逐行吐出文字。
    【根据您的需求，为您推荐以下三款五百元以内的乔迁礼物：】
    【一、景德镇陶瓷茶具套装。老李喜欢喝茶，一套全新的茶具既投其所好，又适合新家待客，价格在预算范围内。】
    【二、精品茶叶礼盒。作为爱茶之人，优质的茶叶是实用且不会出错的消耗品，非常适合作为贺礼。】
    【三、中式造型的室内盆景。不涉及任何电子元素，能为新居增添生机，摆在茶桌旁也非常应景。】
    余大嘴盯着屏幕上的文字，逐字逐句看了一遍。
    他抬起头，满眼都是掩饰不住的震惊。
    在完全断网的状态下，这台设备仅仅依靠本地算力，就完美抓取了“搬家”、“爱喝茶”、“排斥电子产品”以及“五百元预算”四个核心限制条件，并给出了条理清晰的答案。
    而且速度极快。
    这就是端侧人工智能的恐怖之处。
    不依赖云端，没有网络延迟，所有数据在本地处理，隐私安全性拉满。
    余大嘴站起身，在办公室里来回走了两圈。
    “顾总，东西是好东西。”
    余大嘴停下脚步，五官都快皱到了一起。
    “但目前的硬件基础根本撑不起你的野心。”
    他指着桌上那台加了厚厚散热模块的工程机。
    “你刚才展示的设备，CPU和GPU肯定满载了吧？”
    顾屿点了点头，这没法否认。
    “这恰恰是最大的死穴。”余大嘴双手撑在茶几上。
    “目前的手机CPU和GPU架构，设计初衷是处理通用计算和图形渲染。用来跑你们这种大模型的矩阵运算，效率低得令人发指。”
    “强行跑，算力确实能凑合，但功耗绝对压不住。手机几分钟就会发烫降频，电池用不了一个小时就会被抽干。”
    余大嘴长叹了一口气。
    “顾总，就算你们做到了参数蒸馏和量化压缩，解决了系统运存不够的难题。但它也是个吃电的怪物。”
    “硬件跟不上，一切都是空谈。我们不能造一个暖手宝卖给消费者。”
    面对余大嘴的纠结与无奈，顾屿脸上没有任何焦虑。
    他端起早已经凉透的茶水，轻轻抿了一口。
    “余总，我既然敢带着项目上门，自然准备好了全套的解决方案。”
    顾屿放下茶杯，目光变得锐利起来。
    “功耗痛点，现在只差一颗专属的NPU来彻底解决。”
    “我的要求是，海思要为这款手机设计一款专属的核心硬件。”
    顾屿直视着余大嘴的眼睛。
    “让海思拿出一套专门针对TranSfOrmer架构底层算子进行硬件级加速的手机端NPU！”
    余大嘴眉头微动，眼神逐渐亮起，脑子里飞速顺着这个激进的思路往下推演。
    顾屿不疾不徐地抛出完整的构想：
    “只要这颗NPU落地，我们就能在硬件物理层面上实现完美的‘端云协同’机制。”
    他竖起一根手指，
    “日常轻量级的使用场景，比如识别用户的语音指令、控制鸿蒙系统里的各个APP、做简单的日程规划和意图理解。这些任务，全部交由手机NPU硬件直驱那个十二亿参数的蒸馏版小模型。”
    “因为是专芯专用，所以在端侧处理这些轻量任务时可以做到零延迟，断网可用，隐私数据绝不出端设备，而且功耗完全能压在安全线以内，手机根本不会发烫。”
    接着，顾屿竖起第二根手指，
    “但如果遇到复杂的重度需求，比如让AI写一份两万字的商业分析报告、进行深度的科研逻辑推理，或者需要全网检索最新的宏观数据，这已经超出了端侧轻量级模型的认知上限。”
    “所以一旦判定为重度需求……”余大嘴接上话茬，
    “手机的端侧模型就把指令打包装车，通过网络接口直接抛回给你们的云端天问大模型去跑？”
    “没错。全量级的使用，直接连接九天服务器进行运算。”顾屿靠回沙发上，
    “云端算力负责兜底高难度的全量任务，端侧NPU负责轻量级秒回和设备控制。”
    “在用户眼里，没有端和云的区别切换，他们只会觉得，这台华为手机里住着一个无所不能的神。”