技术原理

+ 混合量化： 根据模型不同部分的特性设计定制的量化方案，
形成混合量化方案，在保持精度的同时最小化模
型大小。

+ 前向预测： 根据不同 LLM 的特点，为令牌设计定制的并行预
测方案，一次准确预测多个未来令牌，从而提高
推理速度。

用户感知

+ 更短的响应时间 + 更低的内存占用

+ 更快的生成速度 + 更低的电量消耗

技术原理

+ 数据库加密技术：
数据存储过程中，采用先进的加密技术有效防止数据被未经授权
的第三方访问。

+ 敏感词过滤技术：
基于深度学习的敏感词检测算法对文本进行特征提取， 自动识别
并屏蔽文本中的违规内容，保障内容安全与合规。

+ 大模型加密技术

用户感知

用户在设备端进行内容处理，有效地保障用户的隐私和数据安全。