降低开发人员的生产力？

5G智慧电站项目由中国移动四川公司、大唐公司、清华研究院共同推出，包括5G水下机器人、5G无人机巡检系统以及5G云视讯远程指挥会商系统三个部分，主要解决的是水利枢纽安全巡检效率低、成本高、风险高的问题。

清华四川能源互联网研究院智能水电枢纽研究所副所长王皓冉告诉界面新闻记者，由于高速水流会对大坝进行冲蚀，长年运行下来，建筑物会出现磨损、露筋等损伤，如果没有及时发现并修复可能会造成安全隐患。

也因此，每次大型泄洪之后，水电站都需要对大坝坝体以及水面下方的消力池底板进行巡检。

以往的巡检方式整体上效率低、成本及风险高。据介绍，传统针对水下坝体底板的巡检一般需要经历打围堰—抽干池水—清理淤泥—清理这样的过程。

基于5G技术开发的水下巡检机器人，可以代替人工，在不必排水的条件下，下水巡检，并且将高清图像实时回传，从而帮助了解大坝底部的真实损伤情况以及位置，做到精细化运维。
 

随着我国5G技术的成熟与普及，5G低时延、大带宽的特性正在对许多行业进行改造，既为行业既有难题提供新的解决方案，也帮助许多行业探索新的业态，焕发新的活力。

近日，界面新闻记者实地探访了四川广元亭子口水利枢纽“5G智慧电站”、四川自贡“5G网联无人机基地”以及云南西双版纳“勐巴拉5G数字小镇”等多处5G行业应用场景。

这些已经落地的5G行业应用，是5G在降本增效上的实际案例，也是5G触达你我的一个窗口。

5G智慧电站，巡检费用从590万降至70万

亭子口水利枢纽是国家完善长江防洪体系六大重点工程之一，是嘉陵江干流唯一的控制性骨干工程，承担着防洪、灌溉、供水、发电等功能。
 

鲲鹏展翅，扶摇万里，山城重庆，率先突围。作为国内最早联系华为并积极推进鲲鹏产业落地的城市，重庆在鲲鹏计算产业刚刚起步时，就宣布与华为以“5G+云+AI”方式共建中国计算产业新高地。这一年多来，以鲲鹏处理器为底层核心的鲲鹏计算产业，在重庆串联起硬件制造链，被寄予代带动整个西部乃至中国硬件与软件产业协同发展的厚望，助力信息技术产业转型升级。

作为西部高质量发展的重要增长极，川渝地区双城经济圈建设正在如火如荼进行中，重庆鲲鹏产业生态有着明显的赋能制造业需求，而成都则在游戏等软件领域有较多着墨，两者在探索各自细分行业共识之外，更有着广阔的合作空间。
 

求取 i(·) 和 p(·) 的代理相对简单，事实上，的代理必须通过损失函数来获得。同样地，保证运行时和可逼近性依赖于两个额外的输入参数：选定的最大训练步数量 n > 0，预期间隔大小 1 ≤ ≤ |Ξ|。ϵ 的的选择直接影响该近似算法求得解的质量。

用知识蒸馏进行预训练

尽管 FPTAS 能够确保我们获得描述最优子架构的架构参数集，但如何高效预训练参数化模型仍是一个待解决问题。

根据以往的研究（详见论文第二章）可以得出结论，使用知识蒸馏（KD）来预训练上述语言模型可以在前述评估指标上达到良好的性能。鉴于代理误差函数 eˆ(·, ·) 是关于极大点的交叉熵，因此将上述评估通过 KD 进行扩展是很自然的事情。

该研究还比较了 Bort 架构的自监督预训练和基于 KD 的预训练，发现与另一种方法相比，使用学生模型的最后一层和教师模型之间的一个简单交叉熵就足以找到一个优秀模型，该模型可以获得更高的遮蔽语言模型（MLM）准确率和更快的预训练速度。

评估

为了验证在经过最佳子架构提取过程之后，Bort 是否保留了 BERT 和 RoBERTa 的强大泛化性能，研究者在 GLUE、SuperGLUE 基准以及 RACE 数据集上微调了 Bort。结果表明，Bort 比其他类似 BERT 的压缩模型要好得多，在多个任务上的性能都大大优于其他模型。

GLUE

GLUE（Generalized Language Evaluation benchmark）包含一组常见的自然语言任务。主要是侧重于自然语言推理（NLI），它由十个数据集组成。

研究者通过在所有任务中添加单层线性分类器来微调 Bort，但 CoLA 除外。在 CoLA 中，研究者发现在 Bort 和分类器之间添加额外的线性层可以提高收敛速度。研究者使用 Agora 对所有任务进行了微调。

结果如表 4.15 所示。除了 QQP 和 QNLI 以外，Bort 几乎在所有任务上表现优异，它的性能比其他基于 BERT 的同等模型要好得多。相比于 BERT-large，Bort 的性能提高了 0.3%-31%。研究者将这种提升归功于 Agora 的微调，因为它允许模型更好地学习每个任务的目标分布。

（编辑：江门站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!