1
条回答
写回答
写回答
-
整体的网络框架示意图如下：
在训练端：随机选择 M 个 block，每个 block 复制 N 份，然后输入到有 3 个隐含层的全连接网络中，用 region softmax 得到各参数各种 choice 的概率，然后按照概率去 sample 每个参数的值，得到参数后输入到底层的压缩算法进行实际压缩并得到压缩值。复制的 N 个 block 相互比较计算 loss 然后做反向传播。loss 的整体设计为：
fn(copi) 描述了压缩效果，比 N 个 block 的均值高就正反馈，Hcs(copi) 是交叉熵，希望得分高的概率越大越确定越好；反之亦然。后面的 H(cop) 是交叉熵作为正则化因子来尽量避免网络固化且收敛到局部最优。 在推理端，可以把一个 timeline 的全部或局部 block 输入到网络中，得到参数，做统计聚合然后得到整个 timeline 的参数。
2021-12-14 19:11:21赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
