Apollo: 关于深度学习使用INT8类型的问题

Created on 6 Dec 2018  ·  2Comments  ·  Source: ApolloAuto/apollo

我注意到了Apollo使用的是caffe,而caffe默认使用float作为深度学习的精度
但是xavier的GPU,EyeQ5和Tensor core和别的一些机器学习芯片比如寒武纪,它的算力都是说的几十TOPS(而且强调了支持INT8和FP16精度类型),用的是INT8来评估的,最终在这些芯片上是不是不能使用float精度的caffe呢?如果必须使用FP16和INT8精度类型的深度学习模型,但是我看了一下开源社区却发现很少又这样的资料,为什么呢?

Others Question

Most helpful comment

当然是可以使用float的,只要你的计算力足够,但是根据我们的经验,INT8可以成倍提升运算效率。可以参考下GPU下使用TensorRT的方式,有直接将模型转换至INT8的接口。

All 2 comments

当然是可以使用float的,只要你的计算力足够,但是根据我们的经验,INT8可以成倍提升运算效率。可以参考下GPU下使用TensorRT的方式,有直接将模型转换至INT8的接口。

Closing this issue as it appears to be resolved. Feel free to reopen if you have additional questions. Thanks!

Was this page helpful?
0 / 5 - 0 ratings