我注意到了Apollo使用的是caffe,而caffe默认使用float作为深度学习的精度
但是xavier的GPU,EyeQ5和Tensor core和别的一些机器学习芯片比如寒武纪,它的算力都是说的几十TOPS(而且强调了支持INT8和FP16精度类型),用的是INT8来评估的,最终在这些芯片上是不是不能使用float精度的caffe呢?如果必须使用FP16和INT8精度类型的深度学习模型,但是我看了一下开源社区却发现很少又这样的资料,为什么呢?
当然是可以使用float的,只要你的计算力足够,但是根据我们的经验,INT8可以成倍提升运算效率。可以参考下GPU下使用TensorRT的方式,有直接将模型转换至INT8的接口。
Closing this issue as it appears to be resolved. Feel free to reopen if you have additional questions. Thanks!
Most helpful comment
当然是可以使用float的,只要你的计算力足够,但是根据我们的经验,INT8可以成倍提升运算效率。可以参考下GPU下使用TensorRT的方式,有直接将模型转换至INT8的接口。