模型部署的一些实践和想法
Published:
less than 1 minute read
Published:
2 minute read
Published:
原文链接:Serving TensorRT Models with NVIDIA Triton Inference Server
2 minute read
Published:
以GauGAN模型为例,该模型是nVidia团队对语义图像合成的一个研究。该模型可以将用户通过基于语义的画笔画成的图像生成一个相对真实的图像。
less than 1 minute read
Published:
(…碎片化想法太多,只能先零散的记录,慢慢整合) **
less than 1 minute read
Published:
在本地(wsl2)使用模型的时候因为已经装好了cuda驱动,所以推理较快,但是在docker环境下由于没有安装对应的驱动 nvidia-docker ,导致模型跑在cpu上非常慢。