分布式大模型推理的数据共享方式以及对硬件的需求特点

[zksong]

想讨论一下目前常用的分布式大模型推理方案中，常用的数据共享方式，以及各种数据共享方式对于硬件的需求特点(比如算力、传输带宽、控制、同步等)