GPU0 ←→ GPU1
  ↕       ↕
GPU2 ←→ GPU3
  ↕       ↕
...