本人观点，仅供参考。

Quick Note

What Problem it is Trying to Solve? (Motivation)

• Low-memory footprint RAG via ANNS (Approximate Nearest Neighbor Search).

Core Methodology?

Two Stages Search with Lightweight Heavily Compressed Product Quantization table (1/100x) (sec. 4)

• Offline Stage: Pruned graph + PQ-compressed embedding table

  • 这里会用很高的PQ compression rate （100x），强力压缩，可以节省很多vector存储的内存。但导致一个问题：量化误差很大。内存开销： $O(4N \times dim/100)$
  • motivation是因为我们用100×压缩的PQ，所以quantization error很大，所以DiskANN的"PQ筛选+rerank"模式失效，所以我们需要interleave exact和approximate distance。
  • 锐评：但这个"问题"本身是论文为了storage指标自己造出来的——一个design choice引出了另一个design choice，再引出第三个，最后包装成"a suite of optimizations"。从first principles看，未必是最优结构。

• Online Stage: Two-level search strategy.

  

• Lightweight approx distances using PQ

• Recompute exact embeddings on demand

• Dynamic Batching (sec. 4.2) ..略 提高GPU利用率而做batching。引入staleness，但是大幅提高利用率。

• 这是用来解决仅仅用PQ搜索带来的劣势的。用精确距离(exact distances) 去选择需要访问点节点。然后近似距离(approximate distances) 来剪枝。

• 算法里面AQ是approximate distance的queue，EQ是exact distance的queue.

Graph Pruning: Preserve high-degree nodes & discard dense embeddings (sec. 5)

• Motivation: metadata storage is still high (~10s of GB)
• Key Observation: 不同edge不并不是同等重要的。High-degree nodes are accessed more frequently than low-degree nodes.
• Core method: 保留高连通性的节点，在其他地方做pruning.