在ARM NEON上的混合向量化归并排序

Основные понятия

提出了一种在ARM NEON上的混合向量化归并排序算法,通过优化寄存器使用数量、采用少比较器的列排序网络以及混合实现串行和向量化归并,大幅提升了排序效率。

Аннотация

本文提出了一种在ARM NEON架构上的混合向量化归并排序算法,名为NEON-MS。主要包括以下三个优化:

1. 确定了使用16个寄存器的最优数量,以避免寄存器到内存的访问开销。

2. 引入了使用最佳排序网络的列排序,该网络结构更加简单高效,比常用的对称排序网络使用更少的比较器。

3. 提出了一种混合实现的双调归并网络,能够并行执行串行和向量化的归并操作,大幅提升了归并效率。

实验结果表明,单线程NEON-MS相比std::sort和boost::block_sort分别快3.8倍和2.1倍。多线程NEON-MS也比并行版本的boost::block_sort快1.25倍。这归功于上述三项优化措施的协同效果。

Статистика

NEON-MS在单个FT2000+核心上的平均排序速度为70 ME/s,是std::sort的3.8倍,是boost::block_sort的2.1倍。
NEON-MS的64线程版本在大规模数据上的排序速度,比boost::block_sort的64线程版本快1.25倍。

Цитаты

"NEON-MS是3.8和2.1倍快于std::sort和boost::block_sort。"
"NEON-MS的64线程版本在大规模数据上的排序速度,比boost::block_sort的64线程版本快1.25倍。"

Ключевые выводы из

A Hybrid Vectorized Merge Sort on ARM NEON

by Jincheng Zho... в arxiv.org 09-09-2024

https://arxiv.org/pdf/2409.03970.pdf

Дополнительные вопросы

如何进一步优化NEON-MS在小规模数据上的性能,以缩小与boost::block_sort的差距?

要进一步优化NEON-MS在小规模数据上的性能，可以考虑以下几个策略：

优化线程管理：在处理小规模数据时，线程创建和管理的开销可能会显著影响性能。可以通过引入线程池机制，减少线程的创建和销毁次数，从而降低上下文切换的开销。

减少内存访问：小规模数据的排序往往会频繁地进行内存访问。通过优化数据布局和缓存使用，可以减少内存访问的延迟。例如，使用局部性原理，将数据按顺序存储，以提高缓存命中率。

自适应阈值：根据输入数据的规模动态调整使用的排序算法。例如，对于小规模数据，可以直接使用简单的插入排序或选择排序，而不是复杂的归并排序。这种自适应策略可以在小规模数据上显著提高性能。

并行化优化：在小规模数据上，过多的并行化可能导致性能下降。可以通过动态调整并行度，确保在小规模数据时使用较少的线程，以减少线程间的竞争和同步开销。

改进归并策略：在小规模数据的归并阶段，可以考虑使用更高效的归并算法，如二路归并或使用更简单的归并网络，以减少归并过程中的比较和交换次数。

通过以上策略，可以有效缩小NEON-MS与boost::block_sort在小规模数据上的性能差距。

如何在NEON-MS中引入自适应的策略,根据输入数据规模动态选择最佳的排序和归并方法?

在NEON-MS中引入自适应策略，可以通过以下步骤实现根据输入数据规模动态选择最佳的排序和归并方法：

数据规模评估：在排序开始之前，首先评估输入数据的规模。可以通过简单的计数操作来获取数据的长度，并根据长度确定适合的排序和归并策略。

阈值设定：设定多个阈值，根据数据规模选择不同的排序算法。例如，对于小于某个阈值的数据，可以选择插入排序；对于中等规模的数据，使用NEON-MS的向量化归并排序；而对于大规模数据，则使用全功能的NEON-MS。

动态调度：在排序过程中，动态监测数据的特性（如数据的有序性），并根据实时反馈调整使用的算法。例如，如果发现数据已经部分有序，可以选择更简单的归并策略。

算法切换机制：实现一个算法切换机制，当检测到当前使用的排序或归并方法不再高效时，可以快速切换到其他算法。这种机制可以通过设置标志位或使用状态机来实现。

性能监控：在排序过程中，持续监控性能指标（如执行时间、内存使用等），并根据这些指标调整策略，以确保始终使用最优的排序和归并方法。

通过这些自适应策略，NEON-MS能够根据输入数据的规模和特性，动态选择最合适的排序和归并方法，从而提高整体性能。

NEON-MS的设计思路是否可以推广到其他SIMD架构,如Intel AVX或RISC-V Vector Unit?

NEON-MS的设计思路确实可以推广到其他SIMD架构，如Intel AVX或RISC-V Vector Unit，原因如下：

通用的向量化思想：NEON-MS利用了SIMD架构的向量化特性，通过并行处理多个数据元素来提高排序效率。这一思想在其他SIMD架构中同样适用，能够有效利用硬件资源。

优化的排序网络：NEON-MS中引入的少比较器排序网络和混合归并网络的设计理念，可以在其他架构中实现。不同架构的寄存器数量和特性可能不同，但优化排序网络的基本原则是相似的。

自适应策略：NEON-MS中提出的自适应策略可以根据不同架构的特性进行调整。例如，在AVX架构中，可以根据AVX的寄存器宽度和可用的指令集，动态选择最优的排序和归并方法。

多线程并行化：NEON-MS的多线程并行化策略可以在其他SIMD架构中实现。通过合理的线程管理和负载均衡，可以在不同的硬件平台上获得良好的性能。

架构特定优化：虽然NEON-MS的基本设计思路可以推广，但在实现时需要针对不同架构进行特定的优化。例如，AVX和RISC-V可能在指令集、寄存器布局和内存访问模式上有所不同，因此在实现时需要考虑这些差异。

综上所述，NEON-MS的设计思路具有良好的可移植性和适应性，可以在其他SIMD架构中进行有效的推广和应用。