DSP的性能受其对存储器子系统的管理能力的影响。如前所述，MAC和其它一些信号处理功能是DSP器件信号处理的基本能力，快速MAC执行能力要求在每个指令周期从存储器读取一个指令字和两个数据字。有多种方法实现这种读取，包括多接口存储器(允许在每个指令周期内对存储器多次访问)、分离指令和数据存储器(“哈佛”结构及其派生类)以及指令缓存(允许从缓存读取指令而不是存储器，从而将存储器空闲出来用作数据读取)。图2和图3显示了哈佛存储器结构与很多微控制器采用的“冯•诺曼”结构的差别。

　　另外要注意所支持的存储器空间的大小。许多定点DSP的主要目标市场是嵌入式应用系统，在这种应用中存储器一般较小，所以这种DSP器件具有小到中等片上存储器(4K到64K字左右)，备有窄的外部数据总线。另外，绝大多数定点DSP的地址总线小于或等于16位，因而可外接的存储器空间受到限制。

　　一些浮点DSP的片上存储器很小，甚至没有，但外部数据总线宽。例如TI公司的TMS320C30只有6K片上存储器，外部总线为24位，13位外部地址总线。而ADI的ADSP2-21060具有4Mb的片上存储器，可以多种方式划分为程序存储器和数据存储器。

　　选择DSP时，需要根据具体应用对存储空间大小以及对外部总线的要求来选择。