在DSP算法中，最大量的工作之一是与存储器交换信息，这其中包括作为输入信号的采样数据、滤波器系数和程序指令。例如，如果将保存在存储器中的2个数相乘，就需要从存储器中取3个二进制数，即2个要乘的数和1个描述如何去做的程序指令。图〔a)显示了一个传统的微处理器是如何做这项工作的。这被称为冯?诺依曼结构，是以一位数学家的名字命名的。冯?诺依曼结构中，只有一个存储器，通过一条总线来传送数据。乘两个数至少需要3个指令周期，即通过总线将这3个数从存储器中送到CPU。所以这种结构在面对高速、实时处理时，不可避免地造成总线拥挤。为此，哈佛大学提出了与冯?诺依曼结构完全不同的另一种计算机结构，人们习惯称之为哈佛结构，如图(b)所示。它根据数据和数据指令将存储器和总线分开。因此，总线操作是独立的，能同时取指令和数据，提高了速度。目前DSP内部一般采用的是哈佛结构，它在片内至少有4套总线：程序的数据总线，程序的地址总线，数据的数据总线和数据的地址总线。这种分离的程序总线和数据总线，可允许同时获取指令字(来自程序存储器)和操作数(来自数据存储器)，而互不干扰。这意味着在一个机器周期内可以同时准备好指令和操作数。有的DSP芯片内部还包含有其他总线，如DMA总线等，可实现单周期内完成更多的工作。这种多总线结构就好像在DSP内部架起了四通八达的高速公路，保障运算单元及时地取到需要的数据，提高运算速度。因此，对DSP来说，内部总线是个资源，总线越多，可以完成的功能就越复杂。超级哈佛结构(super Harvard architecture，缩写为SHARC)如图(c)所示，它在哈佛结构上增加了指令cache(缓存)和专用的I/O控制器。