并行程序是指 在同一时刻执行多个任务或多个计算线程的程序。它通过将一个大任务分解成多个小任务，并利用计算机的多核处理能力或其他并行硬件来同时执行这些小任务，从而提高程序的执行效率和系统的处理能力。
并行程序与并发程序的区别在于：
并行：指多个任务在同一时刻真正同时执行，每个任务都在独立的处理单元（如CPU核心）上运行，不涉及时间上的切换。
并发：指多个任务在时间上重叠执行，但在任一时刻只有一个任务在执行，通过快速切换给用户造成同时执行的错觉。
在编程中实现并行通常需要操作系统和硬件的支持，如多核处理器、多处理器系统等。常见的并行编程方法包括多进程、多线程等。例如，在Python中，可以使用`multiprocessing`模块来实现多进程并行。
并行程序的难点在于需要处理共享数据的一致性问题，以及如何在宏观和微观角度之间灵活切换问题。