并行程序的定义是指 在同一时刻有多个程序在同时运行。这些程序可以运行在不同的处理器或计算核心上，通过多核或多处理器支持来实现。并行程序的核心思想是将一个大的任务分解为多个小的子任务，这些子任务可以同时执行，从而提高程序的执行效率和性能。
需要注意的是，并行和并发是两个相关但不同的概念。并发是指多个任务在同一时间段内交替执行，不需要多核支持，单核CPU即可实现，通过快速切换模拟“同时执行”。而并行则是指在同一时刻有多个程序在同时运行，需要多核或多处理器支持。
在编程中，实现并行的方法有很多，包括多线程、多进程和分布式计算等。多线程编程中，程序可以创建多个线程，每个线程独立执行一部分任务。多进程编程中，程序可以创建多个进程，每个进程独立执行一部分任务。分布式计算则是将任务分布到多个计算节点上，每个节点独立执行一部分任务，最后再汇总结果。
并行编程的难点在于同时从宏观和微观两种角度分析问题，并能灵活在两种角度之间切换。此外，并行编程还需要处理共享数据操作一致性的问题，这是由于多个任务同时访问和修改共享数据时，可能会导致数据不一致的问题。