图像处理单元由图像处理软件完成，图像处理软件包含大量图像处理算法。在取得图像后，用这些算法对数字图像进行处理，分析计算，并输出结果。
由于机器视觉应用领域的高速发展，核心软件的竞争已从过去单纯追求软件多功能的竞争，转向对视觉算法的准确性、高效性的竞争。常规的机器视觉软件均可提供匹配工具、特征分析工具等多种视觉功能，但由于算法设计的不同，可能只适用于特定的应用。
为满足用户更加多样化的需求，软件的开发逐步演化为软件平台的开发，在软件功能无法满足客户的需要时，用户可以进行灵活的二次开发。这也是软件算法研发的技术壁垒之所在。
只有优秀的机器视觉图像处理软件才能进行快速而又准确的检查，且减少对硬件系统的依赖性。国内这方面比较出色的机器视觉软件例如维视图像的机器视觉IPS图像处理软件应用比较广泛。

图像采集单元中最重要的元件是图像采集卡，它是图像采集部分和图像处理部分的接口。一般具有以下的功能模块：
1、图像信号的接收与A／D 转换模块，负责图像信号的放大与数字化。有用于彩色或黑白图像的采集卡。彩色输入信号可分为复合信号或RGB分量信号。
2、摄像机控制输入输出接口，主要负责协调摄像机进行同步或实现异步重臵拍照、定时拍照等。
3、 总线接口，负责通过PC机内部总线高速输出数字数据，一般是PCI 接口，传输率可高达130Mbps，完全能胜任高精度图像的实时传输。且占用较少的CPU 时间。在选择图像采集卡时。主要应考虑到系统的功能需求、图像的采集精度和与摄像机输出信号的匹配等因素。
目前使用最为普遍的是A/D 转换技术。
机器视觉企业之间的竞争，说到底就是算法准确性的竞争，因此每个企业都会投入很多的资源对核心软件进行开发。由机器视觉的总体成本分布可以看出，80%的成本来源于部件购买以及软开发。部件中最关键的部分就是半导体芯片，每个环节的硬件设施中都需要芯片技术以及电路集成。软件是机器视觉的大脑，只有在软件将采集到的图像数据化以后，机器才能进行识别和检测等功能机器视觉图像处理软件的选择，决定着检测算法的准确性。