大数据软件研发在近年来取得了显著进展，主要体现在以下几个方面：
大数据基础设施的持续增长：
我国大数据软件硬件自主研发能力不断提升，大数据领域技术在市场和技术驱动下快速发展。大数据基础设施的成熟为大数据应用的广泛落地提供了坚实的基础。
数据存储技术的多样化：
常用的大数据存储方案包括HDFS、NoSQL、云存储等。Hadoop分布式文件系统（HDFS）作为Apache Hadoop生态系统的核心组成部分，解决了传统存储方式无法存储大量数据的问题。NoSQL数据库以其高可扩展性和容错性在海量数据存储方面表现出色，云存储则提供了灵活的数据共享和管理方式。
数据预处理技术的进步：
数据预处理是大数据处理的关键环节，包括数据清洗、数据集成、数据转换和数据规约等。常用的预处理工具包括Hadoop MapReduce和Spark等，这些工具能够有效优化原始数据，提高数据质量。
并行计算技术的广泛应用：
并行计算技术通过多个计算节点同时执行任务，显著提高了计算效率。MapReduce、Spark和Flume等框架在大数据处理中得到了广泛应用。
数据挖掘和分析技术的深入发展：
数据挖掘技术通过分析数据中的有用信息，帮助用户了解数据的内在规律和趋势。分类、聚类、关联规则挖掘等技术在软件工程中的应用越来越广泛，为软件工程师提供了强大的数据分析工具。
流计算和内存计算的重视：
流计算因内存价格的下降而变得流行，成为大数据处理的一个重要方向。Spark等工具在流处理方面表现出色，成为行业标准。
开源大数据项目的成熟：
开源大数据项目几乎达到饱和点，许多问题都有多个解决方案。例如，Kafka在数据提交方面达到了高标准，Druid在复杂大数据库方面表现优秀。
大数据在软件工程中的广泛应用：
大数据技术在软件工程中的应用包括数据分析、软件测试和开发等。大数据技术帮助开发者有效采集、清理、处理和存储数据，提高软件系统的性能和用户满意度。
人才需求的增长：
随着大数据技术的普及和应用场景的丰富，市场对大数据开发人才的需求不断增加，但同时也存在人才供不应求的情况。
产业协同创新机制的培养：
未来需要在开源社区参与度、复合型人才培养、产品细分和跨学科协同创新等方面进一步努力，以促进大数据产业的持续发展。
综上所述，大数据软件研发在多个方面都取得了显著进展，但仍面临一些挑战，如核心技术的自主化、人才短缺和产业协同创新机制的完善等。未来，随着技术的不断进步和应用场景的进一步拓展，大数据软件研发将继续保持快速发展的势头。