大数据基准测试流程与测试工具

大数据基准测试流程与测试工具

王成飞

中电万维信息技术有限责任公司   甘肃省兰州市730010

摘要：发展我们的知识产权自主数据库系统也变得越来越富裕。此外，根据国际测试标准进行测试的原则旨在支持国家大型数据库管理系统的开发和实施。

关键词:大数据；基准测试流程；测试工具；

引言:

全世界大约有30亿人可以上网，目前互联网上的网页数量超过了10亿，大量的数据来自网络，新技术和互联网应用程序的结合创造了丰富的数据来源，并导致数据激增。概述系统中使用的各种文件的目标和配置规则;从编程的角度来看，程序的实现部分描述了函数的每个部分的想法和实现过程。测试将由脚本进行功率测试将在单行文件分析后进行，通过多个流程建模、请求和更新运行。

一、大数据

    大数据在数据的数量、类型和处理时间方面产生了新的问题，新和新出现的数据技术允许通过分布式文件系统和并行计算机系统等模型以较低的价格解决与数据相关的重大问题。新的计算机系统和数据库系统不断更新，这意味着需要比较基本产品和技术。比较较大的数据处理系统的特性和大规模数据集处理效率的指标，这些数据集抽象地代表特定应用的指标，允许根据实际数据的特性和分布产生更大的数据集。本文件与较大的数据处理系统的特征相结合，描述了基本数据测试和构建过程的基本要素，并最终将现有的数据检验工具、负荷和软件堆栈相匹配，并考虑了原始条件测试工具的未来方向。随着互联网技术的发展，越来越多的数据来源出现。互联网应用程序每天记录网民的行为，以及社交数据、搜索数据和购买数据。线下生活也与网络对话记录、医疗数据、环境数据、网络财务数据有关。工业互联网上的机器配备了传感器和网络数据传输设备，存储了大量的机器数据。物体网络将地球上所有的人和物体连接起来，感觉和跟踪物体和人的状态。数据以及大量的作法,如音频、照片、视频、文档、网页和期刊对当前数据处理提出了新的挑战。互联网服务的演变使得用户对数据处理速度要求更高，数据类型的数据数量和复杂性的增加给数据处理速度带来了问题。

二、大数据基准测试流程

1．测试基准。一个巨大的数据处理平台。由于传统单个设备的垂直扩展，大型、多样性和及时处理不能被取消，这一点在互联网搜索中最为明显。在过去还进行了测试和然而，由于技术、技术和市场原因，它们被淘汰了。用于更改控制参数是一个支持随机搜索解决方案的标准，它模拟了数据库管理员无法预测用户将发送到数据库系统中的请求。因此不能通过使用已知的查询和数据信息来优化。该模型定义了复杂请求和更新操作，但当数据更新时，只有表被更新。测量数据库分为从在测试中，使用随机顺序和随机参数产生的请求流，在更新流中连续执行的更新在请求流和执行之间使用和执行。虽然测试以前的决策支持系统就足够了，而且仍然是市场上测试的主要标准，但现在实现更复杂的DSS系统却不可能准确反映其性能。然而，在现实情况下，数据存储不符合这些标准。认识到这些缺点，该组织为下一代开发了一套支持决策的系统，以测试控制指标。最初的条件包括使用星星模型和雪模型结合的模型为数据存储创建一个实例和度量表，以便在共享的、规模较小的表的同时减少数据的积累。测试总共使用了每个表的数量也大幅增加，平均增加。此外还有额外的表来存储维护数据所需的数据。测试模型是一种支持零售贸易决策的系统。该系统为客户信息、订单和产品数据等业务提供了必要的商业信息，这些信息是正常销售渠道的一部分。测试控制参数对于中可能出现的各种操作是抽象的，同时保持必要的特性。在任何操作分析的背景下，都需要进行广泛的搜索和更新。测试定义了符合标准的显著差异，以及数据维护操作，涵盖了大多数请求和通常面临的定期更新数据库。与数据服务提供者不同的是，几乎所有的表都可以更新，而不仅仅是指定的两个表。可以肯定的是，测试参数完全反映了现代技术对数据库系统的新变化，更准确地反映了新一代数据库系统的特征。尽管市场仍然占主导地位，但随着科技的发展和参与公司的注意力不断增加，测试必然会越来越受欢迎。

2.测试系统。十多年来，在许多数据库供应商和提供官方网站测试报告的大型数据库公司的支持下，这项工作一直在进行。目前的决策测试系统主要是基于基准的。测试的基础和测试的基础一样，测试过程基本上是相同的，运行分析和测试系统可以作为测试系统设计的辅助工具。数据库开发了测试程序，从图表中可以看到，这些程序是基于基于开发过程的想法并且正在进行测试。数据库的大小是由源代码中指定的数据大小因素的数量决定的，数据加载模块将测试所需的数据加载到数据库中。处理能力测试和通行证测试是测试的核心，操作测试是在单个用户模式下进行的，它与请求流的更新并行使用。在程序框架内分析数据库测试结果至关重要。该系统使用一个特殊的请求发生器和一个振荡器来更新流量以创建一个测试请求流，并通过一个请求工具创建一个流量更新，其中包含两个更新操作来确保顺序运行。计时器负责按请求和更新操作的时间统计，统计分析模块处理计时器接收的时间，并相应地将时间输入接口和文件。会话连接模块负责创建和释放测试工具与数据库之间的通信。通过能力测试需要多个请求、更新和执行流，系统用于为每个流创建一个会话。

三、测试工具

1.提供用户界面来调整和显示结果和测试过程，简化用户使用，促进测试过程监控和分析系统变化的趋势:提供的自动和一步执行职能可能没有维护测试和实施通过单个测试工具来测试开发过程特别程序导入数据不依赖工具的某些共同的数据库,数据库厂商提供工具集成功能修改表达式和数据类型的SQL数据库根据语法规则这样系统就可以应用于不同的数据库。缺点是它的集成太大系统的所有功能都被编程、创建表、限制、索引和其他结构，必须通过编程代码执行。但是，优化不同数据库的方法也不同，使用所有的代码可能会导致所有可测量数据库的优化程序都有相同的优化程序这对数据库的实际特性没有帮助。此外，虽然该系统有能力对不同数据库的建议进行更改，但数据库中包含了许多产品，只能通过共享数据库更改。

2.基本指标的测试系统与决策支持系统有很大区别，只用于参考目的。测试的第一个版本是在五年内推出的。尽管对照指标具有明显的优势和可信度，但在市场认可程度、参与企业数量等方面仍有很大差异，尽管数据库供应商也在研究和测试自己产品的对照指标，但它们并没有被用作比较产品的基本要素。数据库供应商提供的测试结果和测试系统没有在官方网站上公布更真实的商业逻辑模拟决策支持系统使测试结果真实和可靠。基本的商业模式是基于实际的零售贸易为了创建决策支持数据库，使用了一种混合模型，带有星形和雪模型。数据文件集是通过支持实际决策的数据建模工具创建的。数据文件包含所有表，每个表对应一个数据文件。上传时间也是数据库质量评估的一个因素。用户请求模拟不同用户对DSS的请求和更新。测试控制数据提供了请求模式和更新，以模拟决策支持系统中的各种操作包括典型决策支持系统中可能出现的绝大多数请求，以及数据库更新过程。报告根据用户请求和数据更新记录数据库系统的工作结果，以便更容易获得结果和统计数据控制参数操作模型是测试系统业务逻辑的简要描述，必须根据业务模型在数据库中验证。

结论:

选择数据来测试负载、数据、指标应基于特定的业务场景和应用需求，对于涉及多个组件平台的大型企业，应考虑抽象一般负载，选择共同测试工具。对于行业领域业务类更加集中于企业，应该更多地考虑对具体情况的抽象压力，选择实际的数据来扩展，最好设置测试工具终端。

参考文献：

1.李秋惠．数据库管理系统的性能测试研究：武汉：华中科技大学，2021．