基于医疗大数据的多模态数据融合

基于医疗大数据的多模态数据融合

付欣茹 张佳怡 陈世豪 王晓燕

山东协和学院 山东 济南 250107

摘要：健康大数据上升到国家战略的高度，国家从战略规划、技术能力、应用和管理三个方面实施和推进了大数据的开发政策，加快了大规模数据产业的发展，从理论研究中推进了大数据的应用。近年来，政策集中导入，政策方向明确。多模态医疗数据融合分析是从各种领域来决定研究计划的临床医生、统计分析工程师、算法工程师、属于需要生物信息工程师和其他人之间反复沟通的学科领域。通过对不同特征集的互补融合，共同学习各模式数据的共享电位信息，并提高数据的有效性。

关键词：多模态；医疗大数据；目标检测算法；深层学习

1 背景分析

近年来的研究数据表明，为了有效维护广大群众的健康，在预防和治疗癌症方面具有重大意义。2019年，国家保健委员会、财政部和其他部门共同制定了“健康中国行动——癌症预防和实施计划（2019-2022）”，以促进早期诊断和治疗的进程。在积累特定规模的用户和数据时，将现有数据构建乳腺癌治疗和宫颈癌患者的强大数据库，将它们整合起来，推进两个癌症医疗领域的科学研究和技术革新。

通过使用基于专家知识的人工智能算法自动分析癌症数据，医生可以判断病灶的性质，提高适时性和准确性，降低误诊率和降低诊断率，提供定量基础。同时，使用基于形式SSD的双目图像对和点云操作的最佳状态来实现精确定位和病变的自动检测。基于专家知识的U-LOPM目标检测算法还可以智能地处理多源数据，实现病变的自动识别、定量评估、分析报告的自动生成、其他功能，并提供分析的基础和建议。

2行业存在的问题

由于市场诸问题国内数字化的滞后，许多国内企业以数据结构为中心，解决了以统一数据标准为中心的数据获取问题。目前，在数据挖掘分析和解析平台建设方面还有很长的路要走。数据分析平台能力集中在薄弱的单一方向，综合各种数据分析意图。

我国医疗行业在快速发展的同时，各医院间、科室间数据孤岛现象严重，使得健康医疗数据的利用困难重重。需要政府加大基础网络设施的建设, 并且鼓励各医疗机构建立健康医疗大数据的相关技术体系, 畅通资源共享渠道, 依托政务网构建横向到边、纵向到底的健康医疗信息网络, 进一步在国家层面建立全民健康医疗大数据的收集、应用体系。

3 医疗大数据辅助诊断系统研究

3.1 研究内容

基于医疗大数据的辅助诊断系统利用CT、钼靶X射线、病理学领域及其他数据快速准确的预筛选、早期筛选和早期诊断。U-LOPM目标检测算法自动识别肿瘤病变，主要实现肿瘤定量评估，注册跟踪比较，恶性分析，分析报告的自动生成功能，为满足医疗需求提供分析的基础和建议。因此，诊断要更加客观、正确、及时。

自动分析两个癌症数据的专业知识的AI算法的系统研究提供了医生判断病灶的性质、及时性和正确性、降低误诊率、降低诊断率的定量基础。

产品的价值方向是共享肿瘤数据的值并增加，这是根据医疗机构和科学研究机构的用户数量来租的。如果用户选择民营化本地数据，他们必须向平台支付特定的费用。

3.2 系统技术

3.2.1 基于形态学的SSD检测

SingShot Shot Multibox Detector（SSD）是一台舞台目标探测器。与两步检测方法不同，单级目标检测不推荐区域，但从特征图直接取回边界盒和分类概率。SSD使用单级检测创意改进它：在不同缩放功能图上检测相应缩放目标。

3.2.2 点云计算和双目摄像对

因为点云有空间坐标，所以这些代表性的架构取得了很大的进步。由于大容量数据可用性的支持，一些领域的基于深入学习的方法的性能优于其他传统方法。此外，高性能计算设备（GPU、CPU集群、云计算平台等）用于提高训练效率。多模态数据在不同网络中的爆炸性和可用性提供了广泛的机会，利用来自许多方面的不同网络的固有知识。由于其高容量、高速、多样性和精度，这些数据对传统的多模态数据挖掘方法带来了巨大的挑战。目前已经提出了一些创新的多模态深层学习模型用于数据融合。

3.2.3 U-lopm目标检测算法

基于专家知识的U-LOPM目标检测算法智能地处理多源数据，实现病变的自动识别，定量评估，分析报告的自动生成，以及其他功能，并提供分析的基础和建议。

目标检测技术的常规目标检测方法一般分为三个阶段：首先，选择给定图像中的几个候选区域，然后使用训练的分类器从这些领域提取特征，最后进行分类。由于深入的神经网络算法在Imagenet数据集中首先闪耀，对象检测字段开始使用深入的学习来慢慢进行研究。接着，提出各种结构的深度模型，多次更新数据集合的精度。其实，深入学习的模式在分类任务中留下了远远落后的传统方法。图像分类的明显改善也驱动了检测场的快速发展。迄今为止，高性能检测算法是基于深入学习的。最早的r-Cnn（region-based cnn）最初使用深度模型来提取图像特征，创建了精度为49.6%的检测算法的新时代。

4结语

首先，在多模态数据融合的深层学习模型中存在许多自由参数。那个可以满足医疗数据目前的困难。

2. 多模态数据不仅包括模态信息，还包括丰富的交叉模态信息。为了学习多模态数据的丰富模态模式和交叉模态信息，现有的用于多模态数据融合的深层学习模型的大部分首先使用深度模型来捕获每个模式的个人特征，然后将原始模式特定表示转换成非常抽象的表示。

3. 这些非常抽象的表达进一步连接到媒介。然后，它显示多模态的全局表示。

最后，使用深层模型对级联向量中的高抽象表示进行建模。综合医疗工程，综合专业创新，教授专业理论和实践有机教育，全面探索主观主导和创造性可能性，解决实际问题。

【参考文献】

[1]牟燕,吴敏,宋奎勐,何有琴.区域健康医疗大数据应用发展政策文本计量分析[J].医学信息学杂志,2021,42(01):16-23.
[2]熊兴江. 医疗大数据质量评价指标体系构建研究[D].华中科技大学,2019.
作者简介：

付欣茹（2001-），女，山东青岛人，山东协和学院计算机应用技术专业，专科学生。

张佳怡（2002-），女，辽宁朝阳人，山东协和学院人工智能专业，本科学生。

陈世豪（2001-），男，山东滨州人，山东协和学院人工智能专业，本科学生。

王晓燕，副教授，指导老师，山东协和学院数字媒体技术专业教师，主要研究方向：三维动画，虚拟现实技术。