数据采集设计会议纪要

时间：2022-07-06 03:37:53 会议纪要我要投稿

数据采集设计会议纪要

　　主要思路

数据采集设计会议纪要

　　1. 数据的分析整理主要放在客户端实现，以减少服务端的压力;

　　2. 服务端主要以组装和转存实现为主。

　　服务端：

　　1. 处理步骤

　　(1)Socket监听端口

　　(2)接收数据

　　(3)处理数据

　　2. 主要问题

　　(1)多线程

　　每个数据传输启动一个线程，做好线程管理;

　　要考虑稳定性，避免内存泄露。

　　(2)大数据量数据库更新

　　通过块提交提高数据库转存性能，缩短转存时间;

　　考虑如何避免库锁。

　　客户端：

　　1. 设备数据传输

　　(1)设备数据文件内容变化判断

　　设备数据的分析处理很费时间，每次传输数据时都要对设备数据文件进行分析压力很大。考虑到设备数据变化的概率很小，但有的厂家不管设备数据变没变，都要生成新的设备数据文件，所以要开发一个文件变化快速比较功能;

　　方法有：一是特征码比较;二是转换成ASCII比较;三是转换成二进制或十六进制比较;四是转换成MD5码比较。

　　2. 实时数据传输

　　(1)字典表

　　客户端取得字典表，进行数据分析。

　　(2)数据比较

　　通过数据库临时表，比较得出新增和修改的数据。

　　3. 数据传输过程中，数据丢失验证

　　下一步计划：

　　1. 数采开发周期一个半月;

　　2. 进行设计评审;

　　3. 数采客户端DotNet实现，xxx负责;

　　4. 数采服务端Java实现，xxx负责。

【数据采集设计会议纪要】相关文章：