专利名称：数据采集方法、系统及网络设备专利类型：发明专利发明人：张权,谢云龙,吕烨申请号：CN201911424097.8申请日：20191231公开号：CN111241177A公开日：20200605
摘要：本发明实施例提供一种数据采集方法、系统及网络设备，该方法包括：接收采集任务信息，其中所述采集任务信息包括数据源地址、采集规则和目标库地址；若判定采集规则中具有过滤规则信息且数据源不支持结构化查询，则根据采集规则中的数据转化文件信息对数据源中的数据进行结构化转化提取，获得结构化数据；从过滤规则信息中提取各过滤条件字段；保存各过滤条件字段与对应的结构化数据，至目标库地址对应的目标库中。通过在采集任务信息中配置数据源地址和目标库地址，实现了多源异构数据的数据采集，并通过将配置过滤规则信息同时不支持结构化查询的数据源数据进行结构化转化提取，实现了非结构化数据的采集和筛选。
申请人：中国联合网络通信集团有限公司,联通大数据有限公司
地址：100033 北京市西城区金融大街21号
国籍：CN
代理机构：北京同立钧成知识产权代理有限公司
更多信息请下载全文后查看
因篇幅问题不能全部显示，请点此查看更多更全内容