AI知识架构之数据采集

数据采集

• 数据格式：
  • 结构化数据：以固定格式和结构存储，如数据库中的表以及 Excel 表格，易于查询和分析。
  • 半结构化数据：有一定结构但不如结构化数据严格，XML 常用于数据交换，JSON 在 Web 应用中广泛用于数据传输和存储。
  • 非结构化数据：无预定义结构，文本、图像、音频和视频属于此类，处理和分析这类数据需特定技术。
  • 实时数据流：由传感器和物联网设备实时产生，需实时处理以获取及时洞察。
• 采集方法：
  • 基于文件传输：通过 FTP（文件传输协议）或 SFTP（安全文件传输协议）在不同系统间传输数据文件。
  • 数据库导入：利用 JDBC（Java 数据库连接）或 ODBC（开放数据库互连）标准接口从数据库提取数据。
  • 网络爬虫：通过发送 HTTP 请求获取网页内容，再解析 HTML 提取数据，但需遵守网站的 robots 协议。
  • 消息队列：像 Kafka 和 RabbitMQ，可异步处理和缓冲数据，在高并发场景下保证数据的可靠传输。
  • 数据集成工具：Talend 和 Informatica 等工具提供图形化界面，简化复杂的数据集成任务。
  • 传感器数据获取：从各类传感器采集物理世界的数据，如温度、湿度等。
• 数据质量把控：
  • 准确性提升策略：通过数据验证、与权威数据源比对等方式提高数据准确性。
  • 完整性检查措施：检查数据记录和字段是否完整，确保无遗漏。
  • 一致性保障手段：保证数据在不同系统和存储中的一致性，避免冲突。

数据清洗

• 数据质量问题：
  • 缺失值：因数据录入遗漏、系统故障等原因产生，影响数据分析结果准确性。
  • 重复值：包括记录重复和字段重复，会干扰分析并浪费存储资源。
  • 错误值：格式错误（如日期格式错误）或逻辑错误（如年龄为负数）影响数据可用性。
  • 异常值：偏离其他数据的离群点，可能由数据录入错误或真实异常情况导致。
• 清洗技术：
  • 缺失值处理：可删除缺失值过多的记录，或用均值、中位数等填充，也可采用插补技术如线性插补。
  • 重复值删除：依据唯一标识或相似度匹配算法找出并删除重复记录。
  • 错误值纠正：通过数据验证规则和模式匹配纠正错误。
  • 异常值处