- 相关推荐
数据挖掘的读书笔记
数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现上述目标。目前哟普与大数据时代的到来，数据挖掘在很多高等院校已经成为一门独立的学科。下面是数据挖掘的相关读书笔记。欢迎大家阅读。
数据挖掘的读书笔记 1
一、数据挖掘概念（即什么是数据挖掘）
我们生活在数据时代，各行各业每天都产生巨大的数据。数据的爆炸式增长、广泛可用和巨大数量使得我们的时代成为真正的数据时代。急需功能强大和通用的工具，以便从海量数据中发现有价值的信息，把这些数据转换成有组织的、可利用的知识。这种需求导致了数据挖掘的诞生。
数据挖掘实际上是从数据中挖掘知识，由以下步骤的迭代组成：
(1)数据清理（消除噪声和删除不一致数据）
(2)数据集成（多种数据源可以组合在一起）
(3)数据选择（从数据库中提取与分析任务相关的数据）
(4)数据变换（通过汇总或聚集操作，把数据变换和统一成适合挖掘的形式）
(5)数据挖掘（基本步骤，使用智能方法提取数据模式）
(6)模式评估（根据某种兴趣度度量，识别代表知识的真正有趣的模式）
(7)知识表示（使用可视化和知识表示技术，向用户提供挖掘的知识） 关系数据库是数据挖掘最常见、最丰富的信息源，因此它是我们数据挖掘研究研究的一种主要数据形式。
二、数据挖掘技术（即怎样进行数据挖掘）
1、可以挖掘什么类型的模式 特征化与区分、频繁模式、关联和相关性挖掘，分类与回归，聚类分析，离群点分析。 数据挖掘可以被用来进行市场分析和管理、风险分析和管理、缺陷分析和管理等。
2、使用什么技术
1)首先要认识数据，一个数据对象代表一个实体，又称样本、实例、数据点或对象。 属性是一个数据字段，表示数据对象的一个特征，又称维、特征和变量。
2)数据描述 中心趋势度量：均值、中位数和众数 度量数据散布：极差、四分位数、方差、标准差和四分位数极差 通过基于像素的可视化技术等清晰有效的表达数据
3)进行数据预处理，包括数据变换与数据离散化。 数据变换策略：光滑、属性构造、聚集、规范化、离散化、由标称数据产生概念分层 数据离散化策略：分箱、直方图分析、聚类决策树和相关分析
4)然后需要建立数据仓库进行处理，数据仓库：是一种数据库，它允许将各种应用系统集成在一起，为统一的历史数据分析提供坚实的平台，对信息处理提供支持。数据仓库的构建需要数据集成、数据清洗和数据统一。
5)联机分析处理可以，在使用多维数据模型的数据仓库或数据集市上进行，使用数据立方体结构，OLAP操作可以有效的实现。
数据立方体计算的一般策略： 排序、散列和分组 同时聚集和缓存中间结果
当存在多个子女方体时，由最小的子女聚集 可以使用先验剪枝方法有效的'计算冰山立方体
数据立方体计算方法： 多路数组聚集，基于稀疏数组的、自底向上的、共享计算的物化整个数据立方体 BUC，通过探查有效的自顶向下计算次序和排序计算冰山立方体 Star-Cubing,使用星树结构，集成自顶向下和自底向上计算，计算冰山立方体 外壳片段立方体，通过仅预计算划分的立方体外壳片段，支持进行高维OLAP
6）挖掘频繁模式和关联规则 频繁项集挖掘方法： Apriori算法（通过限制候选产生发现频繁项集），由频繁项集产生关联规则，提高Apriori算法的效率，挖掘频繁项集的模式增长方法，使用垂直数据格式挖掘频繁项集，挖掘闭模式和极大模式
数据挖掘的读书笔记 2
1、数据挖掘要解决的问题
可伸缩（算法在处理各种规模的数据时都有很好的性能。随着数据的增大，效率不会下降很快。）
高维性（简单的说就是多维数据的意思。平时我们经常接触的是一维数据或者可以写成表形式的二维数据，高维数据也可以类推，不过维数较高的时候，直观表示很难。）
异种数据和复杂数据
数据的所有权与分布（分布式数据挖掘：应付分布式海量数据的现代方法）
非传统的分析（传统方法：基于一种假设-检验模式；数据挖掘分析-时机性样本，而不是随机样本）
2、数据挖掘任务
1）预测任务（目标变量/因变量：被预测的属性；说明变量/自变量：用来做预测的属性）
2）描述任务
A预测建模：分类-预测离散的.目标变量和回归-预测连续的目标变量
B关联分析
C聚类分析
D异常检测（识别其特征显著不同于其他数据的观测值。这样的观测值称为异常点或离群点）
3、属性的四种类型
1）标称
2）序数
3）区间
4）比率
（布尔变量：Boolean Variable (布尔型变量) 是有两种逻辑状态的变量，它包含两个值：真和假。如果在表达式中使用了布尔型变量，那么将根据变量值的真假而赋予整型值1或0。）
【数据挖掘的读书笔记】相关文章：
数据挖掘理论在数据采集中的运用03-16
数据挖掘专业就业方向09-27
数据挖掘岗位职责05-14
数据挖掘与企业营销策略探究03-29
数据挖掘分析岗位职责04-20
数据挖掘在ＣＲＭ中的应用分析03-22
数据挖掘技术在ＣＲＭ中的应用03-22
基于聚类分析的数据挖掘方法03-08
浅谈反病毒数据库的数据分类挖掘论文02-19
数据挖掘论文参考文献范文11-20