珞珈山水BBS -- 单文区文章阅读

搜索

单文区文章阅读 [返回]
发信人: Knuthocean (knuthocean@SKLSE), 信区: Programm 标题: [合集] 谁知道数据挖掘这个方向有那些内容？发信站: 珞珈山水BBS站 (Fri Jun 2 11:25:12 2006), 站内 ☆─────────────────────────────────────☆ leonlux (堂郎) 于 (Mon May 29 11:34:32 2006) 提到: 本人研究生的方向，但现在一点都不懂…… ☆─────────────────────────────────────☆ Knuthocean (knuthocean@SKLSE) 于 (Mon May 29 12:06:44 2006) 提到: 不明白。。好像有关联规则什么的。。【在 leonlux (堂郎) 的大作中提到: 】 : 本人研究生的方向，但现在一点都不懂…… ☆─────────────────────────────────────☆ oyljerry (勇敢的心→㊣如果·爱㊣√考验什么……) 于 (Mon May 29 12:16:45 2006) 提到: ^_^，先搜索吧【在 leonlux (堂郎) 的大作中提到: 】 : 本人研究生的方向，但现在一点都不懂…… ☆─────────────────────────────────────☆ Knuthocean (knuthocean@SKLSE) 于 (Mon May 29 17:30:04 2006) 提到: 引一篇数据挖掘的介绍，谁都看得懂的：第一讲数据挖掘的背景知识 ====朱建秋==== 什么是数据挖掘？数据挖掘能做什么？数据挖掘的商业背景数据挖掘的技术背景数据挖掘的社会背景　 0.什么是数据挖掘？数据挖掘是从大量的数据中，抽取出潜在的、有价值的知识（模型或规则）的过程。　数据挖掘能做什么？ 1)数据挖掘能做以下六种不同事情（分析方法）：分类（Classification）估值（Estimation）预言（Prediction）相关性分组或关联规则（Affinity grouping or association rules）聚集（Clustering）描述和可视化（Description and Visualization）　 2)数据挖掘分类以上六种数据挖掘的分析方法可以分为两类：直接数据挖掘；间接数据挖掘直接数据挖掘目标是利用可用的数据建立一个模型，这个模型对剩余的数据，对一个特定的变量（可以理解成数据库中表的属性，即列）进行描述。间接数据挖掘目标中没有选出某一具体的变量，用模型进行描述；而是在所有的变量中建立起某种关系。分类、估值、预言属于直接数据挖掘；后三种属于间接数据挖掘　 3)各种分析方法的简介分类（Classification）首先从数据中选出已经分好类的训练集，在该训练集上运用数据挖掘分类的技术，建立分类模型，对于没有分类的数据进行分类。例子： a. 信用卡申请者，分类为低、中、高风险 b. 分配客户到预先定义的客户分片注意：类的个数是确定的，预先定义好的　估值（Estimation）估值与分类类似，不同之处在于，分类描述的是离散型变量的输出，而估值处理连续值的输出；分类的类别是确定数目的，估值的量是不确定的。例子： a. 根据购买模式，估计一个家庭的孩子个数 b. 根据购买模式，估计一个家庭的收入 c. 估计real estate的价值一般来说，估值可以作为分类的前一步工作。给定一些输入数据，通过估值，得到未知的连续变量的值，然后，根据预先设定的阈值，进行分类。例如：银行对家庭贷款业务，运用估值，给各个客户记分（Score 0~1）。然后，根据阈值，将贷款级别分类。　预言（Prediction）通常，预言是通过分类或估值起作用的，也就是说，通过分类或估值得出模型，该模型用于对未知变量的预言。从这种意义上说，预言其实没有必要分为一个单独的类。预言其目的是对未来未知变量的预测，这种预测是需要时间来验证的，即必须经过一定时间后，才知道预言准确性是多少。　相关性分组或关联规则（Affinity grouping or association rules）决定哪些事情将一起发生。例子： a. 超市中客户在购买A的同时，经常会购买B，即A => B(关联规则) b. 客户在购买A后，隔一段时间，会购买B （序列分析）　聚集（Clustering）聚集是对记录分组，把相似的记录在一个聚集里。聚集和分类的区别是聚集不依赖于预先定义好的类，不需要训练集。例子： a. 一些特定症状的聚集可能预示了一个特定的疾病 b. 租VCD类型不相似的客户聚集，可能暗示成员属于不同的亚文化群聚集通常作为数据挖掘的第一步。例如，“哪一种类的促销对客户响应最好？”，对于这一类问题，首先对整个客户做聚集，将客户分组在各自的聚集里，然后对每个不同的聚集，回答问题，可能效果更好。　描述和可视化（Description and Visualization）是对数据挖掘结果的表示方式。　 2.数据挖掘的商业背景数据挖掘首先是需要商业环境中收集了大量的数据，然后要求挖掘的知识是有价值的。有价值对商业而言，不外乎三种情况：降低开销；提高收入；增加股票价格。 1)数据挖掘作为研究工具（Research） 2)数据挖掘提高过程控制（Process Improvement） 3)数据挖掘作为市场营销工具（Marketing） 4)数据挖掘作为客户关系管理CRM工具(Customer Relationship Management) 　 3.数据挖掘的技术背景 1)数据挖掘技术包括三个主要部分：算法和技术；数据；建模能力 2)数据挖掘和机器学习（Machine Learning）机器学习是计算机科学和人工智能AI发展的产物机器学习分为两种学习方式：自组织学习（如神经网络）；从例子中归纳出规则（如决策树）数据挖掘由来数据挖掘是八十年代，投资AI研究项目失败后，AI转入实际应用时提出的。它是一个新兴的，面向商业应用的AI研究。选择数据挖掘这一术语，表明了与统计、精算、长期从事预言模型的经济学家之间没有技术的重叠。 3)数据挖掘和统计统计也开始支持数据挖掘。统计本包括预言算法（回归）、抽样、基于经验的设计等 4)数据挖掘和决策支持系统数据仓库 OLAP（联机分析处理）、Data Mart（数据集市）、多维数据库决策支持工具融合将数据仓库、OLAP，数据挖掘融合在一起，构成企业决策分析环境。　 4. 数据挖掘的社会背景数据挖掘与个人预言：数据挖掘号称能通过历史数据的分析，预测客户的行为，而事实上，客户自己可能都不明确自己下一步要作什么。所以，数据挖掘的结果，没有人们想象中神秘，它不可能是完全正确的。客户的行为是与社会环境相关连的，所以数据挖掘本身也受社会背景的影响。比如说，在美国对银行信用卡客户信用评级的模型运行得非常成功，但是，它可能不适合中国。【在 leonlux (堂郎) 的大作中提到: 】 : 本人研究生的方向，但现在一点都不懂…… ☆─────────────────────────────────────☆ shiyiwan (☆I.S.S☆烷之哀伤☆) 于 (Mon May 29 17:41:10 2006) 提到: 有钱途啊 ☆─────────────────────────────────────☆ dawanzi (联不通) 于 (Mon May 29 18:15:37 2006) 提到: 【在 leonlux (堂郎) 的大作中提到: 】 : 本人研究生的方向，但现在一点都不懂…… 就跟网格一样也是个概念吵作。挖掘其实是用统计、分析、计算处理旧的东西，得到具有新的意义的东西。 ☆─────────────────────────────────────☆ Knuthocean (knuthocean@SKLSE) 于 (Mon May 29 19:15:02 2006) 提到: “天下的东西一大抄”嘛，所有的知识都是互相用嘛，【在 dawanzi (联不通) 的大作中提到: 】 : 就跟网格一样也是个概念吵作。挖掘其实是用统计、分析、计算处理旧的东西，得到具有新 : 的意义的东西。 ☆─────────────────────────────────────☆ ILoveSor (混沌庇护所->向毁灭的王座进军！) 于 (Mon May 29 19:15:44 2006) 提到: 汗这句话【在 Knuthocean (knuthocean@SKLSE) 的大作中提到: 】 : “天下的东西一大抄”嘛，所有的知识都是互相用嘛， ☆─────────────────────────────────────☆ lbla (ISS2000) 于 (Tue May 30 00:14:56 2006) 提到: 这个方向不错的我现在有幸进入了这个领域你要是读研的话，最好加深一点数学功底，统计学方面的东西给几个网站你看看吧 http://www.dwway.com/ http://groups.google.com/group/ttnn 【在 leonlux (堂郎) 的大作中提到: 】 : 本人研究生的方向，但现在一点都不懂…… ☆─────────────────────────────────────☆ ILoveSor (混沌庇护所->向毁灭的王座进军！) 于 (Tue May 30 09:43:34 2006) 提到: 楼上的是？【在 lbla (ISS2000) 的大作中提到: 】 : 这个方向不错的 : 我现在有幸进入了这个领域 : 你要是读研的话，最好加深一点数学功底，统计学方面的东西 : ................... ☆─────────────────────────────────────☆ leonlux (堂郎) 于 (Tue May 30 16:07:21 2006) 提到: 感觉是要数学基础好，而且好像还要离散那个鬼东东也要好。【在 lbla (ISS2000) 的大作中提到: 】 : 这个方向不错的 : 我现在有幸进入了这个领域 : 你要是读研的话，最好加深一点数学功底，统计学方面的东西 : ................... ☆─────────────────────────────────────☆ oyljerry (勇敢的心→㊣如果·爱㊣√考验什么……) 于 (Tue May 30 17:41:06 2006) 提到: 嗯，数学应该要求还是比较高【在 leonlux (堂郎) 的大作中提到: 】 : 感觉是要数学基础好，而且好像还要离散那个鬼东东也要好。
[返回单文区目录]

单文区文章阅读 [返回]

发信人: Knuthocean (knuthocean@SKLSE), 信区: Programm
标  题: [合集] 谁知道数据挖掘这个方向有那些内容？
发信站: 珞珈山水BBS站 (Fri Jun  2 11:25:12 2006), 站内

☆─────────────────────────────────────☆
   leonlux (堂郎) 于  (Mon May 29 11:34:32 2006)  提到:

本人研究生的方向，但现在一点都不懂……

☆─────────────────────────────────────☆
   Knuthocean (knuthocean@SKLSE) 于  (Mon May 29 12:06:44 2006)  提到:

不明白。。好像有关联规则什么的。。
【在 leonlux (堂郎) 的大作中提到: 】
: 本人研究生的方向，但现在一点都不懂……

☆─────────────────────────────────────☆
   oyljerry (勇敢的心→㊣如果·爱㊣√考验什么……) 于  (Mon May 29 12:16:45 2006)  提到:

^_^，先搜索吧

【在 leonlux (堂郎) 的大作中提到: 】
: 本人研究生的方向，但现在一点都不懂……

☆─────────────────────────────────────☆
   Knuthocean (knuthocean@SKLSE) 于  (Mon May 29 17:30:04 2006)  提到:

引一篇数据挖掘的介绍，谁都看得懂的：
第一讲数据挖掘的背景知识

====朱建秋====

什么是数据挖掘？

数据挖掘能做什么？

数据挖掘的商业背景

数据挖掘的技术背景

数据挖掘的社会背景

　

0.什么是数据挖掘？

数据挖掘是从大量的数据中，抽取出潜在的、有价值的知识（模型或规则）的过程。

　

数据挖掘能做什么？

1)数据挖掘能做以下六种不同事情（分析方法）：

分类（Classification）

估值（Estimation）

预言（Prediction）

相关性分组或关联规则（Affinity grouping or association rules）

聚集（Clustering）

描述和可视化（Description and Visualization）

　

2)数据挖掘分类

以上六种数据挖掘的分析方法可以分为两类：直接数据挖掘；间接数据挖掘

直接数据挖掘

目标是利用可用的数据建立一个模型，这个模型对剩余的数据，对一个特定的变量（可以理解成数据库中表的属性，即列）进行描述。

间接数据挖掘

目标中没有选出某一具体的变量，用模型进行描述；而是在所有的变量中建立起某种关系。

分类、估值、预言属于直接数据挖掘；后三种属于间接数据挖掘

　

3)各种分析方法的简介

分类（Classification）

首先从数据中选出已经分好类的训练集，在该训练集上运用数据挖掘分类的技术，建立分类模型，对于没有分类的数据进行分类。

例子：

a. 信用卡申请者，分类为低、中、高风险

b. 分配客户到预先定义的客户分片

注意：类的个数是确定的，预先定义好的

　

估值（Estimation）

估值与分类类似，不同之处在于，分类描述的是离散型变量的输出，而估值处理连续值的输出；分类的类别是确定数目的，估值的量是不确定的。

例子：

a. 根据购买模式，估计一个家庭的孩子个数

b. 根据购买模式，估计一个家庭的收入

c. 估计real estate的价值

一般来说，估值可以作为分类的前一步工作。给定一些输入数据，通过估值，得到未知的连续变量的值，然后，根据预先设定的阈值，进行分类。例如：银行对家庭贷款业务，运用估值，给各个客户记分（Score 0~1）。然后，根据阈值，将贷款级别分类。

　

预言（Prediction）

通常，预言是通过分类或估值起作用的，也就是说，通过分类或估值得出模型，该模型用于对未知变量的预言。从这种意义上说，预言其实没有必要分为一个单独的类。

预言其目的是对未来未知变量的预测，这种预测是需要时间来验证的，即必须经过一定时间后，才知道预言准确性是多少。

　

相关性分组或关联规则（Affinity grouping or association rules）

决定哪些事情将一起发生。

例子：

a. 超市中客户在购买A的同时，经常会购买B，即A => B(关联规则)

b. 客户在购买A后，隔一段时间，会购买B （序列分析）

　

聚集（Clustering）

聚集是对记录分组，把相似的记录在一个聚集里。聚集和分类的区别是聚集不依赖于预先定义好的类，不需要训练集。

例子：

a. 一些特定症状的聚集可能预示了一个特定的疾病

b. 租VCD类型不相似的客户聚集，可能暗示成员属于不同的亚文化群

聚集通常作为数据挖掘的第一步。例如，“哪一种类的促销对客户响应最好？”，对于这一类问题，首先对整个客户做聚集，将客户分组在各自的聚集里，然后对每个不同的聚集，回答问题，可能效果更好。

　

描述和可视化（Description and Visualization）

是对数据挖掘结果的表示方式。

　

2.数据挖掘的商业背景

数据挖掘首先是需要商业环境中收集了大量的数据，然后要求挖掘的知识是有价值的。有价值对商业而言，不外乎三种情况：降低开销；提高收入；增加股票价格。

1)数据挖掘作为研究工具（Research）

2)数据挖掘提高过程控制（Process Improvement）

3)数据挖掘作为市场营销工具（Marketing）

4)数据挖掘作为客户关系管理CRM工具(Customer Relationship Management)

　

3.数据挖掘的技术背景

1)数据挖掘技术包括三个主要部分：算法和技术；数据；建模能力

2)数据挖掘和机器学习（Machine Learning）

机器学习是计算机科学和人工智能AI发展的产物

机器学习分为两种学习方式：自组织学习（如神经网络）；从例子中归纳出规则（如决策树）

数据挖掘由来

数据挖掘是八十年代，投资AI研究项目失败后，AI转入实际应用时提出的。它是一个新兴的，面向商业应用的AI研究。选择数据挖掘这一术语，表明了与统计、精算、长期从事预言模型的经济学家之间没有技术的重叠。

3)数据挖掘和统计

统计也开始支持数据挖掘。统计本包括预言算法（回归）、抽样、基于经验的设计等

4)数据挖掘和决策支持系统

数据仓库

OLAP（联机分析处理）、Data Mart（数据集市）、多维数据库

决策支持工具融合

将数据仓库、OLAP，数据挖掘融合在一起，构成企业决策分析环境。

　

4. 数据挖掘的社会背景

数据挖掘与个人预言：数据挖掘号称能通过历史数据的分析，预测客户的行为，而事实上，客户自己可能都不明确自己下一步要作什么。所以，数据挖掘的结果，没有人们想象中神秘，它不可能是完全正确的。

客户的行为是与社会环境相关连的，所以数据挖掘本身也受社会背景的影响。比如说，在美国对银行信用卡客户信用评级的模型运行得非常成功，但是，它可能不适合中国。

【在 leonlux (堂郎) 的大作中提到: 】
: 本人研究生的方向，但现在一点都不懂……

☆─────────────────────────────────────☆
   shiyiwan (☆I.S.S☆烷之哀伤☆) 于  (Mon May 29 17:41:10 2006)  提到:

有钱途啊

☆─────────────────────────────────────☆
   dawanzi (联不通) 于  (Mon May 29 18:15:37 2006)  提到:

【在 leonlux (堂郎) 的大作中提到: 】
: 本人研究生的方向，但现在一点都不懂……

就跟网格一样也是个概念吵作。挖掘其实是用统计、分析、计算处理旧的东西，得到具有新
的意义的东西。

☆─────────────────────────────────────☆
   Knuthocean (knuthocean@SKLSE) 于  (Mon May 29 19:15:02 2006)  提到:

“天下的东西一大抄”嘛，所有的知识都是互相用嘛，
【在 dawanzi (联不通) 的大作中提到: 】
: 就跟网格一样也是个概念吵作。挖掘其实是用统计、分析、计算处理旧的东西，得到具有新
: 的意义的东西。

☆─────────────────────────────────────☆
   ILoveSor (混沌庇护所->向毁灭的王座进军！) 于  (Mon May 29 19:15:44 2006)  提到:

汗这句话
【在 Knuthocean (knuthocean@SKLSE) 的大作中提到: 】
: “天下的东西一大抄”嘛，所有的知识都是互相用嘛，

☆─────────────────────────────────────☆
   lbla (ISS2000) 于  (Tue May 30 00:14:56 2006)  提到:

这个方向不错的
我现在有幸进入了这个领域
你要是读研的话，最好加深一点数学功底，统计学方面的东西
给几个网站你看看吧

http://www.dwway.com/

http://groups.google.com/group/ttnn
【在 leonlux (堂郎) 的大作中提到: 】
: 本人研究生的方向，但现在一点都不懂……

☆─────────────────────────────────────☆
   ILoveSor (混沌庇护所->向毁灭的王座进军！) 于  (Tue May 30 09:43:34 2006)  提到:

楼上的是？
【在 lbla (ISS2000) 的大作中提到: 】
: 这个方向不错的
: 我现在有幸进入了这个领域
: 你要是读研的话，最好加深一点数学功底，统计学方面的东西
: ...................

☆─────────────────────────────────────☆
   leonlux (堂郎) 于  (Tue May 30 16:07:21 2006)  提到:

感觉是要数学基础好，而且好像还要离散那个鬼东东也要好。

【在 lbla (ISS2000) 的大作中提到: 】
: 这个方向不错的
: 我现在有幸进入了这个领域
: 你要是读研的话，最好加深一点数学功底，统计学方面的东西
: ...................

☆─────────────────────────────────────☆
   oyljerry (勇敢的心→㊣如果·爱㊣√考验什么……) 于  (Tue May 30 17:41:06 2006)  提到:

嗯，数学应该要求还是比较高
【在 leonlux (堂郎) 的大作中提到: 】
: 感觉是要数学基础好，而且好像还要离散那个鬼东东也要好。

[返回单文区目录]