数据科学中关键字是“科学”而非“数据”

2015-11-18

我的一个同事刚刚参加了一个会议，会上看到一个使用数据来解决问题的报告，其中数据并不大。演讲者声称他们的数据是“大数据”，但一个听众就给他指出：“好吧，你数据才X GB，那也不算多大阿。。。”

虽然上面的这个问题会让很多从事与数据相关的人们很难看，我却认为它会突出一个关于数据科学的关键问题之一。大多数人夸大了前面一个词“数据”的重要性。他们关心volume和velocity或者其他描述数据超过了excel能处理的规模的关键词。这种对于数据规模的夸大导致了对于数据分析工具的夸大。人们成天把EC2、Hadoop、Pig挂在嘴边，对于是使用Python还是R不断争论。

但是，数据科学（data science）中更为重要的词是科学（science）而不是数据（data）。数据科学只有在能够使用数据来回答一个问题的时候才发挥作用。这就是科学的部分。这种有关数据科学的观点比数据的规模或者工具更难。其实，比起计算数据的大小，或者说“告诉别人我的数据比你的更大”，又或者问“我可以在Hadoop上编码，你行不？”，更恰当的是：“我这个问题相当棘手，我能使用自己的数据来解决它么？”

相比着重数据规模/工具，关注科学更困难的原因：

John Tukey的观点：“一些数据和需要解决的痛点问题的组合并不能一定能从给定的数据产生一个合理的结论”。你可能有100 GB的数据，但仅有那3 KB的数据是对回答问题起到作用的。

当你从一个问题开始时，你经常会发现自己需要搜集新的数据或者设计一个实验来确定自己获得了正确的回答。

在数据集中找到“结构”或“网络”是很简单的，当数据量到一定规模的时候，总有若干的原因会使得数据项之间的相关性出现。理解这些相关性和对于具体的、有趣的问题之间的关系更加困难。

这些在首趟发现的结构经常是由某个现象（如测量误差、实验假象、数据处理）产生的，而这些发现并不能回答我们关心的问题。

如果数据科学只是关于“数据”而不是“科学”，那么对于大数据的炒作很快会停息（目前已经是这样了）。数据科学长久的影响将会由我们可以回答的科学问题来度量。