我曾经跟一位美国零售集团的高管交流，得知数年前当传统零售业已经意识到电子商务所带来的威胁时，除了大量招聘数据科学家之外，第一件事情就是去收集线上对手大量的实时商品数据。经历了几年后，如今美国的大型零售公司都已经具备选品、动态定价及多终端多渠道的管理能力。为了支持每一秒钟与对手的竞争，你可以想象收集更广更实时数据的重要性，即便是一个简单的天气变化都有可能让你当前商品的竞争力落后于对手。
兵法云：“知己知彼，百战不殆”，对于企业应该如何使用数据，这一句是最贴切的。当很多公司来问我该怎么使用数据的时候，我必然会告诉他用数据了解自己(知己）是使用数据的第一步。第二步就是用数据来了解竞争对手（知彼），并从对手的动态变化中做出攻守判断。大数据的首要关键就在于如何量化数据大小与决策好坏的关系。
你可能会问这么高难度的事情，小企业如何跟得上呢？好消息是，在这几年中，美国的大数据生态已经逐步走向平民化。
最近美国一家专注数据收集爬取的公司就让我眼前一亮。这家公司叫做Import.io，曾被多次评选为最佳创业公司。因为互联网是世界上最大的开放数据源。通过他们的工具， 用户可以瞬间将任何网站转化为数据表格或API. Import.io每天从互联网上搜集千万条记录， 至今已经从30万个网站上收集了上千亿条数据记录。Import.io在同类公司中技术领先。目前该工具对个人用户免费开放， 对企业用户则源源不断地提供大规模，定制化，并有质量保证的数据。
让我感到兴奋的是，他们把釆集半结构化数据这项本来只有技术工程师才能做的事变成了人人都可使用的平民化服务。而健康的大数据生态应该是可以让数据从收集、加工到应用的各个环节变得越来越精细，整个数据处理的过程形成一个互惠互利的产业链，大家都在大数据的海洋中共同分工协作。
我们不得不赞叹美国大数据产业链的发达。在这样一个发达的数据产业链中，有人做数据的中间层，比如把天气跟零售的数据关联起来给需要的人使用；有人把机器学习的门槛降低，变成MLS(Machine Learning as a Service)，让不懂数据的人也具备数据学习的能力；也有人把数据可视化变得简单易用的工具。Import.io这样的公司就把数据收集变成水电煤一样每个人都能使用的服务。
虽然大数据从原始数据到加工到使用是很长的链条，但如果有好的数据生态和产业链，每个人专注其中的一个环节，各司其职，分工协作，就能把数据的价值发挥到最大。希望在不远的将来，中国也能跟美国一样，早日建立丰富完整的数据产业链。
【本文发表于香港信报，作者：车品觉】
更多阅读：
