当前位置: 首页>> >>正文
谈国内互联网:大数据常识和经验
2015-01-26 11:36:00 作者:网络 浏览次数:1660 标签: 舆情监测平台 网络舆情监测 舆情监测哪家好

数据库技术兴起的时候,那个时候连foxbase都很抢手,历史证明了真正带给人们价值的不是数据库,而是ERP。IBM整个软件体系不怎么搞应用,搞得都是基础,db2,websphere,rational,tivoli,lotus,结果一败涂地,这可是很近的历史事实了。我做个比较:

►  db2-mysql
  ►  websphere-nginx
  ►  rational-那个UML其实没什么大的作用,并且各种替代品
  ►  tivoli-各种存储,廉价硬盘就能把tivoli替代了
  ►  lotus-openoffice,并且支持智能手机

当年IBM对这一套底气很足的,我记得一篇报道说,人家IBM承诺不做应用,意思是不和自己的合作伙伴竞争搞应用软件。

接着说大数据,我曾经去过一家公司面试,我当时是搞数据库的,感觉那个职位自己应该是胜任的,结果面试官一上来就问,你知道哪些数据仓库的模型?我一听就傻了。搞得好像hadoop一出,数据库就被秒杀了一样。

hadoop本质来说仅仅是个存储模型,这个存储模型附带有一种计算模型(map/reduce),国人一上来可能比较生疏,但是hadoop仅仅是个基础模型。

hadoop的存储模型本质来说其难度没有超过数据库的难度,加上计算模型也一样。

历史告诉我们的结论是,hadoop作为基础结构没有价值。

那什么是有价值的?只有说当你的业务存在时间维度上的价值的时候,hadoop这个模型才有价值。有时间维度的业务不多,真的。对于一家互联网公司来说,半衰期大约=5年,甚至更短。也就是说,5年后,市面上的新兴的这些互联网/移动互联网公司要去掉一半。这其实是个很保守的数字了。5年根本谈不上你的数据还要有什么时间维度上的操作。再看看电子商务,网上是一些比较新潮的商品,5年之后早就更新换代好几批了,也就是说相对于公司的半衰期,商品的半衰期更短。

其实真正具有时间维度上的要求的数据是金融数据,然后就是搜索引擎,再次是电子商务,进入移动时代,数据是移动的,数据瞬间消失的就跟那个玻色子一样。数据就是在K-V里面的,支付也是如此,数据过了有效期,那只能重新连接重来了,数据失效了,支付失败了,记录这个失败没有意义,及时处理支付失败才有意义,数据在时间维上不是越来越大,而是越来越小。

那大家为什么hadoop一哄而上?这个背后肯定是有推手的,目的就是让大家跟着倒霉,唯我独大。为什么这么说呢,因为这个hadoop技术是有陷阱的,这个陷阱就是java,历史告诉人们什么呢?

我这一代人,整个70后80后,黄金一代,毁在java手里。原因是什么,我也不知道。事实是什么,这个我经历了,就知道了。

现在说这个可不是什么经验之谈,这是常识之谈。打着数据挖掘/机器学习的招牌搞大数据,十有八九也会被大数据胡弄了。因为它的根底就比较浅。hadoop的根底浅,java技术毁人不倦,不满足业务上的半衰期。

然后再来说机器学习,很奇怪,hadoop根底浅,机器学习也跟着上不了什么很高的档次。我也去过一家公司面试,还是个上市公司,一进去直觉告诉我,这家公司已经不怎么地了。但是整个数据挖掘机器学习的面试,感觉很不爽。我大体上说一下,模式差不多。

统计基础+矩阵运算+SVM机器学习流派+信号识别(所谓深度学习)

公司已经快不怎么样了,这些机器学习的大师们拿着这一套好像就跟阳春白雪一样,自我剪裁一番配上大数据hadoop就无敌了。

就这些,核心还是贝叶斯模型,翻来覆去的贝叶斯模型。问题就是,贝叶斯模型真的比传统数据库的关系模型强吗?不是说一定是否定的,只要不是绝对肯定的,你的业务就跟着over了。问题是,人们需要哪家公司用自己的业务去检验贝叶斯模型?

只谈数据仓库,因为这是我觉得最容易入门、最有用、最难用好的技术之一。

出现数据仓库这概念的时候,貌似还没有hadoop呢。

数据仓库存储的是原始数据经过一定的业务、维度聚合获得的中间数据。模型价值很大,过去大数据处理都是先建立数据仓库模型。

若是做数据库不知道数据仓库、ETL技术,无论你用什么数据库,大数据量时都是有局限性的。

举个例子最简单的例子,你有用户的交易流水,每天24亿条新记录。你需要做个系统查询,统计一定天数的交易总金额。

那么,一个简单的数据仓库就是,每天计算一次前一天交易总额值后存在一张以天为单位的表里,这样每天计算一次,表每天增加一条记录。查询天交易总额是我只需要查询这张以天为单位的表就行了。通过这张天为单位的表,很快的计算周,月,年的数据统计。

这张表就是一个最简单的数据仓库,每天从原始数据计算这张表的过程就是ETL。

使用数据库的人一定使用或接触过数据仓库,只不过自己没意识到而已。

也许你会问如果我要查3天前~到现在9点20的总金额怎么办?这时我们只需要当天的原始数据(实时数据),在加上之前设计的中间表里3天的汇总数据即可。

一个良好的,持久稳定的,针对大量数据产品,必须有良好的数据仓库支持。

PS:现在大家都跟风追hadoop,领导觉得好非让你用,你也没办法。

毕竟现很多时候谈客户,别人都吹hadoop技术,你说你不用hadoop,绝对是你悲剧。

(部分文字、图片来自网络,如涉及侵权,请及时与我们联系,我们会在第一时间删除或处理侵权内容。电话:4006770986  邮箱:zhangming[at]eefung.com负责人:张明)

热门文章换一换
文章推荐换一换
舆情监测关注问题换一换
舆情监测公司排名 舆情分析 舆情管理 舆情监测系统 全网舆情监测系统 舆情监测 舆论 舆情监测平台 互联网舆情监测 舆情监控系统 舆情监测服务平台 热点舆情 网络舆情分析报告 舆论聚焦 中山大学张鹏 超强台风山竹 个人所得税起征点 微博传播分析 网红直播 手机舆情监测 做好舆情监控 舆情监测报价 网络热点事件 舆情搜索 舆情预警系统 近期舆情 舆情报告 舆情 免费舆情软件 舆情监测方案 舆情监测解决方案 舆情是什么意思 网络舆情监测 舆情案例分析 专业舆情监测 媒体舆情监测 药品安全事件 长春长生疫苗事件 洁洁良 乐清女孩 新浪微舆情 网络舆情分析报告 2019网络舆情事件 山东寿光水灾 社会舆情 舆情监测哪家好 舆情监测方法 舆情监测报价 新浪舆情 手机舆情监测 近期舆情 网红直播 舆情事件 免费舆情监测软件 社会舆情 网络舆情监测系统 舆情监测报告 舆情监测软件 网络舆情监测公司 互联网舆情监测系统 舆情监测分析 舆情监控前几大公司 网络舆情监控软件 网络舆情监控系统 舆情监控是什么意思 免费舆情监控 互联网舆情监控系统 网络舆情分析 舆情 政务舆情 什么是舆情 新华网舆情在线 舆情监控系统 互联网舆情分析 社区舆情信息 网络舆情信息 网络舆情分析系统 网络舆情管理 人民舆情监控 军犬网络舆情监控系统 舆情监控 涉警舆情 鹰击 鹰眼舆情
标签云 换一换
网上舆情 鹰眼速读网 鹰眼 鹰击早发现 鹰击 清博大数据舆情 蚁坊 互联网舆情监测 舆情格式 疫情舆情分析报告 舆情监测软件排名 抗疫英雄事迹舆情 虚假新闻 什么是舆情 舆情传播 舆情分析研判 互联网舆情 网络舆情网 如何网络舆情 2020年舆情报告 2020年舆情 社交媒体舆情 疫情舆情 医院舆情 舆论风险防范 热点监测 舆论监测软件 深度学习算法 机器学习 网络在线教学舆情 抗击疫情 疫情舆情分析 舆论分析 舆情公关 财经金融舆情监测 舆情事件 舆情案例 舆情系统 虐童事件 免费舆情监测软件 反转新闻 免费大数据平台有哪些 在线舆情监测 舆情监测哪家好 舆情监测方法 舆情监测报价 做好舆情监控 网红 微舆情 微博传播分析 舆情监测工具 传播路径分析 网红直播 舆情预警系统 近期舆情 手机舆情监测 全网舆情监测 新浪舆情 舆情搜索 网络热点事件 新华舆情 2019网络热词 网络流行语 在线监测软件 大数据分析工具 百度舆情监测 舆情监控前几大公司 数据分析软件有哪些 企业危机管理 315 网络舆情危机 网络舆情监测公司 中国食品药品安全舆情事件案例 社交新全媒体监测系统工具平台公司 网信办信息汇总 危机公关 政府舆情 舆情监测预警 舆情监测解决方案 互联网舆情监控系统 网络舆论监测 网络舆情分析系统 互联网舆情分析 舆情是什么意思 德云社 网络舆论分析 大数据舆情监测案例 互联网舆情监测平台 政府舆情监测系统 互联网舆情监测系统哪家好 网络社会热点舆情分析系统 舆情信息收集 假期舆情 媒体监测 数据监测 谣言传播 新闻舆情 舆情查询 舆情预警 网络热词 地方舆情 社会事件舆情分析 微博数据分析 地震舆情 民生舆情 舆情风险监测 高考舆情 政府舆情监测 舆情监测方案 舆情案例分析 网红舆情 舆情监测公司 2019舆情热点 舆情监测软件 舆情监测 社会舆论热点 犯罪舆情 科技舆情 股票舆情 月度舆情分析 消防舆情 舆情信息分析 航空舆情 微信舆情监测 民航舆情 舆情数据分析 消费舆情 环境舆情 人物舆情 公益舆情 食品舆情 新媒体舆情 新媒体舆情监测 感动中国 学校舆情 舆情监测平台 大数据舆情 大数据舆情分析 影视舆情 舆论监督 2019舆情 网络舆情监测 2018舆情事件盘点 2018舆情报告 舆情监测服务商 免费舆情监测系统 舆情报告 负面舆情 舆情分析 舆情研判 舆论监测 校园舆情 舆情热点事件 公共事件舆情 雾霾舆情 蚁坊软件 高校舆情 港澳台舆情 媒体舆情 涉军舆情 涉法舆情 拆迁舆情 网络舆情 舆情反转 旅游舆情 反腐舆情 海外舆情 信息惠民 灾害舆情 应急管理 智慧城市 体育舆情 景区舆情 媒体舆论 娱乐舆情 检察舆情 舆情管理 政务舆情 税务舆情 强拆舆情 司法舆情 舆情研究 交通舆情 企业舆情 法院舆情 舆情指数 政策舆情 舆情汇总 会议舆情 医疗舆情 环保舆情 涉警舆情 明星舆情 社会舆情 教育舆情