|
互联网数据存储的的优缺点 互联网的发展,产生的数据越来越多，不仅包括结构化的可以存储在数据库中的数据，也包括网页、电子邮件、短信、微博、日志等半结构化、非结构化的数据。互联网上，每天推特发布消息约3.4亿条，新浪微博用户发博量超过1亿条，百度大约要处理数十亿次搜索请求，淘宝网站的交易达数千万笔，联通的用户上网记录一天达到10TB(1TB=1024GB)。这一切表明，大数据时代已经到来！
什么是大数据哪？看一下大数据的4V特点吧。
Volume容量大，只有几(十)GB的数据不能称为大数据，这样的数据在传统的RDBMS中就可以处理。当数据达到几百GB，甚至TB级别时，RDBMS甚至数据仓库就处理不了了，这就是大数据。
Variety 类型多样，数据的异构(不同的数据结构)、多样也是大数据的特点，比如日志、文本、word、pdf、ppt、excel、jpg、gif、avi等各种图、文、音频、视频文件。这些文件类型是传统的RDBMS处理不了的，也没有办法检索、分析。
Velocity访问迅速，数据是企业的命脉，数据必须被快速处理，这正是传统的RDBMS的优势所在。但是在海量数据面前，RDBMS就无能为力了。
Value价值密度低，最有价值的数据已经被转换处理为结构化数据，存储在数据库、数据仓库中。对于海量的价值密度低的大数据，向来不是数据库关注的对象。但是海量的大数据并不是没有价值的，比如长尾理论、“啤酒与尿布”，都是基于大数据产生的商业价值。因此提炼大数据中的商业价值是一个企业新的增长点，被越来越多的企业重视。
上面的4V带来了大数据的难以存储、难以管理、难以利用的难题。怎么办？hadoop出场了！
现在，国际互联网巨头，如谷歌、雅虎、推特、脸谱等都已经使用大数据。其中谷歌就是鼻祖。在国内，hadoop的应用也越来越多，互联网公司如百度、淘宝、腾讯、新浪、搜狐早在多年前就已经在处理大数据。传统的行业，如电信、金融、银行等也开始重视大数据的商业价值。
这么多的企业在使用大数据，那么对大数据人才的渴求越来越强烈，但是懂hadoop的人才却非常少。因此这类人的薪水是相当高的。下图是我在前程无忧招聘网站查询hadoop职位时得到的搜索结果，可以看到大部分职位的月薪都在10k以上。月薪超过20k的职位也有很大比重。 想别错过我，就关注我。。。。。 为什么要学习Hadoop？ 随着云计算、大数据迅速发展，需用Hadoop解决大数据量高并发访问的瓶颈。谷歌、淘宝、百度、京东等底层都应用Hadoop。越来越多的企业急需引入Hadoop技术人才。由于掌握Hadoop技术的开发人员并不多，直接导致了这几年Hadoop技术的薪水远高于JavaEE及Android程序员。
Hadoop入门薪资已经达到了8K以上，工作1年可达到1.2W以上，具有2-3年工作经验的hadoop人才年薪可以达到30万—50万。一般需要大数据处理的公司基本上都是大公司，所以学习Hadoop技术也是进大公司的捷径！
请记住，您以最低成本创高薪收入的最好捷径，大数据处理是未来IT业必须掌握的技术。
请记住，如果您从事互联网开发行业又要获得比较高的收入，Hadoop技术绝对是最好的选择。
文件包目录：
| 
发表于 2014-10-29 19:41:06
发表于 2015-1-11 21:53:59
