您的位置 主页 正文

大数据的发展历程?

一、大数据的发展历程? 大数据发展历程可以追溯到20世纪90年代,但真正的突破性进展是在21世纪初。以下是大数据发展历程的几个关键阶段: 萌芽期(20世纪90年代到21世纪初):在

一、大数据的发展历程?

大数据发展历程可以追溯到20世纪90年代,但真正的突破性进展是在21世纪初。以下是大数据发展历程的几个关键阶段:

萌芽期(20世纪90年代到21世纪初):在这个阶段,数据库技术逐渐成熟,数据挖掘理论也开始形成。随着数据量的不断增加,人们开始意识到数据的重要性,并开始尝试利用数据挖掘技术来分析和利用数据。

突破期(2003年-2006年):在这个阶段,社交网络的流行导致大量非结构化数据的出现,传统数据处理方法难以应对。为了解决这个问题,人们开始重新思考数据处理系统和数据库架构,大数据的概念逐渐形成。

成长期(2006年-2009年):在这个阶段,大数据开始形成并行计算和分布式系统,为大数据的成熟发展奠定了基础。同时,一些商业智能工具和知识管理技术也开始被应用,大数据的应用范围不断扩大。

成熟期(2010年至今):在这个阶段,随着智能手机和物联网的普及,数据碎片化、分布式、流媒体特征更加明显,移动数据急剧增长。大数据的概念开始风靡全球,各种大数据技术和应用不断涌现,大数据已经成为信息化社会的重要基础设施。

总的来说,大数据的发展历程是一个不断演进的过程,随着技术的不断进步和应用场景的不断扩展,大数据将会在未来发挥更加重要的作用。

二、亚马逊大数据的发展历程?

“大数据”出现阶段(1980-2008年)

“大数据”热门阶段(2009-2011年)

“大数据”时代特征阶段(2012-2016年)

“数据就是力量”,这是亚马逊的成功格言。EKN研究的最新报告显示,80%的电子商务巨头都认为亚马逊的数据分析成熟度远远超过同行。亚马逊利用其20亿用户账户的大数据,通过预测分析140万台服务器上的10个亿GB的数据来促进销量的增长。亚马逊追踪你在电商网站和APP上的一切行为,尽可能多地收集信息。你可以看一下亚马逊的“账户”部分,就能发现其强大的账户管理,这也是为收集用户数据服务的。主页上有不同的部分,例如“愿望清单”、“为你推荐”、“浏览历史”、“与你浏览过的相关商品”、“购买此商品的用户也买了”,亚马逊保持对用户行为的追踪,为用户提供卓越的个性化购物体验。

三、大模型发展历程?

大模型的发展可以追溯到20世纪80年代。当时的神经网络模型只有几层,训练数据也很少。直到20世纪90年代,随着计算机技术的不断发展,神经网络模型的深度和训练数据的规模也逐渐增加。

2006年,Hinton等人提出了深度置信网络(Deep Belief Networks),这是一种多层神经网络模型,可以通过无监督学习进行预训练。这一突破为大模型的发展奠定了基础。

随后,2012年,Hinton等人在ImageNet图像分类竞赛中使用了深度卷积神经网络(Deep Convolutional Neural Network,简称CNN)取得了巨大成功。这一成果引发了对深度学习的广泛兴趣和研究热潮。

随着深度学习模型的发展,大模型的训练数据和算力需求也越来越大。为了应对这一挑战,2012年,Google公司推出了Google Brain项目,该项目旨在研究和开发大规模神经网络模型。Google Brain团队在2014年提出了Inception模型,该模型在ImageNet竞赛中取得了优异的成绩。

2014年,Google发布了用于分布式训练的深度学习框架TensorFlow,为大模型的训练提供了强大的工具支持。此后,各种大型深度学习模型相继涌现,如ResNet、BERT、GPT等,这些模型在图像识别、自然语言处理等领域取得了重大突破。

随着硬件技术的不断进步,如GPU和TPU的发展,以及云计算的普及,大模型的训练和部署变得更加可行和高效。目前,大模型已经成为深度学习领域的重要研究方向,并在各个领域展现出巨大的潜力和应用前景。

四、Hadoop大数据框架的发展历程?

Hadoop的主要发展历程:

  · 2008年1月,Hadoop成为Apache顶级项目。

  · 2008年6月,Hadoop的第一个SQL框架——Hive成为了Hadoop的子项目。

  · 2009年7月 ,MapReduce 和 Hadoop Distributed File System (HDFS) 成为Hadoop项目的独立子项目。

  · 2009年7月 ,Avro 和 Chukwa 成为Hadoop新的子项目。

  · 2010年5月 ,Avro脱离Hadoop项目,成为Apache顶级项目。

  · 2010年5月 ,HBase脱离Hadoop项目,成为Apache顶级项目。

  · 2010年9月,Hive脱离Hadoop,成为Apache顶级项目。

  · 2010年9月,Pig脱离Hadoop,成为Apache顶级项目。

  · 2010年-2011年,扩大的Hadoop社区忙于建立大量的新组件(Crunch,Sqoop,Flume,Oozie等)来扩展Hadoop的使用场景和可用性。

  · 2011年1月,ZooKeeper 脱离Hadoop,成为Apache顶级项目。

  · 2011年12月,Hadoop1.0.0版本发布,标志着Hadoop已经初具生产规模。

  · 2012年5月,Hadoop 2.0.0-alpha版本发布,这是Hadoop-2.x系列中第一个(alpha)版本。与之前的Hadoop-1.x系列相比,Hadoop-2.x版本中加入了YARN,YARN成为了Hadoop的子项目。

  · 2012年10月,Impala加入Hadoop生态圈。

  · 2013年10月,Hadoop2.0.0版本发布,标志着Hadoop正式进入MapReduce v2.0时代。

  · 2014年2月,Spark开始代替MapReduce成为Hadoop的默认执行引擎,并成为Apache顶级项目。

  · 2017年12月,继Hadoop3.0.0的四个Alpha版本和一个Beta版本后,第一个可用的Hadoop 3.0.0版本发布。

五、ieee数据库的发展历程?

IEEE/IEE Electronic Library(IEL)数据库提供1988年以来、美国电气电子工程师学会(IEEE)和英国电气工程师学会(IEE)出版的207种期刊、6279种会议录、1496种标准的全文信息,包括947,413篇文章(截止到2003年6月25日)、2,350,000 页PDF文件和500,000位作者。用户通过检索可以浏览、下载或打印与原出版物版面完全相同的文字、图表、图像和照片的全文信息。

IEEE和IEE作为世界知名学术机构,多年来一直致力于出版有深度的高质量出版物,IEL数据库包含了二者的所有出版物,其内容计算机、自动化及控制系统、工程、机器人技术、电信、运输科技、声学、纳米、新材料、应用物理、生物医学工程、能源、教育、核科技、遥感等许多专业领域位居世界第一或前列。

六、大数据的含义和发展历程?

大数据是指规模巨大、类型繁多的数据集合,这些数据集合无法使用常规软件工具在合理时间内进行捕捉、管理和处理。大数据的“大”通常指的是数据量的大小,但同时也涉及数据的多样性和处理速度。

大数据的发展历程:

早期阶段:在计算机科学和信息技术的发展初期,数据主要是以结构化形式存在,如数据库中的数据。这个阶段的数据处理相对简单,因为数据规模和复杂性有限。

互联网的兴起:随着互联网的普及,数据的产生和收集变得前所未有地容易。社交媒体、电子商务、在线服务等产生了大量的非结构化数据,如文本、图片、视频等。

大数据概念的形成:2000年代初期,“大数据”这个词开始流行,用来描述那些超出传统数据处理能力范围的数据集合。2005年,计算机科学家Hilbert和López在《科学》杂志上发表的文章中提出了“大数据”这一概念。

技术的进步:为了处理和分析大数据,各种新技术和新工具被开发出来,如分布式计算框架Hadoop、NoSQL数据库、数据挖掘和机器学习算法等。

应用的扩展:大数据开始被广泛应用于各个领域,包括商业智能、城市管理、健康医疗、环境保护、金融服务等。企业和组织开始利用大数据来提高效率、优化决策和创造新的商业价值。

数据隐私和安全问题:随着大数据技术的发展,数据隐私和安全的问题越来越受到关注。各国政府和国际组织开始制定相关的法律法规,以保护个人隐私和数据安全。

数据治理和伦理:数据治理成为了一个重要议题,涉及数据的所有权、使用权、质量控制、合规性等。同时,数据伦理也开始受到重视,如何公正、透明地使用数据成为了讨论的焦点。

总的来说,大数据的发展历程反映了信息技术和社会需求的不断变化。随着技术的进步,大数据将继续在各行各业中发挥重要作用,同时也将面临新的挑战和机遇。

七、ieee数据库发展历程?

IEEE的前身AIEE(美国电气工程师协会)和IRE(无线电工程师协会)成立于1884年。

IEEE的兴趣主要是有线通讯(电报和电话),照明和电力系统。IRE关心的多是无线电工程,它由2个更小的组织组成, 无线和电报工程师协会和无线电协会。

随着1930年代电子学的兴起, 电气工程大抵上也成了IRE的成员,但是电子管技术的应用变得如此广泛以至于IRE和AIEE领域边界变得越来越模糊。

二战以后,两个组织竞争日益加剧1961年两个组织的领导人果断决定将二者合并,终于1963年1月1日合并成立IEEE。

IEEE/IEE Electronic Library(IEL)数据库提供1988年以来、美国电气电子工程师学会(IEEE)和英国电气工程师学会(IEE)出版的207种期刊、6279种会议录、1496种标准的全文信息,包括947,413篇文章(截止到2003年6月25日)、2,350,000 页PDF文件和500,000位作者。用户通过检索可以浏览、下载或打印与原出版物版面完全相同的文字、图表、图像和照片的全文信息。

八、美国大数据发展历程?

1、大数据的发展历程

2008年被《自然》杂志专刊提出了BigData概念

萌芽阶段:

20世纪90年代到21世纪的样子,数据库技术成熟,数据挖掘理论成熟,也称数据挖掘阶段。

突破阶段:

2003——2006年,非结构化的数据大量出现,传统的数据库处理难以应对,也称非结构化数据阶段。

成熟阶段:

2006——2009年,谷歌公开发表两篇论文《谷歌文件系统》和《基于集群的简单数据处理:MapReduce》,其核心的技术包括分布式文件系统GFS,分布式计算系统框架MapReduce,分布式锁Chubby,及分布式数据库BigTable,这期间大数据研究的焦点是性能,云计算,大规模的数据集并行运算算法,以及开源分布式架构(Hadoop)

应用阶段:

2009年至今,大数据基础技术成熟之后,学术界及及企业界纷纷开始转向应用研究,2013年大数据技术开始向商业、科技、医疗、政府、教育、经济、交通、物流及社会的各个领域渗透,因此2013年也被称为大数据元年。

九、东亚大裂谷的发展历程?

东非大裂谷的形成经历了漫长的时间,其下陷开始于渐新世,主要地断裂运动发生于中新世,大幅度错动时期则是从上新世一直延续到第四纪。

其北段形成红海,而红海又将阿拉伯半岛与非洲大陆分离;同时在几条活动裂谷扩张的作用下,也使得马达加斯加岛与非洲大陆分裂开。

十、知网数据库的发展历程?

中国知网,是国家知识基础设施(NationalKnowledgeInfrastructure,NKI)的概念,由世界银行于1998年提出。CNKI工程是以实现全社会知识资源传播共享与增值利用为目标的信息化建设项目,由清华大学、清华同方发起,始建于1999年6月。在党和国家领导以及教育部、中宣部、科技部、新闻出版总署、国家版权局、国家计委的大力支持下,在全国学术界、教育界、出版界、图书情报界等社会各界的密切配合和清华大学的直接领导下,CNKI工程集团经过多年努力,采用自主开发并具有国际领先水平的数字图书馆技术,建成了世界上全文信息量规模最大的"CNKI数字图书馆",并正式启动建设《中国知识资源总库》及CNKI网格资源共享平台,通过产业化运作,为全社会知识资源高效共享提供最丰富的知识信息资源和最有效的知识传播与数字化学习平台。 这个网站对于学生,研究生还有很对从事教学和科研的人来说,是经常浏览的一个网站,很不错。可以从上面下载到很多有用的文献,数据库很丰富。不错一般得注册会员,还得付费

为您推荐

返回顶部