数据仓库分类及开发模式？

一、数据仓库分类及开发模式？

数据仓库的开发策略主要有自顶向下、自底向上和这两种策略的联合使用。自顶向下策略在实际应用中比较困难，因为数据仓库的功能是一种决策支持功能。这种功能在企业战略的应用范围中常常是很难确定的，因为数据仓库的应用机会往往超出企业当前的实际业务范围，而且在开发前就确定目标，会在实现预定目标后就不再追求新的应用，是数据仓库丧失更有战略意义的应用。由于该策略在开发前就可以给出数据仓库的实现范围，能够清楚地向决策者和企业描述系统的收益情况和实现目标，因此是一种有效的数据仓库开发策略。该方法使用时需要开发人员具有丰富的自顶向下开发系统的经验，企业决策层和管理人员完全知道数据仓库的预定目标并且了解数据仓库能够在那些决策中发挥作用。 自底向上策略一般从某个数据仓库原型开始，选择一些特定的为企业管理人员所熟知的管理问题作为数据仓库开发的对象，在此基础上进行数据仓库的开发。因此，该策略常常用于一个数据集市、一个经理系统或一个部门的数据仓库开发。该策略的优点在于企业能够以较小的投入，获得较高的数据仓库应用收益。在开发过程中，人员投入较少，也容易获得成效。当然，如果某个项目的开发失败可能造成企业整个数据仓库系统开发的延迟。该策略一般用于企业洗碗对数据仓库的技术进行评价，以确定该技术的应用方式、地点和时间，或希望了解实现和运行数据仓库所需要的各种费用，或在数据仓库的应用目标并不是很明确时，数据仓库对决策过程影响不是很明确时使用。 在自顶向下的开发策略中可以采用结构化或面向对象的方法，按照数据仓库的规划、需求确定、系统分析、系统设计、系统集成、系统测试和系统试运行的阶段完成数据仓库的开发。而在自底向上的开发中，则可以采用螺旋式的原型开发方法，使用户可以根据新的需求对试运行的系统进行修改。螺旋式的原型开发方法要求在较短的时间内快速的生成可以不断增加功能的数据仓库系统，这种开发方法主要适合于这样一些场合：在企业的市场动向和需求无法预测，市场的时机是实现产品的重要组成部分，不断地改进对与企业的市场调节是必需的；持久的竞争优势来自连续不断地改进，系统地改进是基于用户在使用中的不断发现。 自顶向下和自底向上策略的联合使用具有两种策略的优点，既能快速的完成数据仓库的开发与应用，还可建立具有长远价值的数据仓库方案。但在实践中往往难以操作，通常需要能够建立、应用和维护企业模型、数据模型和技术结构的、具有丰富经验的开发人员，能够熟练的从具体（如业务系统中的元数据）转移到抽象（只基于业务性质而不是基于实现系统技术的逻辑模型）；企业需要拥有由最终用户和信息系统人员组成的有经验的开发小组，能够清楚地指出数据仓库在企业战略决策支持中的应用。

二、数据仓库的开发过程什么意思？

就是你那一个数据仓库，你如何创造开发的所有全部历程。

三、如何构建高效的大数据仓库与开发策略

引言

在当今的信息时代，**大数据**成为推动企业改革和发展的重要动力。如何有效地管理和利用这些数据，构建出一个强大且灵活的**大数据仓库**，是每个企业面临的挑战。本文将深入探讨如何构建高效的大数据仓库以及相应的大数据开发策略，为企业提供实用的建议与方法。

大数据仓库的概念

**大数据仓库**是一个集成多种数据源的数据管理系统，旨在为分析和报告提供支持。与传统数据仓库相比，大数据仓库具备处理海量数据、实时 数据处理、支持多种数据类型（如结构化、半结构化和非结构化数据）等优势。

构建大数据仓库的步骤

构建一个高效的大数据仓库需要经过以下几个步骤：

• 需求分析：明确业务需求和分析目标，以确定仓库需要处理的数据类型和数据量。
• 数据建模：设计数据模型以合理组织和存储数据，通常采用星型模型或雪花模型，以提高查询性能。
• 数据集成：从多个数据源提取必要数据，清洗和转换数据后加载到数据仓库。
• 架构设计：选择适合的技术架构，包括数据存储、计算资源和网络架构等，以确保系统的可扩展性和灵活性。
• 实施与测试：在开发环境中进行系统的实施和测试，确保数据流转和业务逻辑的正确性。
• 上线与维护：将系统上线，并定期进行维护和优化，以保障系统的稳定性与可靠性。

选择合适的大数据技术

在大数据仓库的构建过程中，选择恰当的**大数据技术**尤为重要。以下是一些当前流行的大数据技术解决方案：

• Apache Hadoop：一个开源软件框架，用于处理和存储海量数据，提供分布式存储和处理能力。
• Apache Spark：一个通用的集群计算框架，支持高速数据处理，适合实时数据分析。
• Amazon Redshift：一种完全托管的云数据仓库服务，支持快速查询和数据存储。
• Google BigQuery：一种企业级的数据仓库，利用Google的基础设施进行分析和存储，具有高效的查询能力。

大数据开发策略

在构建大数据仓库的同时，我还需要制定有效的大数据开发策略，确保数据开发的高效性和质量。以下是一些最佳实践：

• 敏捷开发：采用敏捷开发方法论，快速交付和迭代开发，以便能够灵活应对需求变化。
• 持续集成：建立持续集成的开发环境，自动化测试和构建，提高开发的效率和代码的质量。
• 数据质量管理：实施数据质量管理流程，确保数据的准确性和完整性，减少数据错误对分析结果的影响。
• 安全性与合规性：在数据开发中考虑到安全与合规性问题，确保数据存储和处理符合相关法规。

大数据仓库的未来趋势

随着技术的不断发展，大数据仓库也面临着新的挑战与机遇。以下是一些未来趋势：

• 云化：越来越多的企业将数据仓库迁移到云端，以提高操作灵活性、可扩展性与成本效益。
• 实时数据处理：实时数据分析需求日益增强，传统数据仓库将更多地采用流处理技术。
• 集成AI技术：通过引入人工智能技术，对数据进行自动化分析，提高决策的智能化。
• 数据治理：加强数据治理和数据安全的管理机制，确保数据资产的合理利用。

总结

构建高效的**大数据仓库**与合理的大数据开发策略对每个追求数据驱动发展的企业而言，显得至关重要。希望通过本文的介绍，能够帮助您更好地理解大数据仓库的构建过程、所需技术以及开发策略的制定。

感谢您阅读完这篇文章，希望您能通过这些信息提升对大数据管理的认识与实践，为未来的数据分析与决策提供宝贵的支持。

四、软件开发与大数据开发区别？

两者完全不同！软件开发是根据需求（业务或个人），通过编程创建出一套可以满足需求或是解决问题的系统方案；而大数据开发是对“数据本身”的再次应用，主要是对系统方案所采集的数据，加以分类，分析，储存，挖掘，进而对决策者呈现及时准确的决策支撑。两者之间有先后的关联。

五、BI，数据仓库，ETL，大数据开发工程师有什么区别？

这几个职位都是跟数据有关的工作。BI 是商业智能，职位包括etl,数据仓库，数据展示工作。数据仓库，是按设定好的一种数据库模型ETL，负责清洗原始数据的一个过程，清洗完之后将数据加载至数据仓库。

大数据开发，数据量较大，上千万乃至亿级的数据量开发

六、数据集体与数据仓库的区别？

数据集体和数据仓库是有区别的，数据集体是指对于数据的内容方面，它的界定，而数据仓库是对于数据存储方面，它的界定。

七、数据开发前景？

前景非常不错的。现在就会处于大数据时代啊，对大数据开发工程师的需求真的挺大的，总的来说，只要本领过硬，发展前景非常nice的。大数据开发是这个时代刚兴起不久的行业，经常进行数据更新，从长远来看，大数据行业只要存在，就需要大数据开发工程师

八、BI开发和数据开发的区别？

bi是对数据进行分析统计。数据开发是对隐藏的数据进行分析开发。

九、hadoop大数据与开发区别？

　　区别于过去的海量数据，大数据的特点可以概况为4个V：Volume、Variety、Value和Velocity，即大量、多样、价值密度低、快速。

　　第一，数据体量大。大数据一般指在10TB(1TB=1024GB)规模以上的数据量，目前正在跃升到PB(1PB=1024TB)级别。不仅存储量大，计算量也大。

　　第二，数据类型多。除了数值数据，还有文字、声音、视频等，包括网络日志、视频、图片、地理位置信息等多种类型的格式。由于数据来自多种数据源，数据种类和格式日渐丰富，已冲破了以前所限定的结构化数据范畴，囊括了半结构化和非结构化数据。

　　第三，价值密度低。以视频为例，不间断监控视频中，有价值的数据可能仅有一两秒。找到有价值的信息有如沙里淘金，其价值却又弥足珍贵。

　　第四，处理速度快。在数据量非常庞大的情况下，也能做到数据的实时处理。这一点和传统的数据挖掘技术有着本质的不同。

　　大数据技术是指从各种类型的大体量数据中快速获得有价值信息的技术。这是大数据的核心问题。目前所说的大数据不仅指数据本身的规模，也包括采集数据的工具、平台和数据分析系统。大数据研发的目的是发展大数据技术并将其应用到相关领域，通过解决大体量数据处理问题促进其突破性发展。因此，大数据时代带来的挑战不仅体现在如何处理大体量数据并从中获取有价值的信息，也体现在如何加强大数据技术研发。大数据所涉及的关键技术大致包括6个方面：数据采集与数据管理、分布式存储和并行计算、大数据应用开发、数据分析与挖掘、大数据前端应用、数据服务和展现。

　　2大数据与Hadoop

　　大数据技术正在向各行各业渗透。Hadoop作为数据分布式处理系统的典型代表，已经成为该领域事实的标准。但Hadoop并不等于大数据，它只是一个成功的处理离线数据的分布式系统，大数据领域还存在众多其他类型的处理系统。

　　伴随大数据技术的普及，Hadoop因其开源的特点和卓越的性能成为一时的新宠，甚至有人认为大数据就是Hadoop，其实这是一个误区。Hadoop只是处理离线数据的分布式存储和处理系统。除了Hadoop，还有用于处理流数据的Storm、处理关系型数据的Oracle、处理实时机器数据的Splunk……目前主流的大数据系统很多，Hadoop只是其中的代表。

十、数据仓库与hdfs的关系？

Hive 是一个基于 Hadoop 文件系统之上的数据仓库架构，存储用hdfs，计算用mapreduce