admin 一、大数据关键技术有哪些？
大数据关键技术涵盖数据存储、处理、应用等多方面的技术，根据大数据的处理过程，可将其分为大数据采集、大数据预处理、大数据存储及管理、大数据处理、大数据分析及挖掘、大数据展示等。
二、传统数据采集的关键技术有哪些？
大数据处理关键技术一般包括：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用（大数据检索、大数据可视化、大数据应用、大数据安全等）。
一、大数据采集技术
数据是指通过RFID射频数据、传感器数据、社交网络交互数据及移动互联网数据等方式获得的各种类型的结构化、半结构化（或称之为弱结构化）及非结构化的海量数据，是大数据知识服务模型的根本。
二、大数据预处理技术
主要完成对已接收数据的辨析、抽取、清洗等操作。1）抽取：因获取的数据可能具有多种结构和类型，数据抽取过程可以帮助我们将这些复杂的数据转化为单一的或者便于处理的构型，以达到快速分析处理的目的。2）清洗：对于大数据，并不全是有价值的，有些数据并不是我们所关心的内容，而另一些数据则是完全错误的干扰项，因此要对数据通过过滤“去噪”从而提取出有效数据。
三、大数据存储及管理技术
大数据存储与管理要用存储器把采集到的数据存储起来，建立相应的数据库，并进行管理和调用。重点解决复杂结构化、半结构化和非结构化大数据管理与处理技术。主要解决大数据的可存储、可表示、可处理、可靠性及有效传输等几个关键问题。
四、大数据分析及挖掘技术
大数据分析技术。改进已有数据挖掘和机器学习技术；开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术；突破基于对象的数据连接、相似性连接等大数据融合技术；突破用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术。
六、大数据展现与应用技术
大数据技术能够将隐藏于海量数据中的信息和知识挖掘出来，为人类的社会经济活动提供依据，从而提高各个领域的运行效率，大大提高整个社会经济的集约化程度。在我国，大数据将重点应用于以下三大领域：商业智能、政府决策、公共服务。
三、高级数据库，数据仓库有哪些关键技术？
一直想整理一下这块内容，既然是漫谈，就想起什么说什么吧。我一直是在互联网行业，就以互联网行业来说。先大概列一下互联网行业数据仓库、数据平台的用途：
整合公司所有业务数据，建立统一的数据中心；
提供各种报表，有给高层的，有给各个业务的；
为网站运营提供运营上的数据支持，就是通过数据，让运营及时了解网站和产品的运营效果；
为各个业务提供线上或线下的数据支持，成为公司统一的数据交换与提供平台；
分析用户行为数据，通过数据挖掘来降低投入成本，提高投入效果；比如广告定向精准投放、用户个性化推荐等；
开发数据产品，直接或间接为公司盈利；
建设开放数据平台，开放公司数据；
。。。。。。
上面列出的内容看上去和传统行业数据仓库用途差不多，并且都要求数据仓库/数据平台有很好的稳定性、可靠性；但在互联网行业，除了数据量大之外，越来越多的业务要求时效性，甚至很多是要求实时的 ，另外，互联网行业的业务变化非常快，不可能像传统行业一样，可以使用自顶向下的方法建立数据仓库，一劳永逸，它要求新的业务很快能融入数据仓库中来，老的下线的业务，能很方便的从现有的数据仓库中下线；
其实，互联网行业的数据仓库就是所谓的敏捷数据仓库，不但要求能快速的响应数据，也要求能快速的响应业务；
建设敏捷数据仓库，除了对架构技术上的要求之外，还有一个很重要的方面，就是数据建模，如果一上来就想着建立一套能兼容所有数据和业务的数据模型，那就又回到传统数据仓库的建设上了，很难满足对业务变化的快速响应。应对这种情况，一般是先将核心的持久化的业务进行深度建模（比如：基于网站日志建立的网站统计分析模型和用户浏览轨迹模型；基于公司核心用户数据建立的用户模型），其它的业务一般都采用维度+宽表的方式来建立数据模型。这块是后话。
整体架构下面的图是我们目前使用的数据平台架构图，其实大多公司应该都差不多：
逻辑上，一般都有数据采集层、数据存储与分析层、数据共享层、数据应用层。可能叫法有所不同，本质上的角色都大同小异。
我们从下往上看：
数据采集数据采集层的任务就是把数据从各种数据源中采集和存储到数据存储上，期间有可能会做一些简单的清洗。
数据源的种类比较多：
网站日志：
作为互联网行业，网站日志占的份额最大，网站日志存储在多台网站日志服务器上，
一般是在每台网站日志服务器上部署flume agent，实时的收集网站日志并存储到HDFS上；
业务数据库：
业务数据库的种类也是多种多样，有Mysql、Oracle、SqlServer等，这时候，我们迫切的需要一种能从各种数据库中将数据同步到HDFS上的工具，Sqoop是一种，但是Sqoop太过繁重，而且不管数据量大小，都需要启动MapReduce来执行，而且需要Hadoop集群的每台机器都能访问业务数据库；应对此场景，淘宝开源的DataX，是一个很好的解决方案（可参考文章 《异构数据源海量数据交换工具-Taobao DataX 下载和使用》），有资源的话，可以基于DataX之上做二次开发，就能非常好的解决，我们目前使用的DataHub也是。
当然，Flume通过配置与开发，也可以实时的从数据库中同步数据到HDFS
来自于Ftp/Http的数据源：
有可能一些合作伙伴提供的数据，需要通过Ftp/Http等定时获取，DataX也可以满足该需求;
其他数据源：
比如一些手工录入的数据，只需要提供一个接口或小程序，即可完成
数据存储与分析毋庸置疑，HDFS是大数据环境下数据仓库/数据平台最完美的数据存储解决方案。
离线数据分析与计算，也就是对实时性要求不高的部分，在我看来，Hive还是首当其冲的选择，丰富的数据类型、内置函数；压缩比非常高的ORC文件存储格式；非常方便的SQL支持，使得Hive在基于结构化数据上的统计分析远远比MapReduce要高效的多，一句SQL可以完成的需求，开发MR可能需要上百行代码；
当然，使用Hadoop框架自然而然也提供了MapReduce接口，如果真的很乐意开发Java，或者对SQL不熟，那么也可以使用MapReduce来做分析与计算；Spark是这两年非常火的，经过实践，它的性能的确比MapReduce要好很多，而且和Hive、Yarn结合的越来越好，因此，必须支持使用Spark和SparkSQL来做分析和计算。因为已经有Hadoop Yarn，使用Spark其实是非常容易的，不用单独部署Spark集群，关于Spark On Yarn的相关文章，可参考：《Spark On Yarn系列文章》
实时计算部分，后面单独说。
数据共享这里的数据共享，其实指的是前面数据分析与计算后的结果存放的地方，其实就是关系型数据库和NOSQL数据库；
前面使用Hive、MR、Spark、SparkSQL分析和计算的结果，还是在HDFS上，但大多业务和应用不可能直接从HDFS上获取数据，那么就需要一个数据共享的地方，使得各业务和产品能方便的获取数据； 和数据采集层到HDFS刚好相反，这里需要一个从HDFS将数据同步至其他目标数据源的工具，同样，DataX也可以满足。
另外，一些实时计算的结果数据可能由实时计算模块直接写入数据共享。
数据应用
业务产品
业务产品所使用的数据，已经存在于数据共享层，他们直接从数据共享层访问即可；
报表
同业务产品，报表所使用的数据，一般也是已经统计汇总好的，存放于数据共享层；
即席查询
即席查询的用户有很多，有可能是数据开发人员、网站和产品运营人员、数据分析人员、甚至是部门老大，他们都有即席查询数据的需求；
这种即席查询通常是现有的报表和数据共享层的数据并不能满足他们的需求，需要从数据存储层直接查询。
即席查询一般是通过SQL完成，最大的难度在于响应速度上，使用Hive有点慢，目前我的解决方案是SparkSQL，它的响应速度较Hive快很多，而且能很好的与Hive兼容。
当然，你也可以使用Impala，如果不在乎平台中再多一个框架的话。
OLAP
目前，很多的OLAP工具不能很好的支持从HDFS上直接获取数据，都是通过将需要的数据同步到关系型数据库中做OLAP，但如果数据量巨大的话，关系型数据库显然不行；
这时候，需要做相应的开发，从HDFS或者HBase中获取数据，完成OLAP的功能；
比如：根据用户在界面上选择的不定的维度和指标，通过开发接口，从HBase中获取数据来展示。
其它数据接口
这种接口有通用的，有定制的。比如：一个从Redis中获取用户属性的接口是通用的，所有的业务都可以调用这个接口来获取用户属性。
实时计算现在业务对数据仓库实时性的需求越来越多，比如：实时的了解网站的整体流量；实时的获取一个广告的曝光和点击；在海量数据下，依靠传统数据库和传统实现方法基本完成不了，需要的是一种分布式的、高吞吐量的、延时低的、高可靠的实时计算框架；Storm在这块是比较成熟了，但我选择Spark Streaming，原因很简单，不想多引入一个框架到平台中，另外，Spark Streaming比Storm延时性高那么一点点，那对于我们的需要可以忽略。
我们目前使用Spark Streaming实现了实时的网站流量统计、实时的广告效果统计两块功能。
做法也很简单，由Flume在前端日志服务器上收集网站日志和广告日志，实时的发送给Spark Streaming，由Spark Streaming完成统计，将数据存储至Redis，业务通过访问Redis实时获取。
任务调度与监控在数据仓库/数据平台中，有各种各样非常多的程序和任务，比如：数据采集任务、数据同步任务、数据分析任务等；
这些任务除了定时调度，还存在非常复杂的任务依赖关系，比如：数据分析任务必须等相应的数据采集任务完成后才能开始；数据同步任务需要等数据分析任务完成后才能开始； 这就需要一个非常完善的任务调度与监控系统，它作为数据仓库/数据平台的中枢，负责调度和监控所有任务的分配与运行。
前面有写过文章，《大数据平台中的任务调度与监控》,这里不再累赘。
总结在我看来架构并不是技术越多越新越好，而是在可以满足需求的情况下，越简单越稳定越好。目前在我们的数据平台中，开发更多的是关注业务，而不是技术，他们把业务和需求搞清楚了，基本上只需要做简单的SQL开发，然后配置到调度系统就可以了，如果任务异常，会收到告警。这样，可以使更多的资源专注于业务之上。
四、LTE的关键技术有哪些？
1、网络架构3GPP LTE接入网在能够有效支持新的物理层传输技术的同时，还需要满足低时延、低复杂度、低成本的要求。原有的网络结构显然已无法满足要求，需要进行调整与演进。2006年3月的会议上，3GPP确定了 E-UTRAN的结构，接入网主要由演进型eNodeB（eNB）和接入网关（aGW）构成，这种结构类似于典型的IP宽带网络结构，采用这种结构将对3GPP系统的体系架构产生深远的影响。
2、基本的传输技术和多址技术之前提到了3GPP RAN1工作组，它是专门负责物理层传输技术的甄选、评估和标准制定的。在对各公司提交的候选方案进行征集后，确定了以OFDM为物理层基本传输技术方案。
五、mstp关键技术有哪些？
VC。
所谓VC(虚级联)，指的是相关虚容器间缺乏实质的级联关系，处理和传送的过程都是独立化的，仅在其传输的数据上能够反映级联关系。 通过VC技术能够降低对网络的影响程度，对相关业务带宽进行最优化分配，从而有效增加网络带宽利用率，最终更好的适应数据业务的传输。
GFP。
GFP(通用成帧规程)是下一代SDH传输网络的关键技术之一，以满足对带宽、流量保护和工程的管理的需求。 国际电信联盟标准部将G．7041作为GFP的标准，具有将通道标识符用作端口复用以及数据头纠错等功能。 理论上来说，所有协议数据都可以通过GFP进行封装，在光层上确保协议的融合，从而实现带宽颗粒的细化和业务的灵活性。
LCAS。
六、传统数据采集的关键技术有哪些？他们之间的关系是什么？
▷数据采集(DAQ)：又称数据获取，是指从传感器和其它待测设备等模拟和数字被测单元中自动采集信息的过程。数据分类新一代数据体系中，将传统数据体系中没有考虑过的新数据源进行归纳与分类，可将其分为线上行为数据与内容数据两大类。
▷线上行为数据：页面数据、交互数据、表单数据、会话数据等。
▷内容数据：应用日志、电子文档、机器数据、语音数据、社交媒体数据等。
▷大数据的主要来源：1）商业数据2）互联网数据。
七、物联网的关键技术有哪些？
物联网关键技术：
1、RFID技术
是物联网中“让物品开口说话”的关键技术，物联网中RFID标签上存着规范而具有互通性的信息，通过无线数据通信网络把他们自动采集到中央信息系统中实现物品的识别。
2、传感器技术
在物联网中传感器主要负责接收物品“讲话”的内容。传感器技术是从自然信源获取信息并对获取的信息进行处理、变换、识别的一门多学科交叉的现代科学与工程技术，它涉及传感器、信息处理和识别的规划设计、开发、制造、测试、应用及评价改进活动等内容。
3、无线网络技术
物联网中物品要与人无障碍地交流，必然离不开高速、可进行大批量数据传输的无线网络。无线网络既包括允许用户建立远距离无线连接的全球语音和数据网络，也包括近距离的蓝牙技术、红外技术和Zigbee技术。
4、人工智能技术
人工智能是研究是计算机来模拟人的某些思维过程和智能行为（如学习、推理、思考和规划等）的技术。在物联网中人工智能技术主要将物品“讲话”的内容进行分析，从而实现计算机自动处理。
5、云计算技术
物联网的发展理离不开云计算技术的支持。物联网中的终端的计算和存储能力有限，云计算平台可以作为物联网的大脑，以实现对海量数据的存储和计算。
八、养殖金鱼的关键技术有哪些？
这要看你具体是专业养殖来出售，还是买几条作为家庭观赏.若是前者呢，就关系到具体的水产养殖流程.
说白了金鱼也是鱼，如何养殖呢参考鲫鱼养殖，可网箱可池塘.苗种选择，水质调节，前期晾池消毒，鱼苗下水以后的中期管理，反正都跟养殖食用鱼一样，注意每年的四月中到五月底，九月十月是最容易缺氧翻塘，其他就是平时的改底解毒.
如果是家庭观赏，主要就是鱼缸的换水，平时的喂食.家庭养金鱼，最少有五成是喂食过饱，室内昼夜温差大，引起的应激反应而死亡，专业的鱼缸都配套有增氧设备，如果密度很大，也就是鱼养的多，应该搞好配套的电瓶设施，防治停电带来的缺氧死亡.若是普通的玻璃缸，很小的养几条鱼那种，还是建议每隔半个月换几条鱼吧……
九、多媒体的关键技术是数据？
多媒体计算机的关键技术是解决视频、音频信号的获取和处理，包括多媒体数据的压缩编码和解码技术以及多媒体数据的输出技术。主要应用于通信、娱乐和计算机的融合，为解决电视数字化及高清晰度提供了切实可行的方案。多媒体计算机可制作DVD及影视音响设备，以及制作多媒体家庭网关。
十、apple watch有哪些关键技术？
苹果iwatch智能手表的六大功能
1、Apple Watch可以实现如接打电话、Siri 语音、信息、日历、地图等功能，通过手表可以调节iPhone 的GPS。
2、Apple Watch采用磁力MagSafe 插头 ，支持无线充电，这一设计有效解决了续航问题。Apple Watch也可使用Apple Pay。
3、为了克服手表表盘屏幕过小的限制，Apple Watch设置了一个数码转轮，通过转动它可以对图像进行缩放或移动图案。
4、Apple Watch的屏幕同样支持多点操控。Apple Watch的表冠下有一颗单独的沟通按键，专 门 启动一个 叫Communication的通讯应用。
5、苹果对Apple Watch的界面进行了全新设计，用户可以在手表上看到好友列表，与好友通话，甚至把自己 的心率信息分享给好友。
6、Apple Watch采用苹果自行开发的S1芯片，背部有很多感应器，当用户抬手时，显示屏会自动打开。显示屏上会出 现点状图标，供拉动或点击。
以上就是给大家介绍的苹果iwatch的功能，苹果公司总是很强大的，设计的这款手表非彼此手表，因为它的功能比普通手表多得多，而且它的设计也很人性化，这就是为什么苹果iwatch受到大家如此多的关注了。
