云计算相关知识点
云计算相关知识点
文章名称：云计算相关知识点
文章内容：云计算相关知识和相关技术里面涉及大数据据技术、虚拟化技术、数据中心的相关内容并行计算与集群技术和云存储技术，上述知识点会将大体内容进行描述。
文章作者：爱划水的潇洒哥
提示：以下内容为个人学习的总结，更多详细资料需您自行查阅。
目录
-
云计算与大数据技术
-
虚拟化技术
-
数据中心相关内容
-
并行计算与集群技术
-
云存储技术
云计算与大数据技术
“随着计算机技术融入生活，信息开始了爆发式的增长，这些数据产出了‘大数据’这一概念”
大数据（BigData）：又称为巨量资料，指的是传统数据处理应用软件不足以处理它们、大或复制的数据集。
数据分为：
-
结构化数据：关系型数据模型，表形式管理数据
-
半结构化数据：非关系型数据模型，有基本固定结构模型的数据（json文件、日志、xml、html等）
-
非结构化数据：没有基本固定模型的数据（pdf、word、图片、视频等）
云计算与大数据关系： 云计算的核心是业务模式，本质是处理数据的技术，数据是资产，云计算为数据资产提供了存储，访问的场所和计算能力，云计算更偏重大数据的存储和计算，以及提供云计算服务，运行云应用。
大数据的4V：
-
Variety（多样性）
-
Volume（规模性）
-
value（价值密度低）
-
velocity（高速性）
科学的第四范式是：数据 （实验---->理论---->计算---->数据）
大数据计算架构
Hadoop------开源计算框架
处理大规模分布式数据的能力,但处理是高延迟的
Spark------基于内存的大数据计算框架
提高了在大数据环境下数据处理的实时性,保证了高容错性和高伸缩性
Strom------基于拓扑的流数据实时计算框架
数据完全实时,一条一条处理数据
(后面会较为详细描述三个框架)
大数据价值链三大构成: 数据 技术 思维
虚拟化技术
什么是虚拟化技术?
是将一台计算机虚拟化为多台逻辑计算机,每个逻辑计算机可以独立运行而且互不影响,从而提高工作效率.
为什么要用虚拟化技术?
虚拟化技术为企业降低了运营成本,提高硬件使用率提高系统安全性和可靠性,实现了灵活运营.
虚拟化对象:
计算资源虚拟化
网络虚拟化
存储虚拟化
桌面虚拟化
应用虚拟化
虚拟化实现方式
全虚拟化
半虚拟化
硬件辅助虚拟化
虚拟化架构
寄居虚拟化 (寄居虚拟化就是在宿主机操作系统之上安装虚拟化应用程序)
裸金属虚拟化 (硬件层上部署虚拟化平台软件)
虚拟化技术分类
用户体验虚拟化
应用程序虚拟化
桌面虚拟化
服务虚拟化
操作系统虚拟化
存储虚拟化
网络虚拟化
(具体技术应用需您自行查找)
虚拟化技术优势
-
减少物理资源的投入,节约成本
-
提高物流资源的使用率
-
易于自动化的操作与投入,减少维护成本
-
虚拟化数据移植方便
-
操作更加独立,便捷,数据安全更有保障
-
环保,节能
虚拟化技术的劣势
-
业界没有统一的标准与平台
-
没有对数据备份,存在一定风险
-
虚拟数据中心迁移,对在线服务的迁移,对用户的影响巨大
虚拟化技术的特点: 分区 封装 隔离 硬件独立
分区: 强大的硬件可以为多个独立的服务器使用;一个独立的物理系统可以运行多个虚拟的操作系统和应用;计算资源放在资源池中,能够有效利用
封装: 虚拟单元放在单独的文件,保证了一个虚拟系统对应一个文件
隔离: 每个虚拟机互相独立运行,互不干扰,提供理想化的物理机
硬件独立: 可在其他服务器上不加修改运行虚拟机,有着较强的运行能力
常见的虚拟化技术解决方案
OpenStack
KVM
Hyper-V
VMware
Xen
(本人对上面的解决方案不是很了解,还需自行查阅)
虚拟化技术与云计算关系
云计算提供服务,虚拟化技术提供技术支持,通过虚拟化技术可以将程序和数据不同层次以不同方式的展现给用户,为云计算使用者和开发者提供便利
数据中心相关内容
数据中心的组成
-
基础设施
-
硬件设施
-
基础软件
-
管理支撑软件
建设原则
-
规范化
-
网络化
-
实用性
-
安全性
-
可扩展性
PUE= 数据中心总消/IT能源消耗 (pue越接近1,效能越高)
数据中心的主要节能措施
服务器虚拟化
采用现代化冷却系统
升级数据中心设备
提高冷却温度
重组数据中心
云计算两个要点: 存储力 计算力
并行计算与集群技术
并行计算 基本思想是利用多个处理器来协同求解同一问题,即将求解的问题分成若干部分,各个部分又由一个独立的处理机来并行计算. (把一个复杂的问题,拆成许多个能同时处理的小问题来处理)
补充: 并行:将一个大任务,拆成多个小任务同时运行,并行.(不抢占资源) 并发:多个任务在同一个处理器中轮换进行(来回交替)
并行:一次传送一个字长的数据 串行:一位一位地依次传输
线程: 修改 打开 操作 进程: 运行一个软件
并行计算的目的: 提高求解速度,通过扩大问题求解规模,解决大而复杂的计算问题.
并行计算强调时效性和海量数据处理 各个任务之间独立性弱,而且关系密切,每个节点之间的任务时间要同步,各个任务互相影响较大.
分布式计算是相对集中式计算来说,分布式计算的任务包相互间有独立性,上个任务包结果出现错误,或者处理未完成,对下一个任务处理几乎不影响,实时性要求不高
集群技术是当前大数据领域的主流架构,集群技术是支撑云计算与大数据系统的重要技术 (一组独立计算机(结点)的集合体,结点间通过高性能的网络连接,各结点除了作为一个单一的计算资源给用户使用,也可协同工作,并表示为一个单一的,集中的计算资源,供并行计算任务使用.)
集群系统的分类
-
高可用性集群系统
-
负载均衡集群系统
-
高性能集群系统
-
虚拟化集群系统
云存储技术
云存储概念 云存储是一种网上在线存储的模式,即把数据存放在第三方托管的多台虚拟服务器中,而非专属的服务器上. (以大化小,化整为零的思想是云存储技术的设计思想)
从功能需求来看,云存储系统相比于传统单一的存储来说功能更加开放和多元化;从数据管理上看,云存储需要处理的数据类型更多,数据量更大.
云存储系统结构
-
访问层
-
应用接口层------最灵活多变的部分
-
基础管理层------最核心
-
存储层------最基础
云存储实现基础
宽带网络
Web 2.0技术
应用存储
集群技术和分布式文件系统
CDN.P2P技术 数据压缩 加密技术
存储虚拟技术 存储网络化管理技术
云存储的特性
可靠性
安全性
管理方便
可扩展性
个人级存储: 网盘 文档在线编辑 网络游戏
企业级云存储: 云存储空间租赁服务 企业级远程数据备份 视频监控系统
总结
以上就是个人对于云计算相关知识点粗略总结，里面涉及一些详细的知识点和具体架构还需您自行参考其他文献，本次的总结大多参考了《云计算与大数据技术应用》安俊秀 靳宇倡等编著 这本书，这本书总结的十分详细，大家可以自行参考。