Linux – 第17节 – 网络基础（应用层三）
目录
1.HTTPS协议
1.1.HTTPS简介
HTTPS也是⼀个应⽤层协议，是在HTTP协议的基础上引⼊了⼀个加密层。HTTP协议内容都是按照文本的方式明文传输的，明文传输是不安全的，所以现在主流的解决 方式是在http所在的应用层和tcp所在的传输层之间加一层SSL/TLS软件层（SSL/TLS软件层属于应用层），SSL/TLS软件层对于从应用层流向传输层即发送的数据执行加密功能，对于从传输层流向应用层即接收的数据执行解密功能。我们将包含了http协议和
SSL/TLS软件层整体成为https协议。注：1.对于http协议本身来说，其发出去的是明文信息，接收到的也是明文信息，本身不受任何影响。2.http协议默认绑定的端口为80端口，https协议默认绑定的端口为443端口。
1.2.补充知识
1.2.1.什么是"加密"
•
加密就是把明文 (要传输的信息)进行一系列变换，生成密文。•
解密就是把密文再进行一系列变换，还原成明文。•
在这个加密和解密的过程中，往往需要⼀个或者多个中间的数据，辅助进行这个过程，这样的数据称为密钥。注：所有的加密都是为了防止中间有人进行窃取和篡改。
1.2.2.为什么要加密
举个例子：下载⼀个天天动听软件，未被劫持的效果，点击下载按钮，就会弹出天天动听的下载链接，如下图一所示，已被劫持的效果，点击下载按钮，就会弹出QQ浏览器的下载链接，如下图二所示。
如下图所示，由于我们通过网络传输的任何的数据包都会经过运营商的网络设备(路由器，交换机等)，那么运营商的网络设备就可以解析出你传输的数据内容，并进行篡改。点击 "下载按钮"，其实就是在给服务器发送了⼀个 HTTP 请求，获取到的 HTTP 响应其实就包含了该APP 的下载链接。运营商劫持之后，就发现这个请求是要下载天天动听，那么就自动的把交给用户的响应给篡改成"QQ浏览器"的下载地址了。
所以，因为http的内容是明文传输的，明文数据会经过路由器、wifi热点、通信服务运营商、代理服务器等多个物理节点，如果信息在传输过程中被劫持，传输的内容就完全暴露了。劫持者还可以篡改传输的信息且不被双方察觉，这就是中间人攻击 ，所以我们才需要对信息进行加密。不止运营商可以劫持，其他的黑客也可以用类似的手段进行劫持，来窃取用户隐私信息，或者篡改内容。试想⼀下, 如果黑客在用户登录支付宝的时候获取到用户账户余额，甚至获取到用户的支付密码.....在互联网上，明文传输是比较危险的事情!!!HTTPS 就是在 HTTP 的基础上进行了加密，进⼀步的来保证用户的信息安全。
1.2.3.常见的加密方式
对称加密：• 采用单钥密码系统的加密方法，同⼀个密钥可以同时用作信息的加密和解密，这种加密⽅法称为对称加密，也称为单密钥加密，特征：加密和解密所⽤的密钥是相同的。• 常见对称加密算法(了解)：DES、3DES、AES、TDEA、Blowfish、RC2等。• 特点：算法公开、计算量小、加密速度快、加密效率高。对称加密其实就是通过同⼀个"密钥"，把明文加密成密文，并且也能把密文解密成明文。例子：（⼀个简单的对称加密，按位异或）假设明文a=1234，密钥key=8888，则加密a^key得到的密文b为9834。然后针对密文9834再次进行运算b^key，得到的就是原来的明文1234。(对于字符串的对称加密也是同理, 每⼀个字符都可以表示成⼀个数字)当然，按位异或只是最简单的对称加密。HTTPS 中并不是使用按位异或。
非对称加密：• 需要两个密钥来进行加密和解密，这两个密钥是公开密钥（public key，简称公钥）和私有密钥（private key，简称私钥）。• 常见非对称加密算法：RSA，DSA，ECDSA• 特点：算法强度复杂、安全性依赖于算法与密钥但是由于其算法复杂，而使得加密解密速度没有对称加密解密的速度快。非对称加密要用到两个密钥，⼀个叫做 "公钥"，⼀个叫做 "私钥"，公钥和私钥是配对的。最大的缺点就是运算速度非常慢，比对称加密要慢很多。• 通过公钥对明文加密, 变成密文• 通过私钥对密文解密, 变成明文也可以反着用• 通过私钥对明文加密, 变成密文• 通过公钥对密文解密, 变成明文例子：非对称加密的数学原理比较复杂，涉及到⼀些数论相关的知识。这⾥举⼀个简单的生活上的例子。A要给B⼀些重要的文件，但是B可能不在，于是A和B提前做出约定：B说：我桌子上有个盒子，然后我给你⼀把锁，你把文件放盒子里用锁锁上，然后我回头拿着钥匙来开锁取文件。在这个场景中, 这把锁就相当于公钥，钥匙就是私钥。公钥给谁都行(不怕泄露)，但是私钥只有B自己持有。持有私钥的⼈才能解密。
1.2.4.数据摘要和数据指纹
• 数字指纹(数据摘要)，其基本原理是利用单向散列函数(Hash函数)对信息进行运算，生成⼀串固定长度的数字摘要。数字指纹并不是⼀种加密机制，但可以用来判断数据有没有被窜改。• 摘要常见算法：有MD5、SHA1、SHA256、SHA512等，算法把无限的映射成有限，因此可能会有碰撞（两个不同的信息，算出的摘要相同，但是概率非常低）。• 摘要特征：和加密算法的区别是，摘要严格意义不是加密，因为没有解密，只不过从摘要很难反推原信息，通常用来进行数据对比。数据摘要/数据指纹的应用举例1：百度网盘上传电影时，有时候可以秒传，妙传功能是如何实现的？用户在上传电影时，百度服务器会对上传电影进行搜索，搜索之前有没有用户上传过相同的电影，如果服务器中之前有用户上传过相同的电影，那么就终止本次上传，在上传用户目录下建立一个软链接，指向之前用户上传的相同的电影。百度服务器如何快速作比对，检查上传电影是否与服务器内的电影相同呢？答案是使用单向散列函数对上传电影作数据摘要，与服务器内所有电影的数据摘要作比对即可，如果有相同的数据摘要，就说明该电影在服务器中有相同的资源。数据摘要/数据指纹的应用举例2：服务器在内部如果用明文存储用户的密码，那么用户密码有很高的泄漏风险，所以用户的密码在服务器中存储一般都是经过加密的，用户密码这种数据一旦加密最好不能被解密，单向散列函数就特别适合对密码进行“加密”保存。用户注册时输入账号密码后，服务器利用单向散列函数对密码进行处理，得到注册密码的数据摘要，用户下次再登陆时输入账号密码，服务器拿到用户登陆时输入的密码，进行单向散列函数处理得到登陆密码的数据摘要，将登陆密码的数据摘要与注册密码的数据摘要进行对比即可，如果两个数据摘要相同就代表密码正确。
1.2.5.数字签名
•
数据摘要在网络中最好也不要明文传输，摘要经过加密，就得到数字签名（数字签名后面会详细介绍）。
2.HTTPS的工作过程探究
既然要保证数据安全，就需要进行"加密"。
网络传输中不再直接传输明文了，而是加密之后的"密文"。加密的方式有很多, 但是整体可以分成两大类：对称加密和非对称加密。
2.1.方案1 - 只使用对称加密
如果通信双方都各自持有同⼀个密钥X，且没有别⼈知道，这两方的通信安全当然是可以被保证的（除非密钥被破解）。
如下图所示，引入对称加密之后，即使数据被截获，由于黑客不知道密钥是啥，因此就无法进行解密，也就不知道请求的真实内容是啥了。
但事情没这么简单，如下图所示，服务器同⼀时刻其实是给很多客户端提供服务的。这么多客户端，每个人用的秘钥都必须是不同的(如果是相同那密钥就太容易扩散了，黑客就也能拿到了)，因此服务器就需要维护每个客户端和每个密钥之间的关联关系，这也是个很麻烦的事情。
比较理想的做法就是能在客户端和服务器建立连接的时候，双方协商确定这次的密钥是啥。但是如果直接把密钥明文传输，那么黑客也就能获得密钥了，如下图所示，此时后续的加密操作就形同虚设了。因此密钥的传输也必须加密传输。
但是要想对密钥进行对称加密，就仍然需要先协商确定⼀个"密钥的密钥"，这就成了"先有鸡还是先有蛋" 的问题了。此时密钥的传输再用对称加密就行不通了。
2.2.方案2 - 只一方使用非对称加密
鉴于非对称加密的机制，如果服务器先把公钥以明文方式传输给浏览器，之后浏览器向服务器传数据 前都先用这个公钥加密好再传，从客⼾端到服务器信道似乎是安全的(有安全问题)，因为只有服务器有相应的私钥能解开公钥加密的数据。但是服务器到浏览器的这条路怎么保障安全？如果服务器用它的私钥加密数据传给浏览器，那么浏览器用公钥可以解密它，而这个公钥是⼀开始通过明文传输给浏览器的，若这个公钥被中间人劫持到了，那他也能用该公钥解密服务器传来的信息了。
2.3.方案3 - 双方都使用非对称加密
方案：
（1）服务端拥有公钥S与对应的私钥S'，客户端拥有公钥C与对应的私钥C'。（2）客户和服务端交换公钥。（3）客户端给服务端发信息：先用S对数据加密，再发送，只能由服务器解密，因为只有服务器有私钥S'。（4）服务端给客户端发信息：先用C对数据加密，在发送，只能由客户端解密，因为只有客户端有私钥C'。上面这个
双方都使用非对称加密的方案看似是安全的，是可行的，但实际也是不行的，有以下两个理由：• 效率太低。双方都使用非对称加密，非对称加密效率很低。• 依旧有安全问题，其无法抵御中间人攻击（后面细讲）。
2.4.方案4 - 非对称加密 + 对称加密
方案：
（1）服务端具有非对称公钥S和私钥S'。（2）客户端发起https请求，获取服务端公钥S。（3）客户端在本地生成对称密钥C，通过公钥S加密，发送给服务器。（4）由于中间的网络设备没有私钥，即使截获了数据，也无法还原出内部的原文，也就无法获取到对称密钥。（5）服务器通过私钥S'解密，还原出客户端发送的对称密钥C。并且使用这个对称密钥加密给客户端返回的响应数据。（6）后续客户端和服务器的通信都只用对称加密即可。由于该密钥只有客户端和服务器两个主机知道，其他主机/设备不知道密钥即使截获数据也没有意义。由于对称加密的效率比非对称加密高很多，因此只是在开始阶段协商密钥的时候使用非对称加密，后续的传输仍然使用对称加密，
解决了效率低的问题。但是上面这个
非对称加密+对称加密的方案
依旧有安全问题，其无法抵御中间人攻击（后面细讲）
。
2.5.中间人攻击
中间人攻击：Man-in-the-MiddleAttack，简称“MITM攻击”。确实，在上面的方案3和方案4中，客户端获取到公钥S之后，对客户端形成的对称密钥X用服务端给客户端的公钥S进行加密，中间人即使窃取到了数据，此时中间人确实无法解出客户端形成的密钥X，因为只有服务器有私钥S'。但是中间人的攻击，如果在最开始握手协商的时候就进行了，那就不⼀定了。中间人攻击：（1）服务器具有非对称加密算法的公钥S，私钥S'。（2）中间⼈具有非对称加密算法的公钥M，私钥M'。（3）客户端向服务器发起请求，服务器明文发送公钥S给客户端。（4）中间人劫持数据报文，提取公钥S并保存好，然后将被劫持报⽂中的公钥S替换成为自己的公钥M，并将伪造报文发给客户端。（5）客户端收到报文，提取公钥M(自己当然不知道公钥被更换过了)，自己形成对称密钥X，用公钥M加密X，形成报文发送给服务器。（6）中间人劫持后，直接用自己的私钥M'进行解密，得到通信秘钥X，再用曾经保存的服务端公钥S加密后，将报文推送给服务器。（7）服务器拿到报文，用自己的私钥S'解密，得到通信密钥X。（8）双方开始采用X进行对称加密，进行通信。但是⼀切都在中间⼈的掌握中，劫持数据，进行窃听甚至修改，都是可以的。这里的中间人攻击方案，同样适用于方案3。问题本质出在哪里了呢？客户端无法确定收到的含有公钥的数据报文，就是目标服务器发送过来的！
2.6.引入证书
2.6.1.CA认证
服务端在使用HTTPS前，需要向CA机构申领⼀份数字证书，数字证书里含有证书申请者信息、公钥信息等。服务器把证书传输给浏览器，浏览器从证书里获取公钥就行了，证书就如身份证，证明服务端公钥的权威性。这个证书可以理解成是⼀个结构化的字符串，里面包含了以下信息: 证书发布机构、证书有效期、公钥、证书所有者、签名等。需要注意的是：•
申请证书的时候，需要在特定平台生成查。•
服务端同时生成一对儿密钥对儿，即公钥和私钥。这对密钥对儿就是用来在网络通信中进行明文加密以及数字签名的（后面会讲）。 其中，公钥会随着CSR文件，⼀起发给CA进行权威认证，私钥服务端自己保留，用来后续进行通信（其实主要就是用来交换对称密钥）。
• 形成CSR之后，后续就是向CA进行申请认证，不过⼀般认证过程很繁琐，网络各种提供证书申请的服务商，⼀般真的需要，直接找平台解决就行。
2.6.2.理解数据签名
• 证书说到底就是字符串，也就是数据，如何保证证书的合法性呢？如何保证证书以及证书中的公钥没有被篡改呢？答案是颁发证书时携带证书的数据签名，下面进行详细讲解。•
签名的形成是基于非对称加密算法的。
签名与验证过程：
• 签名过程：首先对原始数据进行hash散列处理得到固定长度的散列值（数据摘要/数据指纹），然后签名者用自己的私钥对散列值加密得到签名，将原始数据和得到的签名合起来得到携带签名的数据。
• 验证过程：验证者拿到了携带签名的数据，先将数据和签名进行分离，然后对数据进行hash散列处理得到散列值1，用签名者的公钥对签名进行解密得到散列值2，将散列值1与散列值2进行对比，如果两个散列值相等，说明数据和签名没有被中间人篡改，如果两个散列值不相等，说明要么数据被篡改了，要么签名被篡改了，要么数据和签名都被篡改了。
• 中间人要是将携带签名的数据中数据部分进行篡改，中间人因为没有签名者的私钥，因此无法对签名部分作修正，也就是说中间人无法同时对数据和签名进行篡改。
• 所以给数据携带数据签名的意义是防止内容被篡改。
注：目前暂时和https没有关系，不要和https中的公钥私钥搞混了。
当服务端申请CA证书的时候，CA机构会对该服务端进行审核，并专门为该网站形成数字签名，过程如下：（1）CA机构拥有非对称加密的私钥A和公钥A'。（2）CA机构对服务端申请的证书明明数据进行hash处理，形成数据摘要。（3）然后对数据摘要用CA私钥A'加密，得到数字签名S。服务端申请的证书明文和数字签名S共同组成了数字证书，这样⼀份数字证书就可以颁发给服务端了。注：CA机构的私钥只有自己拥有，其他人没有CA机构的私钥，因此无法模仿CA机构颁发证书，因此CA机构只要独享私钥，那么其颁发的证书就具有权威性。
2.7.方案5 - 非对称加密+对称加密+证书认证
在客户端和服务器刚⼀建立连接的时候，客户端给服务端发送连接请求，服务器给客户端返回⼀个证书，证书包含了服务端的公钥, 也包含了网站的身份信息。客户端进行认证：当客户端获取到这个证书之后会对证书进行校验(防止证书是伪造的)。• 判定证书的有效期是否过期（如果证书过期，浏览器会提示该网站对应证书已经过期，是否继续访问的字样）。• 判定证书的发布机构是否受信任(操作系统中已内置的受信任的证书发布机构)（如果证书发布机构不受信任，浏览器会提示该网站证书的颁发者不受信任，是否继续访问的字样）。• 验证证书是否被篡改：从系统中拿到该证书发布机构的公钥（各个颁发证书的CA下二级机构，其公钥是内置在系统中的），对签名解密，得到⼀个 hash 值(称为数据摘要)，设为 hash1，然后计算整个证书的 hash 值，设为 hash2，对比 hash1 和 hash2 是否相等，如果相等，则说明证书是没有被篡改过的。客户端从证书中拿到服务端公钥后，就可以执行方案四的通信逻辑了。
查看浏览器的受信任证书发布机构：以edge浏览器为例，其他浏览器类似：点击右上角三个点按钮，选择设置，如下图一所示。隐私搜索和服务->安全性中点击证书管理，如下图二所示。选择受信任的根证书颁发机构，就列举显示了当前浏览器
受信任的证书发布机构，如下图三所示。点击一个受信任的证书发布机构点击查看，选择详细信息就可以看到对应受信任的证书发布机构的公钥，如下图四所示。
问题1：中间⼈有没有可能篡改该证书？答：中间⼈篡改了证书的明文，由于他没有CA机构的私钥，所以无法hash之后用私钥加密形成签名，那么也就没法办法对篡改后的证书形成匹配的签名。如果强行篡改，客户端收到该证书后会发现明文和签名解密后的值不⼀致，则说明证书已被篡改，证书不可信，从而终止向服务器传输信息，防止信息泄露给中间人。问题2：如果中间人整个掉包证书呢？答：因为中间人没有CA私钥，所以无法制作假的证书，所以中间人只能向CA申请真证书，然后用自己申请的证书进行掉包。这种方法确实能做到证书的整体掉包，但是别忘记，证书明文中包含了域名等服务端认证信息，如果整体掉包，客户端依旧能够识别出来。永远记住，中间人没有CA私钥，所以对任何证书都无法进行合法修改，包括自己的。问题3：为什么摘要内容在网络传输的时候⼀定要加密形成签名?补充：常见的摘要算法有: MD5 和 SHA 系列，以 MD5 为例，我们不需要研究具体的计算签名的过程，只需要了解 MD5 的特点：• 定长：无论多⻓的字符串, 计算出来的 MD5 值都是固定长度 (16字节版本或者32字节版本)• 分散：源字符串只要改变⼀点点，最终得到的 MD5 值都会差别很大。• 不可逆：通过源字符串生成 MD5 很容易，但是通过 MD5 还原成原串理论上是不可能的。正因为MD5有这样的特性，我们可以认为如果两个字符串的 MD5 值相同，则认为这两个字符串相同。答：
理解判定证书篡改的过程: (这个过程就好比判定这个身份证是不是伪造的身份证)，假设我们的证书只是⼀个简单的字符串 hello，对这个字符串计算hash值(比如md5)，结果为
BC4B2A76B9719D91，如果 hello 中有任意的字符被篡改了，比如变成了 hella，那么计算的 md5 值就会变化很大。然后我们可以把这个字符串 hello 和 哈希值 BC4B2A76B9719D91 从服务器返回给客户端，此时客⼾端
如何验证 hello 是否是被篡改过？
那么就只要计算 hello 的哈希值，看看是不是 BC4B2A76B9719D91 即可。但是还有个问题，如果黑客把 hello 篡改了，同时也把哈希值重新计算下，客户端就分辨不出来了呀。所以被传输的哈希值不能传输明文，需要传输密文，对证书明文(这里就是“hello”)hash形成散列摘要，然后CA使用自己的私钥加密形成签名，将hello和加密的签名合起来形成CA证书，颁发给服务端，当客户端请求的时候，就发送给客户端，中间⼈截获了，因为没有CA私钥，就无法更改或者整体掉包，就能安全的证明证书的合法性。 最后，客户端通过操作系统里已经存的了的证书发布机构的公钥进行解密，还原出原始的哈希值，再进行校验。问题：为什么签名不直接加密，而是要先hash形成摘要?答：缩小签名密文的长度，加快数字签名和验证签名的运算速度。
2.8.完整流程
左侧都是客户端做的事情，右侧都是服务器做的事情。客户端请求某一个网站，对应服务端会确认客户端请求中的加密和哈希算法，返回数字证书给服务端，客户端收到服务端数字证书后，对数字证书进行合法性验证，如果证书合法，那么生成对称密钥R，使用证书中的公钥对对称密钥R进行加密，然后发送给服务端，服务端用私钥对收到的信息解密，得到对称密钥R，至此客户端和服务端就可以使用对称密钥R进行加密通信了。
总结：HTTPS工作过程中涉及到的密钥有三组：•
第一组(非对称加密)（CA的公私密钥）：用于校验证书是否被篡改。CA机构持有私钥，客户端持有公钥(操作系统包含了可信任的CA认证机构有哪些，同时持有对应的公钥)。服务器响应客户端请求，返回携带签名的证书，客户端通过对应CA机构公钥进行证书验证，保证证书的合法性，进⼀步保证证书中携带的服务端公钥权威性。•
第二组(非对称加密)（服务端的公私密钥）：用于协商生成对称加密的密钥。服务端同时持有公私钥，客户端收到服务端证书后持有服务端公钥。客户端用服务端证书中的公钥(是可被信任的) 给随机生成的对称加密的密钥加密，传输给服务器，服务器通过私钥解密获取到对称加密密钥。•
第三组(对称加密)：客户端和服务器后续传输的数据都通过这个对称密钥加密解密。其实⼀切的关键都是围绕这个对称加密的密钥，其他的机制都是辅助这个密钥工作的：• 第⼀组非对称加密的密钥是为了让客户端拿到第⼆组非对称加密的公钥。• 第⼆组非对称加密的密钥是为了让客户端把这个对称密钥传给服务器。
2.9.如何成为中间人
• ARP欺骗：在局域网中，hacker经过收到ARP Request广播包，能够偷听到其它节点的 (IP、 MAC)地址。例如， 黑客收到两个主机A、B的地址，告诉B (受害者) ，自己是A，使得B在发送给A的数据包都被黑客截取。• ICMP攻击：由于ICMP协议中有重定向的报文类型，那么我们就可以伪造⼀个ICMP信息然后发送给局域网中的客户端，并伪装自己是⼀个更好的路由通路。从而导致目标所有的上网流量都会发送到我们指定的接口上，达到和ARP欺骗同样的效果。• 假wifi和假网站等。
本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
THE END
二维码