网络基础（一）

计算机网络背景

学习系统不能忽略硬件，学习网络也不能忽略硬件。

网络和系统的关系

网络发展

最开始只有一台计算机处理人算力不足的问题。

• 独立模式：计算机之间相互独立

不同人在不同单位所承担的分工是不一样的，每个人所需要处理的数据不同，而人可以协作。A处理完的数据可以给B处理，B处理完的数据可以给C处理。因此早期处理类似下图。

• 网络互联: 多台计算机连接在一起，完成共享

产生了各种各样的实验室，实验室内部进行网络技术的研发和实验。

• 局域网LAN: 计算机数量更多了, 通过交换机和路由器连接在一起。

单单一个实验室内部互相通信并不足以跨越小范围的物理距离，比如多个实验室之间的通信，因此产生局域网用于小型网络。

局域网通信和跨局域网进行通信存在很多问题。对于局域网来说，其一是采用的局域网通信原理，其二是局域网可以直接通信不需要碰撞检测和碰撞避免。

而对于跨局域网来说，局域网通信原理不适用跨网络，原因其一是主机数量增多导致效率下降，其二是网络路径变长查找目标设备成为问题，包括各种各样的硬件设备如交换机和存储设备的存储空间和算法的适用。

必须要设置一套跨局域网的方法，这个方法是要软硬件结合。比如路由器上的路由查找算法等。

交换机是工作在数据链路层的一个设备，主要工作为数据帧的转发和划分碰撞域。

路由器是工作在网络层的一个设备。

• 广域网WAN: 将远隔千里的计算机都连在一起

广域网就是局域网的扩展，物理距离相对更远。局域网和广域网其实是相对概念，在更大的范围下，广域网是一个新的局域网。

认识“协议”

所谓协议，在哪里都存在。OS内和硬件硬盘也有协议。数据写硬盘上也有协议。一台手机内也有协议。有了网络，还是在传输数据，之前写程序是把数据传到磁盘，传到显示器上，现在不同的地方在于，原本在内部的线变长了，这个线就是网络。线变长了，距离就远了，传输距离远了，可靠性变差了。因此就产生了路由器转发，定位机器，数据翻转或丢失的问题。计算机网络本质上是解决线变长了怎么把数据从一个机器交付给另一个机器，怎么保证没交付错，怎么定位目标，怎么进行可靠性保证，数据没交互错等的问题。因此形成计网这个学科，本质就是线变长了。为了解决上述的问题，引入了协议。

总的为三个问题，效率问题，可靠性问题，定位问题(确认要访问互联网中哪台主机的问题)。

举个协议的具体例子：

在小时候电话费还比较贵的时候，小明和小红远隔千里，接电话一旦接起来就要付费。因此可以约定，响一声让对方回电话，响两声报平安，响三声表示汇款，响四声就接。约定打几声的含义就是协议。

**协议的本质就是约定。**上述的例子是人的约定，而计算机想定义协议，本质就是一堆信息，这堆信息以特定的结构组织起来，双方在通信时先发的信息是协议信息，一旦识别到协议信息就知道要干什么。

计算机通信的时候是用线通信的，计算机之间的传输媒介是光信号和电信号，通过"频率"和"强弱"来表示0和1这样的信息。要想传递各种不同的信息,就需要约定好双方的数据格式。其中网卡就是决定发强信号还是弱信号的。

只要通信的两台主机, 约定好协议就可以了么?

并不是。生活中普通话统一的例子就是。

• 计算机生产厂商有很多
• 计算机操作系统也有很多
• 计算机网络硬件设备, 还是有很多

如何让这些不同厂商之间生产的计算机能够相互顺畅的通信? 就需要有人站出来, 约定一个共同的标准,大家都来遵守, 这就是网络协议;

操作系统也承担了很大一部分协议的实现，协议这么多，操作系统就要进行管理，就要先描述，再组织。linux内核是C写的，C中怎么描述一种协议，在技术上就是struct。协议一定要能被表现为某一种特定的struct。

struct可以定义变量，那么传送数据的时候除了数据本身还要传送协议吗?

比如我们买水果，快递有盒子，盒子上有发件人，收件人，邮编，电话。我们只是要快递里的东西，为什么要有盒子，还要贴张纸？直接给水果不行吗？光光有水果，一个学校的人都买各种各样的水果，没有单子就无法确定水果是谁的。快递上的单子本质是为了解决上述的三个问题中的定位(找收件人)和效率问题(发件根据地区分区)和可靠性问题（订单号帮助快递公司查找）。快递单实际上就是一种协议，就是一个约定。我们虽然只买水果，但是实际上收到的东西比水果多，多出来的东西是协议。

比如我们聊天发送“在吗”，实际上主机A给主机B发的信息肯定是比“在吗”多出的一大堆协议信息。

总结：

1. 协议是一种约定，但协议最终在操作系统层面上一定以struct的形式呈现。
2. 实际上网络通信时，发送的数据和接收的数据一定比核心数据多，多出的内容是协议。
3. 协议+数据就构成了数据段，数据帧，数据报等概念。

“在吗”是数据，报头协议最后一定是一个结构体，可以定义变量，进行填充数据，将两份数据拼成一个数据就是报文，从而转发。

网络协议初识

协议分层

1. 网络结构在软件设计上是层状结构，设计层状结构的目的是解耦，可维护性比较强
2. 层和层之间通过每一层接口进行交互。

为什么要分层？

类似快餐汉堡，每层分开，制作任何一层都很快，如果要推出新产品更新就很快。在软件工程上这种方式叫解耦，彼此之间不会互相影响，可维护性强，便于分批组装形成新的功能。在计算机网络中分层也是一样的道理，每一层处理特定的任务有特定的功能。即网络的层状结构中每一层都有自己的功能，彼此之间不会互相影响，方便维护。分层最大的好处在于封装。

层和层之间怎么交互？

上层需要使用下层提供的功能，下层需要将收到的数据转发给上层。层和层之间通过每一层接口进行交互，上层同过调用下层的接口进行使用。

比如打电话的例子，可以分成语言层，通信设备层。不管是换上层还是换下层都不会影响其他层。如果实际通信中任何一层出现问题，因为层与层之间相对独立，因此任何一层出问题是不会影响另一层的。

OSI七层模型

OSI（Open System Interconnection，开放系统互连）七层网络模型称为开放式系统互联参考模型，是一个逻辑上的定义和规范，其把网络从逻辑上分为了7层。每一层都有相关、相对应的物理设备。但是,它既复杂又不实用。

OSI模型：

TCP/IP五层（或四层）模型

TCP/IP是一组协议的代名词，它还包括许多协议，组成了TCP/IP协议簇。

TCP/IP通讯协议采用了5层的层级结构，每一层都呼叫它的下一层所提供的网络来完成自己的需求。

• 物理层: 负责光/电信号的传递方式。比如现在以太网通用的网线(双绞线)、早期以太网采用的的同轴电缆 (现在主要用于有线电视)、光纤, 现在的wifi无线网使用电磁波等都属于物理层的概念。物理层的能力决定了最大传输速率、传输距离、抗干扰性等。集线器(Hub)工作在物理层(类似加油站)。调制解调器(Model)进行数字信号和模拟信号的转换。

• 数据链路层: 负责设备之间的数据帧的传送和识别。例如网卡设备的驱动(驱动属于软件)、帧同步(就是说从网线上检测到什么信号算作新帧的开始)、冲突检测(如果检测到冲突就自动重发)、数据差错校验等工作。有以太网、令牌环网,无线LAN等标准。交换机(Switch)工作在数据链路层。

  • 数据链路层的数据和报头的总体叫数据帧
  • 局域网通信以以太网为例，是以碰撞域实现通信
  • 实现碰撞前要做帧同步。其一：每个主机往局域网发，那么每个主机访问局域网，会造成数据干扰，因此局域网就相当于临界资源。其二：网络里有很多杂乱信号，怎么确定主机已经开始发送信号，这些信息不是杂乱信号。通过帧同步和MAC帧中的校验信息得到的，比如CRC差错检验
  • 在历史上先有局域网再有广域网，无法统一各种实验室的各种局域网协议，常见的有三种比如以太网，令牌环网()，无线LAN
    • 令牌环网：持有令牌就可以传输，相当于mutex锁，对于没有令牌的进行唤醒。
    • 以太网名词的由来：物理学家从无到有又推翻的概念，当发展局域网协议的时候为了纪念起名为一个以太网。

• 网络层: 负责地址管理和路由选择。 例如在IP协议中, 通过IP地址来标识一台主机, 并通过路由表的方式规划出两台主机之间的数据传输的线路(路由)。路由器(Router)工作在网路层。

  • 网络层要完成跨网络传输先要完成局域网内对路由器的传输，先要完成数据链路层的传输。

• 传输层: 负责两台主机之间的数据传输。如传输控制协议 (TCP), 能够确保数据可靠的从源主机发送到目标主机。

• 应用层: 负责应用程序间沟通，如简单电子邮件传输（SMTP）、文件传输协议（FTP）、网络远程访问协议（Telnet）等。我们的网络编程主要就是针对应用层。

  • 物理层+数据链路层解决局域网间的通信传到路由器
  • 网络层保证主机间可以跨网络传送数据
  • 传输层保证可靠高效地进行主机间传送数据
  • 经过层层传输是为了使用数据，在应用层实现邮件通信、域名解析，网页获取，数据加密等。
  • 应用层不是操作系统实现的。应用层协议比下层协议多很多。

物理层我们考虑的比较少. 因此很多时候也可以称为 TCP/IP四层模型

OSI七层模型和TCP/IP分层模型最主要的区别

TCP/IP模型把OSI七层模型的上三层模型会话表示应用层压缩成一个应用层。

一般而言对于一台主机：

• 它的操作系统内核实现了从传输层和网络层那个物理层的内容;
• 驱动实现了链路层 ；
• 网卡实现了物理层；

对于一台路由器, 它实现了从网络层到物理层;

对于一台交换机, 它实现了从数据链路层到物理层;

对于集线器, 它只实现了物理层。

网络传输基本流程

网络传输流程图

同一个网段内的两台主机传输

两台计算机通过TCP/IP协议通讯的过程如下所示：

下三层为通信细节：包括发什么数据，什么时候发，怎么发，丢包怎么处理，要不要重传，怎么重传。

上层：只关心发什么数据，对方收到没有。

规律：

1. 数据包=报头+数据（有效载荷）。任何一层不关心上一层的细节，只关心整体。
2. 几乎所有的协议都要解决报头和有效载荷的分界问题。
3. 自顶向下封装的时候可以直接调用下层方法进行封装；自顶向上的时候要确认自己的有效载荷需要交给上层哪个协议？比如IP是交给TCP还是FTP，几乎所有的协议，都要解决的第二个问题：确认分离之后，将自己的有效载荷交付给上层的那个协议——分用
4. 局域网中所有的主机可以直接通讯，如何确定A主机是发送给服务器还是B,C主机。在数据链路层中，有一个mac地址(网卡硬件地址/序列号)，全球唯一。
5. 局域网通信原理：碰撞域，碰撞检测，碰撞避免。
   1. 局域网中所有主机可以直接通讯，整个局域网就是一个碰撞域。
   2. 局域网通信类似在教室上课，点名的时候所有人能听到，但只有对应的学生(报头携带的mac地址)会站起来。
   3. 点名的时候其他学生（主机）在大声交流（通讯），彼此的声音会互相干扰。这就是数据碰撞，同一个局域网中有多台主机通信可能会导致数据碰撞，会导致彼此之间都没法通信。比如同一时刻1,4,2,3都往局域网上塞数据，碰撞就会产生垃圾数据。
   4. 检测到数据发生碰撞，主机就会进行重发。这就是局域网的碰撞检测(CRC校验)。
   5. 碰撞之后再重发仍然可能再次碰撞（比如生活中的互相让路）。因此要进行碰撞避免，最常见的做法就是等待，在等待的过程中不断检测当前有没有发送。

局域网单对单通信：mac报头中指定对应mac地址，在不发生碰撞情况下，所有主机分析确认是否发送给自己，只有目标主机会向上交付。

局域网广播通信:将目标主机设置为一个约定好的在局域网中都不存在的mac地址，所有主机约定其代表广播地址,所有主机都会向上交付，广播地址一般设置为0xfffffff。

因此如果局域网主机很多，碰撞概率很大。如果局域网中主机就是特别多，怎么进行划分碰撞域？交换机的作用就是当某一个片区发生碰撞，这个碰撞报文就不用再转发了。

黑局域网就只要往局域网塞垃圾数据，其他主机一发就会发生碰撞。但是该做法会被mac帧的碰撞避免算法检测。

跨网段的主机的传输

1. 跨网段的主机的传输过程：

2. 跨网络传输有一个数据报头一定在不断变化：以太网帧结构的内容，从IP层开始的内容都没变，IP地址不发生变化。

可以理解成，全球的互联网都叫做IP网络，IP把所有的局域网都封装了一下，所有的网络统一可以看成IP网络，这是一种虚拟化技术。比如linux下的VFS虚拟文件系统，进程地址空间，IP同理通过封装一层软件(驱动软件)层，摒弃了底层局域网的网络标准差异。上层认为底层的协议都是IP协议。

左侧源mac地址是A主机mac地址，目标mac地址是路由器mac地址。经过一次路由转发，源mac地址变成路由器的右边接口/网卡，目的主机B变成目标mac。

源IP和目标IP并没有变化。

**可以发现存储着两套地址，目的IP指明了方向，下一跳决定了如何一跳一跳达到目的IP。**具体达到目的地的过程之后再谈。

数据包封装和分用

• 不同的协议层对数据包有不同的称谓,在传输层叫做段(segment),在网络层叫做数据报 (datagram),在链路层叫做帧(frame)，在应用层叫做请求和响应。
• 应用层数据通过协议栈发到网络上时,每层协议都要加上一个数据首部(header),称为封装(Encapsulation)。
• 首部信息中包含了一些类似于首部有多长, 载荷(payload)有多长（报头和有效负载的分界问题）, 上层协议是什么(分用)等信息。
• 数据封装成帧后发到传输介质上,到达目的主机后每层协议再剥掉相应的首部, 根据首部中的"上层协议字段" 将数据交给对应的上层协议处理。

下图为数据封装的过程：

下图为数据分用的过程：

网络中的地址管理

IP地址

IP协议有两个版本, IPv4和IPv6，没有特殊说明的, 默认都是指IPv4。

• IP地址是在IP协议中, 用来标识网络中不同主机的地址;
• 对于IPv4来说,IP地址是一个4字节,32位的整数;
• 我们通常也使用"点分十进制" 的字符串表示IP地址,例如192.168.0.1 ; 用点分割的每一个数字表示一个字节,范围是0-255。

私有IP是可以重复的。公网IP是不能重复的。

IPV6是128位。

认识MAC地址

• MAC地址用来识别数据链路层中相连的节点;
• 长度为48位,即6个字节。一般用16进制数字加上冒号的形式来表示(例如: 08:00:27:03:fb:19)(每个中间用的是8进制方案)
• 在网卡出厂时就确定了,不能修改。mac地址通常是唯一的(虚拟机中的mac地址不是真实的mac地址,可能会冲突，可能会变化;也有些网卡支持用户配置mac地址)。

linux下查看网络信息

• 命令:ifconfig

inet:在局域网中对应的ip地址，云服务器可以通过xshell看到公网ip

netmask:子网掩码,和inet进行按位与获得网段。

broadcast:mac地址有广播，ip地址也有广播

inet6:ipv6相关信息

ehter:以太网

txqueuelen:底层网络中当前收到了多少数据

RX:收到的信息

TX:发送的消息

• 命令:lspci

作用：查看当前在pci主板中挂接的硬件设备。通常用来确认驱动是否安装。

总结

网络转发的过程可不可以直接从应用层到对方的应用层？可以不可以从IP层到对方的IP层？不行。所有的数据都必须在物理层上跑，笔记本要把数据交给路由器，先把数据交给网卡，网卡把数据给网线，网线传送到路由器。

网络通信的框架过程：

其实是一个不断下楼和上楼的过程。