欢迎来到我的频道!【点击跳转专栏】
本文所有代码已托管至码云:【点此转跳】
文章目录
- 1. NAT技术
- 1.1 NAT IP转换过程
- 1.2 NAPT
- 1.3 NAT技术的缺陷
- 2. 内网打洞和内网穿透(应用层技术)
- 2.1 内网打洞
- 2.2 内网穿透
- 2.3 二者对比
- 3. 代理服务器
- 3.1 正向代理
- 3.2 反向代理
- 3.3 NAT和代理服务器
- 3.4 广域网正向代理实现跨地域访问资源(技术层面分享,不提供任何手段方法!)
1. NAT技术
之前我们讨论了, IPv4协议中, IP地址数量不充足的问题
NAT技术是当前解决IP地址不够用的主要手段, 是路由器的一个重要功能;
- NAT能够将私有IP对外通信时转为全局IP. 也就是就是一种将私有IP和全局IP相互转化的技术方法:
- 很多学校, 家庭, 公司内部采用每个终端设置私有IP, 而在路由器或必要的服务器上设置全局IP;
- 全局IP要求唯一, 但是私有IP不需要; 在不同的局域网中出现相同的私有IP是完全不影响的;
1.1 NAT IP转换过程
- NAT路由器将源地址从
10.0.0.10替换成全局的IP202.244.174.37; - NAT路由器收到外部的数据时, 又会把目标IP从
202.244.174.37替换回10.0.0.10; - 在NAT路由器内部, 有一张自动生成的, 用于地址转换的表:NAT转化表!;
- 当
10.0.0.10第一次向163.221.120.9发送数据时就会生成表中的映射关系;
私有IP内部,这种转化工作都会存在,在公网世界是不需要源ip地址转化的!
原理就是路由器的WAN口ip替换报文的源ip,当然不光ip,源端口也可能被替换!为什么替换 可以看1.2部分
1.2 NAPT
那么问题来了, 如果局域⽹内, 有多个主机都访问同⼀个外⽹服务器, 那么对于服务器返回的数据中, ⽬的IP都是相同的. 那么NAT路由器如何判定将这个数据包转发给哪个局域⽹的主机?
这时候NAPT来解决这个问题了. 使⽤IP+port来建⽴这个关联关系!
一张图搞定一切:
左边是私有 IP 网络:
客户端 A:10.0.0.10 客户端 B:10.0.0.11 客户端 C:10.0.0.12它们使用的都是10.0.0.0/8私有地址,不能直接在公网中路由。
NAT 路由器:
内网接口:10.0.0.1 公网接口:202.244.174.37右边是公网服务器:
服务器:163.221.120.9:80其中:
163.221.120.9是服务器 IP;80是服务器的 HTTP 端口;10.0.0.10:1025表示客户端 A 的 IP 和源端口。
客户端 A 发送数据:
客户端 A 发出的 TCP 报文是:
源地址:10.0.0.10:1025 目的地址:163.221.120.9:80意思是:
内网中的客户端 A,使用本地 1025 端口,访问公网服务器的 80 端口。
这个报文到达 NAT 路由器后,路由器会把源地址改成自己的公网地址:
源地址:202.244.174.37:1025 目的地址:163.221.120.9:80因此,服务器看到的并不是:
10.0.0.10:1025而是:
202.244.174.37:1025服务器只知道请求来自 NAT 路由器的公网地址,并不知道真实的内网地址。
转换表中记录:
10.0.0.10:1025 ↔ 202.244.174.37:1025这表示:
以后凡是收到发往
202.244.174.37:1025的数据,都应该转发给内网的10.0.0.10:1025。
客户端 B 也使用相同端口:
客户端 B 发出的报文是:
源地址:10.0.0.11:1025 目的地址:163.221.120.9:80注意,客户端 A 和客户端 B 恰好都使用了源端口1025。
如果 NAT 只修改 IP 地址,那么转换后会变成:
客户端 A:202.244.174.37:1025 客户端 B:202.244.174.37:1025这样服务器就无法区分两个连接。
因此,NAPT 会同时修改端口号。客户端 B 的报文经过路由器后变成:
源地址:202.244.174.37:1026 目的地址:163.221.120.9:80转换表记录为:
10.0.0.11:1025 ↔ 202.244.174.37:1026于是服务器看到的是两个不同的连接:
202.244.174.37:1025 → 163.221.120.9:80 202.244.174.37:1026 → 163.221.120.9:80虽然两个客户端共用同一个公网 IP,但可以通过不同的公网端口区分。
服务器返回数据:
服务器给客户端 A 返回数据时,目标地址是:
目的地址:202.244.174.37:1025 源地址:163.221.120.9:80NAT 路由器查找转换表:
202.244.174.37:1025 → 10.0.0.10:1025然后把报文改写为:
目的地址:10.0.0.10:1025 源地址:163.221.120.9:80再转发给客户端 A。
服务器给客户端 B 返回数据时,目标地址是:
目的地址:202.244.174.37:1026路由器查表后改成:
目的地址:10.0.0.11:1025于是数据就能正确返回客户端 B。
为什么必须记录端口?
NAT 只转换 IP 地址时,可以实现:
10.0.0.10 → 202.244.174.37但多个客户端共用一个公网 IP 时,仅靠 IP 地址无法区分连接。
NAPT 通过端口号区分不同连接:
10.0.0.10:1025 → 202.244.174.37:1025 10.0.0.11:1025 → 202.244.174.37:1026所以,NAPT 的核心就是:
用“公网 IP + 公网端口”唯一标识一个内网连接。
更准确地说,路由器通常会根据以下信息维护连接:
内网源 IP、内网源端口、 公网源 IP、公网源端口、 目的 IP、目的端口、协议类型NAPT 路由器把多个内网连接转换成不同的“公网 IP + 公网端口”,并通过转换表记录映射关系;发送数据时修改源地址和源端口,返回数据时根据目标公网端口还原成对应的内网地址和端口,从而让多个内网设备共享一个公网 IP 同时访问服务器。
这种关联关系也是由NAT路由器⾃动维护的. 例如在TCP的情况下, 建⽴连接时, 就会⽣成这个表项; 在断开连接后, 就会删除这个表项
1.3 NAT技术的缺陷
由于NAT依赖这个转换表, 所以有诸多限制:
- 无法从NAT外部向内部服务器建立连接;
- 转换表的生成和销毁都需要额外开销;
- 通信过程中一旦NAT设备异常, 即使存在热备份, 所有的TCP连接也都会断开;
2. 内网打洞和内网穿透(应用层技术)
2.1 内网打洞
当你访问云服务器时 你访问的ip 其实是运营商出入口路由器的WAN口IP。
至于你为什么可以直接通过ip+端口号访问网页 是因为 虽然云服务底层是 NAT,但是其一对一静态映射了公网ip和内网ip,所以对外表现上,就好像这台机器拥有一个专属公网 IP
同理 当你访问云服务器时 你使用的ip 其实也是是运营商出入口路由器的WAN口IP。
服务器返回数据时每次经过路由器 都会查NAT转换表进行地址转换!
假如你在学校和在家母亲在进行通信每次进行信息传输都要经过服务器 这么做是不是有点太麻烦了!
如果将学校那边出入口路由器的ip+port交给母亲所在主机,同理 将家那边出入口路由器的ip+port交给我所在主机,而NAT转化表不是之前都映射好了嘛?直接访问对应所在主机的出入口路由器,此时信息交流是不是就可以不用经过服务器了!
通过一个公共的服务器作中转,就好像给内网主机 在内网环境开了个洞,就此我们就可以直接向外部指定的出入口路由器进行访问,这种技术我们称为内网打洞技术(一般UDP打洞比较多)!
NAT 打洞不是由内核 TCP/IP 协议栈、NAT 设备自动完成的,必须靠应用程序主动发包,触发 NAT 生成映射表,所以归为应用层技术。
⚠️:运营商的出入口路由器要开放或者支持打洞技术才能测试成功!
2.2 内网穿透
如果公司一台机器里有程序出bug了 但是这台机器只能公司内网进行访问 此时你在家里需要就解决这个问题 该怎么办?
公司一般会有云服务器 且长期与公司内网建立连接 这意味着 公司内网和该云服务器是打通的!此时云服务和内网机器部署了某种服务(frp开源内网穿透工具),该服务 可以理解成是对内网的某种登录服务 ,比如说内部有个服务8080,云服务也有个服务6666,此时我们就可以把6666映射到8080!意味着云服务可以把我们发给6666端口的内容转发给内网的8888端口!至此我们访问云服务6666端口就相当于访问内网8888端口了 可以在家里访问内网的机器了,
frp = Fast Reverse Proxy,开源内网穿透工具
- frps:frp server,跑在有公网 IP 云服务器上的服务端程序
- frpc:frp client,跑在内网机器的客户端程序
frp 整体属于应用层反向代理程序,和刚才讲的 NAT 打洞一样,都是应用层方案。是开源软件!
内网机器里程序产生的数据,可以通过 frpc ↔ frps 这条隧道,发给访问云服务器 frps 端口的外网用户;反过来外网用户的数据也能发给内网机器!
2.3 二者对比
二者核心原理:都是利用NAT路由器所形成的NAT转化表会把我们内网服务暴露出去这一特征!
- 只不过内网穿透:强依赖一台云服务 为你一直做转发工作!云服务穿透到内网 给用户客观感觉是访问云服务器特定端口等于访问自己内网机器!
- 而内网打洞:其实是借鉴云服务器,做出入口路由器
ip+端口的交换,为了是摒弃云服务器
3. 代理服务器
3.1 正向代理
正向代理(Forward Proxy)是一种常见的网络代理方式,它位于客户端和目标服务器之间,代表客户端向目标服务器发送请求。正向代理服务器接收客户端的请求,然后将请求转发给目标服务器,最后将目标服务器的响应返回给客户端。通过这种方式,正向代理可以实现多种功能,如提高访问速度、隐藏客户端身份、实施访问控制等。
最常见的就是我们使用校园网 学校为了约束你不要科学但必须文明上网的行为,学校机房会有个代理服务器(如安装Nginx),将我们访问外网的请求保存留痕,并筛选拦截部分不良网站访问后原分不动进行转发,最后将目标服务器的响应返回给客户端。
原理:
- 客户端将请求发送给正向代理服务器。
- 正向代理服务器接收请求,并根据配置进行处理,如缓存查找、内容过滤等。
- 正向代理服务器将处理后的请求转发给目标服务器。
- 目标服务器处理请求,并将响应返回给正向代理服务器。
- 正向代理服务器将响应返回给客户端。
⚠️:服务器可以部署在内网也可以部署在外网。
功能特点:
正向代理可以理解为“客户端找的中间人”。客户端不直接访问目标服务器,而是先把请求发送给代理服务器,再由代理服务器代替客户端访问目标网站,最后把结果返回给客户端;
他是通过读取 HTTP 等应用报文,理解 “你要访问哪个网页”,代理解析完客户端的请求之后,自己发起一个全新的 HTTP 请求去访问目标服务器,拿到网页响应,再把响应报文返回给原始客户端(所以是应用层技术)。
客户端 → 正向代理 → 目标服务器 客户端 ← 正向代理 ← 目标服务器缓存功能:正向代理服务器可以缓存经常访问的资源,当客户端再次请求这些资源时,可以直接从缓存中获取,提高访问速度。内容过滤:正向代理可以根据预设的规则对请求或响应进行过滤,如屏蔽广告、阻止恶意网站等(拿到数据之后,控制「里面的内容能不能放行」(管报文里的内容))。访问控制:通过正向代理,可以实现对特定网站的访问控制,如限制员工在工作时间访问娱乐网站(控制「能不能访问这个站点」)。隐藏客户端身份:正向代理可以隐藏客户端的真实IP地址,保护客户端的隐私。负载均衡:可以使用多个目标服务器之间分配客户端请求,提高系统的可扩展性和可靠性。
应⽤场景:
- 企业网络管理:企业可以通过正向代理实现对员工网络访问的管理和控制,确保员工在工作时间内专注于工作,避免访问不良网站或泄露公司机密。
- 公共网络环境:在公共场所如图书馆、学校等提供的网络环境中,通过正向代理可以实现对网络资源的合理分配和管理,确保网络使用的公平性和安全性。
- 内容过滤与保护:家长可以通过设置正向代理来过滤不良内容,保护孩子免受网络上的不良信息影响。
- 提高访问速度:对于经常访问的网站或资源,正向代理可以通过缓存机制提高访问速度,减少网络延迟。
- 跨境电商与海外访问:对于跨境电商或需要访问海外资源的企业和个人,正向代理(海外服务器)可以帮助他们突破网络限制,顺畅地访问海外网站和资源。
3.2 反向代理
反向代理服务器是⼀种⽹络架构模式,其作为Web服务器的前置服务器,接收来⾃客⼾端的请求,并将这些请求转发给后端服务器,然后将后端服务器的响应返回给客⼾端。这种架构模式可以提升⽹站性能(静态资源提速)、安全性和可维护性等
基本原理:
反向代理服务器位于客⼾端和Web服务器之间,当客⼾端发起请求时,它⾸先会到达反向代理服务器。反向代理服务器会根据配置的规则将请求转发给后端的Web服务器,并将Web服务器的响应返回给客⼾端。在这个过程中,客⼾端并不知道实际与哪个Web服务器进⾏了交互,它只知道与反向代理服务器进⾏了通信。
代理读完 HTTP 应用层报文解析完成之后,和后端 Web 服务器重新建立一条全新 TCP 连接,再把请求发给后端。后端返回响应,代理拿到响应,再回复给外网用户,不是单纯转发ip包,所以是应用层技术!
应⽤场景:
负载均衡:反向代理服务器可以根据配置的负载均衡策略,将客户端的请求分发到多个后端服务器上,以实现负载均衡。这有助于提升网站的整体性能和响应速度,特别是在高并发场景下。安全保护:反向代理服务器可以隐藏后端Web服务器的真实IP地址,降低其被直接攻击的风险。同时,它还可以配置防火墙、访问控制列表(ACL)等安全策略,对客户端的请求进行过滤和限制,以保护后端服务器的安全。缓存加速:反向代理服务器可以缓存后端Web服务器的响应内容,对于重复的请求,它可以直接从缓存中返回响应,而无需再次向后端服务器发起请求。这可以大大减少后端服务器的负载,提升网站的响应速度。内容过滤和重写:反向代理服务器可以根据配置的规则对客户端的请求进行过滤和重写,例如添加或删除请求头、修改请求路径等。这有助于实现一些特定的业务需求,如URL重写、用户认证等。动静分离:在大型网站中,通常需要将静态资源和动态资源分开处理。通过将静态资源部署在反向代理服务器上,可以直接从反向代理服务器返回静态资源的响应,而无需再次向后端服务器发起请求。这可以大大提升静态资源的访问速度。CDN(Content Delivery Network,内容分发网络)就是采用了反向代理的原理。
一句话:CDN 就是分布在各地的反向代理节点集群,就近给用户返回静态资源,不用全部请求打到源站。
源站:你自己的云服务器(存放网站图片、js、css、视频等静态资源) 全国 / 全球很多 CDN 节点(就是一台台反向代理服务器)
- 静态资源提前缓存到各个 CDN 节点;
- 用户访问资源时,调度系统找离用户最近的 CDN 节点;
- 就近节点(反向代理)直接返回缓存好的图片 / 文件;
- 如果节点没有缓存,节点才去源站拉取资源,缓存下来再返回给用户。
3.3 NAT和代理服务器
路由器往往都具备NAT设备的功能,通过NAT设备进行中转,完成子网设备和其他子网设备的通信过程.
代理服务器看起来和NAT设备有一点像.客户端像代理服务器发送请求,代理服务器将请求转发给真正要请求的服务器;服务器返回结果后,代理服务器又把结果回传给客户端.
那么NAT和代理服务器的区别有哪些呢?
- 从应用上讲,
NAT设备是网络基础设备之一,解决的是IP不足的问题.代理服务器则是更贴近具体应用,比如通过代理服务器进行翻墙,另外像迅游这样的加速器,也是使用代理服务器. - 从底层实现上讲,NAT是工作在网络层,直接对IP地址进行替换.代理服务器往往工作在应用层.
- 从使用范围上讲,NAT一般在局域网的出口部署,代理服务器可以在局域网做,也可以在广域网做,也可以跨网.
- 从部署位置上看,NAT一般集成在防火墙,路由器等硬件设备上,代理服务器则是一个软件程序,需要部署在服务器上.
代理服务器是一种应用比较广的技术.
- 翻墙:广域网中的代理.
- 负载均衡:局域网中的代理.
3.4 广域网正向代理实现跨地域访问资源(技术层面分享,不提供任何手段方法!)
⚠️:只做技术层面分享,不分享传播任何工具!翻墙是违法行为,请合法合规使用网络!
当我们正常访问国内网站时,运营商不拦着我们!但当我们访问比如谷歌、推特等,运营商就会识别我们在非法访问,我们欠费的时候他们能拦截我们,当我们进行非法请求的时候也能进行拦截!因为运营商就是世界上最大的中间人!(现状)
此时如果你作为企业,有合法访问境外网站(如谷歌)的需求,此时我们就需要境外服务器或者国内服务器但可以访问境外站点(如香港、台湾地区),此时 我们要部署一个代理服务器(该代理服务器站在运营商角度我们必须是可以直接访问的);还需要一个软件,可以劫持我们所有应用(即 代理客户端),此时我们需要外部服务器ip地址,同时双方还需要有一套加密算法。
此时通过浏览器访问谷歌时,本地代理客户端会对我们的请求进行加密(此时运营商就不知道我们访问哪个站点),然后代理客户端,会把加密内容通过代理客户端扔到运营商,从而骗过运营最后推送到代理服务器。
然后代理服务器解密后 替我访问谷歌,谷歌将内容返回后,继续加密,防止内容被运营商识别丢弃,然后你访问代理服务器,人家给你应答很合理吧!然后把加密内容返回给客户端 代理客户端解密将内容返回给你的浏览器上!
kx上网本质就是欺骗运营商,通过加密的方式,不让他看到我们的请求应答内容!
正向代理我们需要解决通信:
- 常用技术为
socks5,socks5代理不解析里面的应用层报文,只帮客户端建立 TCP/UDP 通道,单纯搬运原始流量,由代理代为和目标服务器建立 TCP/UDP 通道(代理不知道你传的是 HTTP、SSH,只负责转发字节流)【代理客户端感兴趣可以自己搜】
正向代理我们需要解决加密:
- VPN、HTTPS等
正向代理我们需要服务器:
- 会有专门的人部署这种服务器(
我们称为机场!)
将代理客户端下载在主机上,然后机场往往会提供配置文件(代理服务器地址,密钥方面信息),配置文件下载,需要提供下载链接(网站一般在国内),然后将文件配置到代理客户端内部,此时就能选择境外服务器访问了。
(免责申明:翻墙为违法行为!这里只做技术分享,不提供任何实质性工具方法,供代理原理技术学习使用)