量化投资技术文档

p2p_2

29分钟阅读

dial

这段代码实现了dialer的主循环，用于执行P2P网络中的拨号操作。主要功能如下：

  1. 可以启动新的拨号
  2. 可以使用静态连接，不会从连接池中废除，一般静态连接用来标记重要节点，前期使用，比如bootnode节点add peer谁谁
  3. 可以清楚历史的拨号记录
  4. 可以处理节点的添加删除
  5. 需要通过节点连接池和静态节点连接池来维护节点

peer

peer.go是Go-Ethereum中实现节点通信和交互的核心文件，它实现了节点发现、连接、消息传输、状态同步等功能。以下是v1.10.18版本中peer.go文件的详细分析：

  1. Peer结构体

Peer结构体表示一个以太坊网络中的节点，包括节点的ID、地址、协议版本、网络ID、最近的ping和pong时间等信息。其中，节点ID是一个32个字节的唯一标识符，节点地址是一个包含IP地址和端口号的字符串，协议版本和网络ID用于协议兼容性和同步，ping和pong时间用于测试节点之间的连接性和延迟。Peer结构体实现了Conn接口，可以通过tcp或udp协议连接和通信。

设计原理：Peer结构体是Go-Ethereum节点通信的基本单元，通过封装节点的基本信息和实现Conn接口，实现了节点之间的数据传输和通信。

  1. peerPool结构体

peerPool结构体表示一个以太坊节点池，维护了当前连接的节点列表、最近的ping和pong时间等信息。其中，节点列表是一个PeerSet类型的集合，用于添加、删除和查询节点。peerPool结构体实现了PeerSet接口，可以对节点列表进行操作。

设计原理：peerPool结构体是Go-Ethereum节点通信的管理器，通过封装节点列表和实现PeerSet接口，实现了节点的管理和查询。

  1. peerDiscovery接口

peerDiscovery接口表示一个以太坊节点发现协议，用于发现和连接其他节点。Go-Ethereum中实现了多种节点发现协议，包括DNS、UPnP、以太坊节点协议等。其中，DNS和UPnP协议用于自动发现节点，以太坊节点协议用于主动连接其他节点。

设计原理：peerDiscovery接口是Go-Ethereum节点发现的抽象，通过定义节点发现的接口和方法，实现了不同的节点发现协议的实现和切换。

  1. peerConn结构体

peerConn结构体表示一个以太坊节点之间的连接，包括连接的本地地址、远程地址、连接的状态等信息。其中，本地地址和远程地址是一个包含IP地址和端口号的字符串，连接的状态包括已建立、已关闭、正在握手等。peerConn结构体实现了Conn接口，可以通过tcp或udp协议进行数据传输。

设计原理：peerConn结构体是Go-Ethereum节点通信的基本单元，通过封装连接的基本信息和实现Conn接口，实现了节点之间的数据传输和通信。

  1. pingHandler和pongHandler

pingHandler和pongHandler实现了ping和pong消息的处理，用于测试节点之间的连接性和延迟。其中，ping消息是由发起方发送给接收方，用于测试接收方是否在线，接收方收到ping消息后需要回复pong消息。如果在一定时间内没有收到pong消息，则认为连接已断开。

设计原理：ping和pong消息是Go-Ethereum节点通信的基本消息，通过实现ping和pong消息的处理和回复，实现了节点之间的连接性测试和维护。

  1. statusHandler

statusHandler实现了status消息的处理，用于同步节点之间的区块链状态和头信息。status消息包含当前节点的区块高度、最近的区块头信息、网络ID等信息，用于通知其他节点自己的状态和同步区块链。

设计原理：status消息是Go-Ethereum节点通信的重要消息，通过实现status消息的处理和回复，实现了节点之间的状态同步和区块链同步。

  1. getPeersHandler

getPeersHandler实现了getPeers消息的处理，用于获取当前节点的对等节点列表。getPeers消息由发起方发送给接收方，接收方需要回复当前节点的对等节点列表。对等节点列表中包含其他节点的ID和地址信息，用于节点发现和连接。

设计原理：getPeers消息是Go-Ethereum节点通信的重要消息，通过实现getPeers消息的处理和回复，实现了节点之间的对等节点信息的交换和更新。

  1. newPeer函数

newPeer函数创建一个新的以太坊节点，并返回一个Peer结构体。其中，节点ID和地址是根据输入的参数生成的，协议版本和网络ID是从全局配置中获取的。

设计原理：newPeer函数是Go-Ethereum节点通信的创建函数，通过输入参数的生成和全局配置的获取，实现了节点的自动创建和初始化。

  1. peerCap函数

peerCap函数返回一个字符串，表示当前节点的协议版本和支持的功能。其中，协议版本是从全局配置中获取的，支持的功能包括区块同步、交易同步、状态同步等。

设计原理：peerCap函数是Go-Ethereum节点通信的功能函数，通过返回节点的协议版本和支持的功能，实现了节点之间的协议兼容性和交互。

  1. peerPoolConfig函数

peerPoolConfig函数返回一个P2PConfig结构体，包含了节点池的配置信息，包括最大连接数、最大空闲时间、最大ping延迟等。

设计原理：peerPoolConfig函数是Go-Ethereum节点通信的配置函数，通过返回节点池的配置信息，实现了节点池的管理和优化。

综上，peer.go文件实现了Go-Ethereum节点通信的核心功能，包括节点发现、连接、消息传输、状态同步等。通过封装节点、连接、消息等基本单元和实现接口和方法，实现了节点之间的数据传输、通信和管理。其中，节点发现协议、ping/pong消息、status消息、getPeers消息等实现了节点之间的连接性测试、状态同步、对等节点信息交换等功能，为以太坊节点之间的交互提供了基础。同时，节点池和节点配置等实现了节点的管理和优化，提高了以太坊节点通信的性能和稳定性。

message

message.go文件位于p2p/rlpx包下，主要实现了RLPx协议中的消息编码和解码功能。主要功能如下：

  1. RLPxMessage接口：该接口定义了RLPx消息的编码和解码方法，包括GetPayload、GetMsgCode、Encode、Decode等方法。
  2. messageCodeMap变量：该变量是一个map，用于存储RLPx消息类型和对应的消息编码之间的映射关系。
  3. messageTypeInfo结构体：该结构体表示一个RLPx消息类型的相关信息，包括消息类型、消息名称、消息编码、消息长度等。
  4. messageTypes变量：该变量是一个messageTypeInfo的切片，表示所有支持的RLPx消息类型及其相关信息。
  5. NewMessage函数：该函数用于根据给定的消息类型和消息体创建一个RLPx消息对象。
  6. DecodeMessage函数：该函数用于将收到的字节流解码成RLPx消息对象。解码过程中，函数首先读取消息类型和消息体长度，然后根据消息类型查找对应的消息编码，最后使用消息编码对消息体进行解码。
  7. EncodeMessage函数：该函数用于将RLPx消息编码成字节流。编码过程中，函数首先根据消息类型查找对应的消息编码，然后使用消息编码对消息体进行编码，最后将消息类型和编码后的消息体合并成一个字节流。

总体来说，message.go文件实现了RLPx协议中的消息编码和解码功能，包括对各种RLPx消息类型进行编解码、消息长度的处理等。通过该文件，P2P节点可以将消息编码成字节流进行传输，或者将收到的字节流解码成消息进行处理。

server

server.go是geth中p2p网络层的核心文件之一，它实现了p2p网络中的各种功能，例如连接管理、消息广播、节点发现等。下面对server.go进行详细分析：

  1. 数据结构定义

在server.go中定义了多个数据结构，包括：

  • Server：表示一个p2p服务器，包含多个连接、节点管理器、消息广播器等成员变量。
  • conn：表示一个p2p连接，包含连接ID、连接状态、读写缓冲区等成员变量。
  • remote：表示一个远程节点，包含节点ID、协议版本、网络地址等成员变量。
  1. 主函数

main函数是server.go的入口函数，主要功能是启动p2p服务器和处理命令行参数。在启动服务器之前，需要读取配置文件中的参数，例如监听地址、端口号、节点ID等。如果没有指定节点ID，则会生成一个新的节点ID。之后，主函数会调用startServer函数启动p2p服务器。

  1. 启动服务器

startServer函数会创建一个Server对象，然后开始监听指定的地址和端口号。在监听到新的连接请求时，会创建一个conn对象，并将其加入到Server的连接列表中。之后，会启动一个goroutine来处理该连接，该goroutine会调用handleConnection函数来处理该连接的读写操作。

  1. 处理连接

handleConnection函数是一个无限循环，用于处理连接的读写操作。在循环开始时，会读取连接的协议版本号和节点ID，并将其保存到remote对象中。之后，会向远程节点发送自己的节点ID和协议版本号。接下来，会进入一个读取循环，不断从连接中读取数据并交给消息处理器处理。如果读取到错误或连接关闭，则会将连接从Server的连接列表中删除。

  1. 消息处理器

消息处理器负责处理连接中传输的各种消息，包括节点发现、交易、块、ping等。消息处理器会根据消息类型调用相应的处理函数进行处理。例如，如果收到了一个交易消息，则会调用handleTxMsg函数处理该交易。处理函数会将消息解码成相应的数据结构，并进行验证和处理。如果处理成功，则会将消息广播给其他节点。

  1. 节点管理器

节点管理器负责管理p2p网络中的所有节点，包括添加新节点、删除失效节点、更新节点状态等。节点管理器会定期向其他节点发送ping消息，以检测节点是否在线。如果节点长时间未响应，则会将其标记为失效节点，并从节点列表中删除。

  1. 消息广播器

消息广播器负责将收到的消息广播给其他节点。在收到一个新消息时，消息广播器会遍历所有连接，并将消息发送给所有连接对应的远程节点。如果发送失败，则会将连接标记为失效连接，并从连接列表中删除。

  1. 总结

server.go是geth中p2p网络层的核心文件之一，实现了p2p网络中的各种功能，包括连接管理、消息广播、节点发现等。它通过多个协程并发处理连接和消息，实现了高效的网络通信。同时，它也提供了丰富的接口和回调函数，方便用户进行自定义扩展和处理。

transport

transport.go是geth中p2p网络层的另一个核心文件，它实现了p2p网络层的传输协议，包括数据加密、数据压缩、消息分包等功能。下面对transport.go进行详细分析：

  1. 数据结构定义

在transport.go中定义了多个数据结构，包括：

  • Transport：表示一个p2p传输层，包含加密、压缩、消息分包等成员变量。
  • packet：表示一个p2p消息包，包含消息类型、消息体、消息长度等成员变量。
  1. 主函数

主函数是transport.go的入口函数，主要功能是创建一个Transport对象，并设置加密、压缩等参数。之后，主函数会返回该Transport对象供上层调用。

  1. 加密

加密是p2p传输层的一个重要功能，可以保护消息的机密性和完整性。在Transport对象创建时，可以设置加密算法和密钥。在发送消息时，会将消息体进行加密，并在消息头中标记加密算法和密钥。在接收消息时，会根据消息头中的加密算法和密钥进行解密，并验证消息的完整性。

  1. 压缩

压缩是p2p传输层的另一个重要功能，可以减少消息的传输量，提高网络传输效率。在Transport对象创建时，可以设置压缩算法和压缩阈值。在发送消息时，会根据消息体的大小和压缩阈值来决定是否进行压缩。在接收消息时，会根据消息头中的压缩算法进行解压缩。

  1. 消息分包

消息分包是p2p传输层的第三个重要功能，可以将大的消息分成多个小的消息进行传输，以避免网络丢包和传输延迟。在Transport对象创建时，可以设置最大消息长度和分包大小。在发送消息时，如果消息体大小超过了最大消息长度，则会将消息分成多个小的消息进行传输。在接收消息时，会根据消息头中的分包信息将多个小的消息合并成一个完整的消息。

  1. 总结

transport.go是geth中p2p网络层的另一个核心文件，实现了p2p网络层的传输协议，包括数据加密、数据压缩、消息分包等功能。它通过多个协程并发处理消息传输和处理，实现了高效的网络通信。同时，它也提供了丰富的接口和回调函数，方便用户进行自定义扩展和处理。

msgrate

msgrate.go是geth中p2p网络层中的一个辅助文件，用于帮助管理消息传输速率。它实现了多个限速算法，包括令牌桶算法、平滑限速算法等。下面对msgrate.go进行详细分析：

  1. 数据结构定义

在msgrate.go中定义了多个数据结构，包括：

  • MsgRate：表示一个消息传输速率管理器，包含多个限速算法、速率统计器等成员变量。
  • Limiter：表示一个消息限速器，包含一个限速算法和速率统计器等成员变量。
  1. 限速算法

msgrate.go实现了多个限速算法，包括令牌桶算法、平滑限速算法等。这些算法都继承了Limiter接口，并实现了Limit方法，用于限制消息传输速率。在MsgRate对象创建时，可以选择使用哪种限速算法。

  1. 统计速率

MsgRate对象还包含了速率统计器，用于统计当前的消息传输速率。在发送消息时，会根据消息大小和发送时间更新速率统计器的状态。在处理限速时，会根据当前速率和限速算法计算出需要等待的时间。

  1. 总结

msgrate.go是geth中p2p网络层中的一个辅助文件，用于帮助管理消息传输速率。它实现了多个限速算法，并提供了速率统计器，可以根据当前速率和限速算法进行限速。它通过实现Limiter接口，可以方便地扩展和替换限速算法。同时，它也提供了丰富的接口和回调函数，方便用户进行自定义扩展和处理。

静态连接的概念

静态连接一般是在节点的启动配置中进行指定的，用于建立与特定节点的连接。在以太坊网络中，静态连接通常用于建立与早期的、重要的节点的连接，以确保节点能够及时获取到最新的区块和交易信息。

具体来说，以太坊网络中的静态连接一般是由节点运营者或者开发者在节点的启动配置中指定的。在启动节点时，可以通过命令行参数或者配置文件等方式指定静态连接，如下面的例子：

geth --bootnodes enode://<enodeID>@<ip>:<port>

在上述命令中，enode://<enodeID>@<ip>:<port>表示要连接的静态节点的enode URL，其中<enodeID>是节点的ID，<ip>是节点的IP地址，<port>是节点的端口号。通过这种方式指定静态连接，可以保证节点与指定的静态节点建立连接。

由于静态连接是预先指定的，因此在节点运行期间不会被连接池回收，从而确保了节点与特定节点之间的连接始终存在。这对于节点的稳定运行和网络同步非常重要。

过滤器

  1. eth/filters是以太坊客户端Geth中提供的一个API接口，用于实现事件过滤功能。它可以让开发者通过指定一些条件来过滤以太坊区块链上发生的事件，以便对感兴趣的事件进行监听和处理。

    eth/filters的核心机制是过滤器（Filter），每个过滤器都是一个事件的筛选器，可以根据指定的条件对以太坊的交易和日志进行筛选。当一个交易或日志满足过滤器的条件时，就会触发相应的事件。

    eth/filters提供了以下三种类型的过滤器：

    1. 区块过滤器（Block Filter）：用于监听区块的产生，当新的区块被添加到区块链上时，就会触发相应的事件。
    2. 交易过滤器（Transaction Filter）：用于监听交易的产生，当新的交易被添加到区块链上时，就会触发相应的事件。
    3. 日志过滤器（Log Filter）：用于监听日志的产生，当新的日志被添加到区块链上时，就会触发相应的事件。

    对于每种类型的过滤器，都有一个对应的API方法可以创建和删除过滤器，以及查询符合条件的事件。下面我们分别介绍这些API方法的详细使用方法。

    1. 区块过滤器（Block Filter）

    创建区块过滤器：

    eth_newBlockFilter()

    该方法用于创建一个新的区块过滤器，返回一个整数（过滤器ID），表示该过滤器的唯一标识符。

    删除区块过滤器：

    eth_uninstallFilter(filterID)

    该方法用于删除指定ID的区块过滤器，参数filterID为eth_newBlockFilter()方法返回的过滤器ID。

    查询符ChatGPT

    查询符合条件的事件：

    eth_getFilterChanges(filterID)

    该方法用于查询某个区块过滤器中符合条件的事件，返回一个包含所有事件数据的数组，每个元素都是一个对象，包含了该事件的详细信息，如区块号、区块哈希等。

    eth_getFilterLogs(filterID)

    该方法与eth_getFilterChanges(filterID)类似，用于查询某个区块过滤器中符合条件的事件，返回的数据格式与eth_getFilterChanges(filterID)相同，但是该方法会返回所有符合条件的日志，而不仅仅是最近一次查询到的事件。

    1. 交易过滤器（Transaction Filter）

    创建交易过滤器：

    eth_newPendingTransactionFilter()

    该方法用于创建一个新的交易过滤器，用于监听所有未确认的交易。返回一个整数（过滤器ID），表示该过滤器的唯一标识符。

    eth_newBlockTransactionFilter(blockHash)

    该方法用于创建一个新的交易过滤器，用于监听指定区块内的交易。参数blockHash为指定区块的哈希值。返回一个整数（过滤器ID），表示该过滤器的唯一标识符。

    删除交易过滤器：

    eth_uninstallFilter(filterID)

    该方法用于删除指定ID的交易过滤器，参数filterID为eth_newPendingTransactionFilter()或eth_newBlockTransactionFilter(blockHash)方法返回的过滤器ID。

    查询符合条件的事件：

    eth_getFilterChanges(filterID)

    该方法用于查询某个交易过滤器中符合条件的事件，返回一个包含所有事件数据的数组，每个元素都是一个十六进制字符串，表示交易的哈希值。

    eth_getFilterLogs(filterID)

    该方法与eth_getFilterChanges(filterID)类似，用于查询某个交易过滤器中符合条件的事件，返回的数据格式与eth_getFilterChanges(filterID)相同，但是该方法会返回所有符合条件的交易，而不仅仅是最近一次查询到的事件。

    1. 日志过滤器（Log Filter）

    创建日志过滤器：

    eth_newFilter(filterObject)

    该方法用于创建一个新的日志过滤器，参数filterObject是一个对象，用于指定过滤器的条件。该对象可以包含以下属性：

    • fromBlock: 开始查询的区块号（十六进制字符串或整数）。
    • toBlock: 结束查询的区块号（十六进制字符串或整数）。
    • address: 监听的合约地址（十六进制字符串或数组）。
    • topics: 监听的事件主题，可以是一个或多个主题（数组）。

    返回一个整数（过滤器ID），表示该过滤器的唯一标识符。

    删除日志过滤器：

    eth_uninstallFilter(filterID)

    该方法用于删除指定ID的日志过滤器，参数filterID为eth_newFilter(filterObject)方法返回的过滤器ID。

    查询符合条件的事件：

    eth_getFilterChanges(filterID)

    该方法用于查询某个日志过滤器中符合条件的事件，返回一个包含所有事件数据的数组，每个元素都是一个对象，包含了该事件的详细信息，如区块号、区块哈希、合约地址、事件主题等。

    eth_getFilterLogs(filterID)

    该方法与eth_getFilterChanges(filterID)类似，用于查询某个日志过滤器中符合条件的事件，返回的数据格式与eth_getFilterChanges(filterID)相同，但是该方法会返回所有符合条件的日志，而不仅仅是最近一次查询到的事件。

    需要注意的是，eth/filters API接口中的所有方法都是异步执行的，都需要使用回调函数来处理返回的结果。另外，创建过滤器时需要注意过滤条件的设置，以确保能够正确地筛选出目标事件。

关系图谱