自定义加密协议

攻击者可以使用自定义加密协议或算法来隐藏命令控制流量。简单的方案如用固定密钥对明文进行异或，产生很弱的密文。 自定义加密方案的复杂程度会有不同。恶意软件样本的分析和逆向工程可能足以发现所使用的算法和加密密钥。 一些攻击者还会尝试自己实现知名的加密算法，而不是使用已知的实现库，这可能导致无意的错误。

缓解

使用网络签名来识别特定恶意软件的流量的网络入侵检测和防御系统可减少网络级活动。 由于使用的自定义协议可能不符合典型的协议标准，因此可能有机会在网络级别对流量签名以进行检测。 签名通常用于协议内的唯一指示器，可能基于特定的攻击者或工具使用的特定协议，并且可能在不同的恶意软件系列和版本之间不同。 攻击者可能会随着时间的推移修改工具命令与控制签名，或者以这种方式构造协议以规避常见的防御工具的检测。

检测

如果恶意软件使用带有对称密钥的自定义加密，则可以从样本中获取算法和密钥，并使用它们来解码网络流量以检测恶意软件通信签名。

通常，分析网络数据以查找不常见的数据流（例如，客户端发送的数据远多于从服务器接收的数据）。 利用通常没有网络通信或以前从未见过的网络的进程是可疑的。 分析数据包内容以检测通信何时不遵循正在使用的端口的预期协议行为。