实用工具整理



[卷积池化计算器](http://www.sqflash.com/cal.html) 

[在线剪切MP3、AAC、M4A、OGG或WAV音频](https://cdkm.com/cn/cut-audio)

[可视化图](http://www.bioinformatics.com.cn/)

[MP3下载](https://tool.liumingye.cn/music/?page=searchPage#/)

[img2latex](https://www.simpletex.cn/)

实用工具合集

**记录在看论文的时候遇到的一些琐碎知识点。**


2023.3.27
* [Self-Attention ConvLSTM for Spatiotemporal Prediction - 知乎 (zhihu.com)](https://zhuanlan.zhihu.com/p/357347508)：这篇文章主要介绍了ConvLSTM的一种架构，引入了自注意力机制。AttConvLSTM
* [NeurIPS2022 | NSTransformers: 非平稳时间序列的通用预测框架 - 知乎 (zhihu.com)](https://zhuanlan.zhihu.com/p/587665491): 这个是Non-stationary Transformers模型，在啃TimesNet的时候首次接触到，是目前Transformer相关模型的通用架构，引入了窗口归一化（Normalization）与反归一化（De-normalization）。
*

论文随笔

**四专《世界/青年》收官曲：当你跨过边界朝我走来那天，哪怕此刻身处荒原也有星火点点！**



<div>
<center>
<iframe frameborder="no" border="0" marginwidth="0" marginheight="0" width=330 height=86 src="//music.163.com/outchain/player?type=2&id=2042914303&auto=1&height=66"></iframe>
    </center>
 </div>
 
> 我猜你也不想这样  
> 把困难当捆绑绕不出自设的墙紧闭着的窗  
我猜你也不想这样 
把生活打扮地就好像一场隆重虚伪的表象  
当安稳与危险相隔并不远  
而我们在等待着谁去跨越边界  
当我终于决定抛下所有一切  
哪怕此刻身处在荒原也有星火点点    
最深的暗是等待最弱的光将它照亮  
多希望我们之间可以不再需要语言    
我现在只想用最纯粹的眷恋  
兜住你所有脆弱疼痛无助哭泣的瞬间  
当安稳与危险相隔并不远  
而我们在等待着谁去跨越边界  
当我终于决定抛下所有一切  
哪怕此刻身处在荒原也有星火点点  
当世俗与偏见全都不理解  
但谁又何时期待过这一种理解  
当你跨过边界朝我走来那天  
哪怕此刻身处在荒原也有星火点点

《边界》：当世俗与偏见全都不理解，但谁又何时期待过这一种理解！

**AAAI 2023 PDFormer: Propagation Delay-Aware Dynamic Long-Range Transformer for
Traffic Flow Prediction**





目前代码还没吃透，不过论文的大致思路已经了解了，模型的整体架构是这样的：

![image.png](https://zhijiao-blog.com/static/img/9dcd51cf5626c358d4415cf3c6ac5028.image.webp)

核心就是中间的Spatial Temporal Encoder Block，和之前2021年KDD的顶会STGODE有点类似，但又不完全类似，也是Spatial Temporal Block的堆叠(自从Transformer出来之后好像都是这样……)每一个Block内多路并行，然后拼接……


### Embedding Part

这部分主要是嵌入层相关的内容，这个嵌入层基本是基于Transformer改的，公式是这样的：
$$
X_{emb} =  X_{data} + X_{spe} + X_{w} + X_{d} + X_{tpe}
$$

其中$X_{data}$就是时间序列的Embedding，文章里面记作 Token Embedding, $X_{tpe}$，是基于Token Embedding生成的位置嵌入向量，也就是Postional Embedding，这一套过程仔细看就是Transformer那一套：
Word -> Embedding -> Positional Embedding，源码大致看了一下，甚至也是基于$sin$和$cos$函数的位置信息，但是不同的是，像Transformer的语言模型，输入是（B，Seq_length,Embedding），而交通流量预测则是（B，nodes，history,features）,实际用的时候应该只是对时间序列做位置嵌入，也就是history这一个dim。至于$X_{spe}$，这个实际上就是邻接矩阵进行拉普拉斯处理后的结果，包含节点之间的空间距离，是空间信息的主要体现。

比较新奇的一点是$X_{w}$ 和 $X_{d}$，这两个分别代表的是节点的周流量和日流量，用论文里面的原话来说：“城市交通流受人们出行方式和生活方式的影响，具有明显的周期性，如早晚高峰时段。因此，我们引入两个嵌入分别覆盖周周期和日周期”。然后乘以分别两个权重参数，就得到了这俩参数，最后通过直接相加的方式得到最后的嵌入。由于源码太过封装化，所以没仔细调试看维度，不过这一块大致推断应该都是（B,Nodes,History,Embedding），相加的时候维度应该是对齐的，并没有使用广播机制。

### Spaitial Temporal Encoder 
这一块论文里面是按照三部分来说的，blog就从简了。
Q,K,V 不用多说，就是Embedding layer的输出乘以对应的权重矩阵，不过有点需要注意的是，这篇文章使用了三个自注意力机制，分别是Semantic、Geographic、Temporal三部分,分别对应语义信息、地理信息、时序信息，每一部分的维度可能是不一样的，大致看了源码是给每一个dim设置了一个比例。

以Semantice为例，Q，K，V分别表示该部分的参数，依旧是熟悉的注意力机制，首先计算注意力分数：
$$
A  = \frac{Q K^T}{\sqrt{d}}
$$
下一步应该就是经过softmax然后乘V，但是论文在这里引入了一个新的参数 $M_{sem}$，语义掩码矩阵。同样在Geographic Attention部分也有一个类似的矩阵，叫做$M_{geo}$，文章是这样解释的：“每个节点与所有节点交互，相当于将空间图视为全连通图。然而，只有少数节点对之间的交互是必要的，包括近节点对和距离较远但功能相似的节点对。因此，我们引入两个图掩蔽矩阵Mgeo和Msem来同时捕获交通数据中的近距离和远距离空间依赖关系”。
我个人的理解就是，屏蔽一些无关紧要的信息, 其中 $M_{geo}$主要是屏蔽到远距离的节点，$M_{sem}$则是屏蔽近距离的节点（当然不能这么绝对，主要是语义信息相近的节点通常情况下距离间隔都较大）

关于这两个矩阵的计算$M_{geo}$其实是对邻接矩阵进行操作的，通过设置一个阈值$\lambda$，如果某两个点的距离大于这个阈值，设置为0，到时候就给mask掉了，否则为1. 而$M_{sem}$则比较麻烦了一点，基于DTW矩阵。这个DTW矩阵其实也是基于邻接矩阵计算的，这一点在STGODE里面已经看过了，这里不再赘述，其实就是计算两个时间序列的相似度。因为一个节点和每个节点的DTW都会计算，因此论文里面使用了topk的方式，选择语义相似度最大的k个节点，将其设置为1，其余的则设置为0来mask掉。（个人理解是因为注意力机制，我们找的是关联最大的，因此则要忽略一些关联小的点）,经过这样处理之后 $M_{geo}和M_{sem}$其实都是二值矩阵，只有0和1,最后的注意力计算方式也发生了变化：
$$
\begin{array}{l}
\operatorname{GeoSSA}\left(\boldsymbol{Q}_{t}^{(S)}, \boldsymbol{K}_{t}^{(S)}, \boldsymbol{V}_{t}^{(S)}\right)=\operatorname{softmax}\left(\boldsymbol{A}_{t}^{(S)} \odot \boldsymbol{M}_{\text {geo }}\right) \boldsymbol{V}_{t}^{(S)}, \\
\operatorname{SemSSA}\left(\boldsymbol{Q}_{t}^{(S)}, \boldsymbol{K}_{t}^{(S)}, \boldsymbol{V}_{t}^{(S)}\right)=\operatorname{softmax}\left(\boldsymbol{A}_{t}^{(S)} \odot \boldsymbol{M}_{\text {sem }}\right) \boldsymbol{V}_{t}^{(S)}
\end{array}
$$
Sem Attention 是这样的没错，但是这只是 Geo Attention的大致结构！ Geo Attention 部分对Embedding layer的输入还进行了一个Delay-aware Feature Transformation的操作，输出结果作为 Attention 部分的K值，Q和V则还是原始输入，K毕竟是在注意力机制中起到链接Q和V的作用， 经过DFT之后的效果可能会更好一点（？）

**还有一点值得注意，通常情况下QKV的权重都是通过全连接层来生成的，但是看了看源码，作者是用卷积层生成的，个人现在的理解是因为输入维度，因为是四维（算上batch），同时也考虑了卷积层能够共享参数的特点。**
### Delay-aware Feature Transformation
延迟感知特征转换，说白了就是生成一些延迟的特征，但是这部分我个人感觉是最难理解的一部分（其实现在也是有点一知半解）
![image.png](https://zhijiao-blog.com/static/img/4a4cfe5c8ed4e5a70721751814078d2f.image.webp)
关于为什么使用这个模块，作者给出的解释是“在现实交通条件下存在传播延迟。例如，当一个地区发生交通事故时，可能需要几分钟才能影响到邻近地区的交通状况。因此，我们提出了一种交通延迟感知特征转换模块，该模块从每个节点的短期历史交通流中捕获传播延迟”

这个模块是这样实现的：
首先用一个S的滑动窗口对历史交通数据进行切片，这样就能得到一个时间维度为S的交通流序列，（这个是建立在总体时间数据集上的）然后对这个序列使用Kshape聚类算法。（Kshape算法是一种时间序列聚类方法，它既保持了时间序列的形状，又不受缩放和移动的影响），每个聚类中心为$p_i$,这个$p_i$也是一个长度为s的时间序列，最后设置的聚类总数为$N_p$，集合P表示所有中心的集合，这个P就可以看作一组短期交通模式。  （这一点其实并不是特别理解）

论文里面是这样解释的：“类似的交通模式可能会对社区交通状况产生类似的影响，尤其是拥堵等异常交通模式，因此我们将每个节点的历史交通流序列与提取的交通模式集P进行比较，将相似模式的信息融合到每个节点的历史交通流序列表示中”

具体来说就是，给定节点n从时间段（t-S+1）到t的S步历史序列，将它乘以又给权重矩阵（$W^u$）得到一个高维向量($u_{t,n}$),  然后使用另一个嵌入矩阵$W^m$将交通模式集中的每个交通流量序列转换为记忆向量：
$$
m_i = p_i W^m
$$
然后将节点n的历史交通流$u_{t,n}$与交通模式记忆向量$m_i$进行比较，得到相似度向量$w_i$
$$
w_i = softmax(u_{t,n}^T m_i)
$$
最后根据相似度向量$w_i$对交通模式集P加权求和，得到综合历史序列的表示$t_{t,n}$：
$$
r_{t,n}  = \sum_{i=1}^{N_p} w_i (p_i W^c)
$$
$W_c$是网络中的一个可学习参数矩阵。集成的历史序列表示节点n从时间片(t-S+1)到时间片t的历史交通流信息，最后Geo Attention里面的 K，将通过得到的$r_{t,n}$进行更新：
$$
K_{geo} = K + r_{t,n}
$$
关于这部分论文给出的解释是：
“在计算注意力分数的时候，也就是Q 与 K 做乘积的时候，使用这个新的K矩阵可以考虑到其他节点的历史交通状况，这个过程明确地模拟了空间信息传播的时间延迟，我们没有将这个模块添加到语义空间自注意模块中，因为远处节点的短期交通流对当前节点的影响很小。”
### Output layer

这就没啥好说的了，所有Attention的输出拼接一下，最后接一个MLP，但是有一点值得注意，作者并没有采用递归的方式来计算多步时间预测，给出的理由是误差堆积，因此最后的情况是直接调整输出维度实现了端到端的预测，这彷佛给我的Fuuzy Net以迎头痛击……

PDFormer

**KDD2021 Spatial-Temporal Graph ODE Networks for Traffic Flow
Forecasting**



这一篇其实很早就看过了（  2023 AAAI 的sota模型还和这个模型做了比较，这里拿出来复习一下。
总的来说就是提出了一个叫做 STGODE 的模型， 这个模型类似于并行的STGCN， 然后GCN部分使用了 Node 的方式，其实也就是用 ResNet 的方式来表征 GCN， 使用Node的方式来进行优化。


整体的架构是这样的：

![image.png](https://zhijiao-blog.com/static/img/2af7294ee61bfc2e3a31ac22f12aa3db.image.webp)



STGODE laye 的两个并行，输入的区别在于邻接矩阵， 第一个输是表征了节点之间空间距离的邻接矩阵：
$$
A_{ij}^{sp}=\begin{cases}\exp\left(-\dfrac{d_{ij}^2}{\sigma^2}\right)&\text{,if exp}\left(-\dfrac{d_{ij}^2}{\sigma^2}\right)\geq\epsilon\\0&\text{,otherwise}\end{cases},
$$

论文里面是这样表示的，通过设置一个阈值来控制矩阵的稀疏度。

其次呢则是引入一个语义矩阵，用来判断两个点的时序相似度，这个主要是通过一个叫做 DTW 的算法来实现的：

$$
A_{ij}^{SE}=\begin{cases}1,DTW(X^i,X^j)<\epsilon\\0,\text{otherwise}\end{cases}
$$
同样也是设置了一个阈值，两个点相似度越大则DTW距离越小，就设置为1.

总之就是这样生成两个不同信息的矩阵，然后把他们作为输入。

重头戏是STGODE这部分，也是论文的核心，论文用一大部分时间对STGODE的数学公式进行了推导，最后得出的结论是：
$$
{\cal H}_{l+1}={\cal H}_{l}\times_{1}\hat{A}\times_{2}U\times_{3}W+{\cal H}_{0} (离散形式)
$$
第一眼确实是看不出来啥，但是看一下GCN的表示：
$$
H_{l+1}=GCN(H_l)=\sigma(\hat{A}H_lW)
$$
这下再看其实就是有点像 ResNet 了
$$
layer_{l+1} =  F(layer_l)  + layer_l
$$
接下来这个论文的作者用了一系列的数学推导证明了他提出的公式的有效性……

然后呢，这个作者就用了 NODE 的求解方式，求解一个函数，我并不直接通过梯度下降的方式来优化损失函数，而是将这个函数表示成导数积分的形式，也就是 ODESolver:

$$
\frac{\mathrm{d}\mathcal{H}(t)}{\mathrm{d}t}=\mathcal{H}(t)\times_1(\hat{A}-I)+\mathcal{H}(t)\times_2(U-I)+\mathcal{H}(t)\times_3(W-I)+\mathcal{H}_0
$$

$$
\mathcal{H}(t)=ODESolve\left(\frac{\mathrm{d}\mathcal{H}(t)}{\mathrm{d}t},\mathcal{H}_0,t\right)
$$
然后就把这玩意给写成了一个layer... 看论文的时候真的是一头雾水，但是在看源码的时候倒是知道了大概，总之就是从底层原理出发，设计了一个 基于ODESolver的layer....

其他的倒是没什么好说的，无非就是 TCN -> STGODE -> TCN，多个block堆叠，最后输出接一个全连接层。。


最比较难懂的应该就是这串代码了吧：

```python

class ODEFunc(nn.Module):

    def __init__(self, feature_dim, temporal_dim, adj):
        super(ODEFunc, self).__init__()
        self.adj = adj
        self.x0 = None
        self.alpha = nn.Parameter(0.8 * torch.ones(adj.shape[1]))  # 
        self.beta = 0.6
        self.w = nn.Parameter(torch.eye(feature_dim))
        self.d = nn.Parameter(torch.zeros(feature_dim) + 1)
        self.w2 = nn.Parameter(torch.eye(temporal_dim))
        self.d2 = nn.Parameter(torch.zeros(temporal_dim) + 1)

    # 前向传播
    def forward(self, t, x):
        alpha = torch.sigmoid(self.alpha).unsqueeze(-1).unsqueeze(-1).unsqueeze(0)
        xa = torch.einsum('ij, kjlm->kilm', self.adj, x)

        # ensure the eigenvalues to be less than 1
        d = torch.clamp(self.d, min=0, max=1)
        w = torch.mm(self.w * d, torch.t(self.w))
        w = (1 + self.beta) * w - self.beta * torch.mm(torch.mm(w, torch.t(w)), w)
        xw = torch.einsum('ijkl, lm->ijkm', x, w)

        d2 = torch.clamp(self.d2, min=0, max=1)
        w2 = torch.mm(self.w2 * d2, torch.t(self.w2))
        w2 = (1 + self.beta) * w2 - self.beta * torch.mm(torch.mm(w2, torch.t(w2)), w2)
        xw2 = torch.einsum('ijkl, km->ijml', x, w2)
        
        f = alpha / 2 * xa - x + xw - x + xw2 - x + self.x0
        return f
```
把论文里面推导的过程给实现了