騰訊PCG長文：探究對話數(shù)據(jù)的局部分布特性與對抗回復(fù)生成模型的內(nèi)在聯(lián)系（2）

局部分布狀態(tài)的描述

在這里我們希望找到一個(gè)方法，對給定 query 的回復(fù)集合 R_q 在語義空間中的局部狀態(tài)進(jìn)行建模和描述，這個(gè)目標(biāo)可以形象地描述為確定語義空間中 R_q 這個(gè)簇的具體形狀。為了達(dá)到這個(gè)目標(biāo)，我們引入 free energy 首先對 (q, r) 的狀態(tài)進(jìn)行定義：

此處的能量函數(shù) E 是在隱變量 H 的基礎(chǔ)上對 (q, r) 能量狀態(tài)的定義，在本文的場景下，其物理意義等價(jià)于度量 q 和 r 的語義關(guān)聯(lián)。進(jìn)一步地，在同樣的物理意義下，我們引入 Deep Boltzmann Machine (DBM，如下圖)對函數(shù) E 進(jìn)行定義如下：

由此，對于一個(gè)給定的 q 和回復(fù)集合 R_q，可以得到其 average free energy：

事實(shí)上，在通過上述公式定義 average free energy 之后，(q, R_q)在語義空間中的狀態(tài)已經(jīng)被形式化定義了，但是由于實(shí)際訓(xùn)練語料是有限的，因此我們很難有效枚舉 R_q 的全集，也就是說，邏輯上需要通過有限可見的 response 集合去估計(jì)實(shí)際 R_q 的近似狀態(tài)，從而實(shí)現(xiàn)一個(gè)可操作的訓(xùn)練過程。

為了達(dá)到這個(gè)目的，這里不妨假設(shè)在 R_q 的集合成員在語義空間中滿足正態(tài)分布，其均值向量記為 r_c，協(xié)方差矩陣為 \ sigma，于是可以得到以下引理和定理：

引理 1 的意義在于明確了語義空間中的歐式距離與 free energy 的狀態(tài)函數(shù)之間的依賴關(guān)系，即樣本空間上的距離近似可以推導(dǎo)出相應(yīng)能量函數(shù)上的近似。定理 1 則在引理 1 的基礎(chǔ)上，找到了公式 9 中 average free energy 的一個(gè)近似估計(jì)，即通過正確完整訓(xùn)練的 DBM 在輸入 q 的情況下得到 \ hat(r_c)，則 F(q, \hat(r_c))即為 average free energy 的近似解。引理 1 和定理 1 的證明相對比較復(fù)雜，詳見論文原文。

Hybrid Objective 與 LocalGAN

基于以上的定義和推導(dǎo)，一個(gè)描述給定 query 的回復(fù)集合 R_q 的空間局部分布狀態(tài)的方法呼之欲出。在此之前，我們先給出描述兩個(gè)回復(fù) r_i 和 r_j 之間的能量差異的數(shù)值定義：

進(jìn)一步則可以定義給定的回復(fù)簇中 R_q 中任意一個(gè) r 相對于 r_c 的能量差異：

又根據(jù)定理 1，有如下近似關(guān)系：

這里我們稱 alpha 為 (q, r) 的徑向分布函數(shù)。進(jìn)而，對于任意一個(gè)由生成模型 G 得到的 fake response \tilde(r)，我們可以計(jì)算與其對應(yīng)的真實(shí)回復(fù) r 之間的徑向分布差異：

公式 16 度量的是 r 與 \ tilde(r)相對于 cluster center 的徑向分布差異。于是，通過融合經(jīng)典 GAN 的訓(xùn)練目標(biāo)與上述徑向分布差異，我們最終得到了一個(gè)新的 hybrid objective，即 LocalGAN 的 training objective：

基于該訓(xùn)練目標(biāo)，可以構(gòu)造 LocalGAN 的訓(xùn)練算法如下：

實(shí)驗(yàn)結(jié)果

我們對 LocalGAN 的實(shí)際效果進(jìn)行了多方面的驗(yàn)證，包括基于經(jīng)典中英文對話訓(xùn)練數(shù)據(jù) OpenSubtitles Corpus 和 Sina Weibo Corpus，使用面向相關(guān)性和多樣性的典型 metric 進(jìn)行評測。Baseline 方面，論文引入了截至完稿的各種主要對抗學(xué)習(xí)模型進(jìn)行對比。結(jié)果如下：

在人工評測方面，主要考慮了相關(guān)性和信息豐富度的評價(jià)維度：

與此同時(shí)，我們也觀察了對抗模型訓(xùn)練的穩(wěn)定性，結(jié)果如下圖：

部分參考文獻(xiàn)：

[1]Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio. Generative adversarial nets. In Advances in neural information processing systems 27, pages 2672-2680, 2014.

[2]Lifeng Shang, Zhengdong Lu, and Hang Li. Neural responding machine for short-text conversation. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (ACL-IJCNLP), pages 1577-1586, 2015.

[3]Alessandro Sordoni, Michel Galley, Michael Auli, Chris Brockett, Yangfeng Ji, Margaret Mitchell, Jian-Yun Nie, Jianfeng Gao, and Bill Dolan. A neural network approach to context-sensitive generation of conversational responses. In Proceedings of the 14th Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pages 196-205, 2015.

[4]Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of NAACL-HLT, pages 110-119, 2016.

[5]Zhen Xu, Bingquan Liu, Baoxun Wang, SUN Chengjie, Xiaolong Wang, Zhuoran Wang, and Chao Qi. Neural response generation via gan with an approximate embedding layer. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing,pages 628-637, 2017.

[6]Ruqing Zhang, Jiafeng Guo, Yixing Fan, Yanyan Lan, Jun Xu, and Xueqi Cheng. Learning to control the specicity in neural response generation. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1108-1117, Melbourne, Australia, July 2018a. Association for Computational Linguistics.

[7]Jun Gao, Wei Bi, Xiaojiang Liu, Junhui Li, Guodong Zhou, and Shuming Shi. A discrete cvae for response generation on short-text conversation. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pages 1898-1908, 2019. 25

[8]Bowen Wu et al., Guiding Variational Response Generator to Exploit Persona. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL 2020). pages 53-65, 2020

[9] Gao, Jun, et al. "A Discrete CVAE for Response Generation on Short-Text Conversation." Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP). 2019

[10]Jiwei Li, Will Monroe, Tianlin Shi, Alan Ritter, and Dan Jurafsky. Adversarial learning for neural dialogue generation. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pages 2157-2169, 2017.

[11]Geoffrey E. Hinton and Richard S Zemel. Autoencoders, minimum description length and helmholtz free energy. In Advances in neural information processing systems, pages 3-10, 1994.

[12]Ruslan Salakhutdinov and Geoffrey E. Hinton. Deep boltzmann machines. In International Conference on Artifcial Intelligence and Statistics, pages 448-455, 2009.