觀察AI模型的隱空間狀態(tài)，探索潛在因子

1   前言

當(dāng)我們?cè)谟^察AI模型的生成數(shù)據(jù)時(shí)，通常會(huì)比較關(guān)注于模型輸出層的結(jié)果。然而，觀察其隱藏層的數(shù)據(jù)也是非常有價(jià)值的。AI模型善于捕捉萬(wàn)事萬(wàn)物之間的關(guān)聯(lián)性或規(guī)律，因而成為探索人體、企業(yè)等復(fù)雜系統(tǒng)中潛在因子(Latent factors)的利器。在這些復(fù)雜系統(tǒng)中，其潛在因子是指無(wú)法直接觀察但影響系統(tǒng)行為的潛在變量或模式。例如，大家已經(jīng)很熟悉的自動(dòng)編碼器(Autoencoder，簡(jiǎn)稱AE）模型，它能透過(guò)學(xué)習(xí)數(shù)據(jù)的壓縮表示，來(lái)呈現(xiàn)復(fù)雜系統(tǒng)中的潛在模式和關(guān)系。這種功能使得AE模型在醫(yī)學(xué)研究、生理監(jiān)測(cè)或企業(yè)財(cái)務(wù)分析各領(lǐng)域中，都展現(xiàn)出高度的實(shí)用性。

在本文里，將說(shuō)明如何透過(guò)可視化方法對(duì)模型的隱( 藏) 空間(Latent space) 狀態(tài)進(jìn)行繪制而呈現(xiàn)于人們可觀察的二維空間里。這種表示可以呈現(xiàn)慢性病患者的分布情況、特定患者的健康狀況演變，因而在臨床環(huán)境中至關(guān)重要。在企業(yè)經(jīng)營(yíng)中，擅用AI 模型來(lái)發(fā)現(xiàn)這些潛在因子，可以有效降低決策風(fēng)險(xiǎn)、優(yōu)化營(yíng)運(yùn)模式來(lái)大幅提企業(yè)的競(jìng)爭(zhēng)力。

2   觀察<隱空間狀態(tài)> 的意義

隱空間狀態(tài)是指模型學(xué)習(xí)從輸入數(shù)據(jù)中捕獲的顯著特征，并表示于較低維度的隱空間里。所以我們可以藉由觀察模型的隱空間變量( 狀態(tài)) 來(lái)探索復(fù)雜系統(tǒng)的重要潛在因子，以便探索復(fù)雜系統(tǒng)的底層機(jī)制。例如，人體的健康狀況就是一個(gè)無(wú)法直接測(cè)量的變量，尤其是對(duì)于無(wú)法透過(guò)特定測(cè)試診斷的疾病( 如多發(fā)性硬化癥)。此時(shí)，AI 模型可以協(xié)助將不同的測(cè)試結(jié)合起來(lái)呈現(xiàn)出患者的健康狀況( 圖-1)。

圖1

此外，還能將觀察到的見(jiàn)解整合到商業(yè)智能工具、儀表板和報(bào)告系統(tǒng)中，以進(jìn)行持續(xù)監(jiān)控和分析。

3   以VAE模型為例

例如，大家已經(jīng)很熟悉的變分自動(dòng)編碼器(Variation autoencoder，簡(jiǎn)稱VAE）模型，它能透過(guò)學(xué)習(xí)數(shù)據(jù)的壓縮表示，來(lái)呈現(xiàn)復(fù)雜系統(tǒng)中的潛在模式和關(guān)系。這種功能使得VAE模型在醫(yī)學(xué)研究、生理監(jiān)測(cè)或企業(yè)財(cái)務(wù)分析各領(lǐng)域中，都展現(xiàn)出高度的實(shí)用性。擅用VAE可以讓企業(yè)獲得更深入的見(jiàn)解，增強(qiáng)決策能力，并保持在各自行業(yè)的競(jìng)爭(zhēng)優(yōu)勢(shì)。

使用VAE是為了產(chǎn)生與原始源數(shù)據(jù)相關(guān)的新數(shù)據(jù)。這VAE假設(shè)源數(shù)據(jù)具有某種潛在的機(jī)率分布（例如高斯分布），然后嘗試找到分布的參數(shù)( 圖-2)。

圖2

VAE模型從輸入數(shù)據(jù)(x)中學(xué)習(xí)，然后映射到隱空間。就如同觀察到一位華麗盛裝的小孩X，經(jīng)由Encoder 層過(guò)濾( 卸妝) 分析，得出其母體(Population) 平均值和標(biāo)準(zhǔn)偏差，其代表所屬家庭( 概率分布)。然后從家庭里隨機(jī)抽樣一位( 素妝) 小孩Z。再經(jīng)由Decoder 層生成(化妝) 之后，得出^x，比較看看^x 與x 的誤差值(Loss)。一直持續(xù)訓(xùn)練，來(lái)降低誤差值。

4   演練：觀察簡(jiǎn)單AE模型

現(xiàn)在來(lái)觀察簡(jiǎn)單AE( 自動(dòng)編碼器) 模型的訓(xùn)練流程，以海中的< 魚(yú)群> 為例：

一開(kāi)始，先從上述的魚(yú)群中萃取各條魚(yú)的特征(Feature)：

有些情形下，也需要給予各條魚(yú)不同的編號(hào)(ID)：

于是，得到一個(gè)數(shù)值化特征表，這就是要輸入給AE模型的訓(xùn)練數(shù)據(jù)(X)：

這AE模型從輸入數(shù)據(jù)(x)中學(xué)習(xí)， 然后經(jīng)由Encoder映射到隱空間，得出其母體的概率分布。然后從母體里隨機(jī)抽樣(Z)。再經(jīng)由Decoder 層生成之后，得出^x，一直持續(xù)訓(xùn)練。訓(xùn)練完成時(shí)，我們可以來(lái)觀察隱空間里的狀態(tài)。例如，以繪圖方式來(lái)呈現(xiàn)AI模型的隱空間狀態(tài)。請(qǐng)看看范例程序：

# example_01.py

import numpy as np

import torch

import torch.nn as nn

import torch.nn.functional as F

import matplotlib.pyplot as plt

class AE(nn.Module):

def __init__(self):

super(AE,self).__init__()

self.Enc1 = nn.Linear(3, 8)

self.Enc2 = nn.Linear(8, 2)

self.Dec1 = nn.Linear(2, 8)

self.Dec2 = nn.Linear(8, 3)

def forward(self, x):

h = self.Enc2(self.Enc1(x))

out = F.sigmoid(self.Dec2(self.Dec1(h)))

return out, h

model = AE()

lossF = nn.MSELoss()

opt = torch.optim.SGD(model.parameters(), lr=0.35)

----------------------------------

X = torch.tensor(

[[1,10, 5], [9, 2, 4], [8, 1, 3],

[3, 1,10], [5, 9, 7], [5, 8, 3],

[9, 2, 3], [2,10, 5], [1, 9, 4]

], dtype=torch.float32)

----------------------------------

dx = X/10

dt = dx

for ep in range(1000):

z, h = model(dx)

loss = lossF(z, dt)

opt.zero_grad()

loss.backward()

opt.step()

if(ep%200 == 0):

loss = loss.detach().numpy()

print(‘ep =’, ep,’, loss = ‘,np.round(loss,4))

----------------------------------

model.eval()

z, h = model(dx)

hh = h.detach().numpy()

map_color = {0: ‘r’, 1: ‘g’, 2:’b’, 3:’y’, 4:’k’, 5:’m’,

6:’c’,7:’pink’,8:’grey’,9:’blueviolet’}

color = list(map(lambda k: map_color[k], [0,1,

2,3,4,5,6,7,8]))

fig, ax = plt.subplots(1)

plt.scatter(hh[:, 0], hh[:, 1], c=color)

plt.show()

# End

當(dāng)訓(xùn)練完成時(shí)，就繪出圖形：

于是，觀察到隱空間狀態(tài)了。

圖-3

5   結(jié)束語(yǔ)

一般而言，搭配行業(yè)的專業(yè)知識(shí)，會(huì)更易于詮釋隱空間狀態(tài)的涵意。例如，醫(yī)藥專家擅用VAE 模型將復(fù)合編碼成196維的隱空間表示，來(lái)產(chǎn)生具有藥物發(fā)現(xiàn)感興趣的特性的新化合物(圖-3)。

此外，具有豐富的企業(yè)財(cái)務(wù)專業(yè)知識(shí)的經(jīng)理人，即能擅用AI模型來(lái)獲得深入的見(jiàn)解，增強(qiáng)其決策能力，來(lái)保持企業(yè)的競(jìng)爭(zhēng)優(yōu)勢(shì)。在商業(yè)中的潛在因子則包括：市場(chǎng)趨勢(shì)、顧客偏好、競(jìng)爭(zhēng)策略和投資風(fēng)險(xiǎn)等等。藉由觀察AI 模型的隱空間狀態(tài)，來(lái)發(fā)現(xiàn)這些潛在因子來(lái)為企業(yè)決策提供信息、優(yōu)化流程并增強(qiáng)客戶體驗(yàn)。

（本文來(lái)源于《EEPW》202410）