麻省理工學(xué)院的研究人員正在使用創(chuàng)新的機(jī)器學(xué)習(xí)技術(shù)，通過(guò)減少對(duì)惡性膠質(zhì)母細(xì)胞瘤(腦癌中最嚴(yán)重的一種)的毒性化療和放療劑量，來(lái)改善患者的生活質(zhì)量。

膠質(zhì)母細(xì)胞瘤是一種出現(xiàn)在大腦或脊髓中的惡性腫瘤，成人患病后的預(yù)期壽命不超過(guò)五年。病人必須忍受輻射治療和每月服用多種藥物的聯(lián)合治療。醫(yī)學(xué)專業(yè)人員通常使用最大安全劑量的藥物來(lái)盡可能地縮小腫瘤。但是這些強(qiáng)效藥物會(huì)造成令病人虛弱的副作用。

在下周于斯坦福大學(xué)(Stanford University)召開的2018年醫(yī)療保健機(jī)器學(xué)習(xí)大會(huì)(Machine Learning for Healthcare conference)上發(fā)表的一篇論文中，麻省理工學(xué)院(MIT)媒體實(shí)驗(yàn)室(MIT Media Lab)的研究人員詳細(xì)地介紹了一種模型，這種模型可以令用藥方案在保證有效的前提下減少毒性。在“自我學(xué)習(xí)”機(jī)器學(xué)習(xí)技術(shù)的推動(dòng)下，該模型著眼于目前正在使用的治療方案，并反復(fù)調(diào)整劑量，最終，它找到了一種最佳治療方案，盡可能降低劑量的藥效和頻率，但仍然能將腫瘤的大小降小到與傳統(tǒng)治療方案效果相當(dāng)?shù)某潭取?/p>

在對(duì)50名患者的模擬試驗(yàn)中，機(jī)器學(xué)習(xí)模型設(shè)計(jì)了治療周期，將藥效降低到幾乎所有劑量的四分之一或一半，同時(shí)保持同樣的腫瘤縮小效果。很多時(shí)候，它完全跳過(guò)了治療，每年只安排兩次，而不是每月一次。

“這是我們一直的目標(biāo)，我們必須幫助病人減少腫瘤的大小，但同時(shí)，我們也要確保病人的生活質(zhì)量，劑量毒性不會(huì)導(dǎo)致壓倒性的疾病和有害的副作用，”在媒體實(shí)驗(yàn)室監(jiān)督這項(xiàng)研究的首席研究員Pratik Shah說(shuō)。

這篇論文的第一作者是媒體實(shí)驗(yàn)室研究員Gregory Yauney。

獎(jiǎng)勵(lì)好的選擇

研究人員的模型使用了一種被稱為強(qiáng)化學(xué)習(xí)(RL)的技術(shù)，這是一種受行為心理學(xué)啟發(fā)的方法，在這種方法中，一個(gè)模型會(huì)學(xué)會(huì)傾向于某些會(huì)導(dǎo)致預(yù)期結(jié)果的行為。

該技術(shù)包括人工智能“代理”，在不可預(yù)知的復(fù)雜環(huán)境中完成“行為”，以達(dá)到預(yù)期的“結(jié)果”。當(dāng)它完成一個(gè)行為時(shí)，代理會(huì)收到一個(gè)“獎(jiǎng)勵(lì)”或“懲罰”，這取決于行為是否導(dǎo)致預(yù)期的結(jié)果，然后，代理相應(yīng)地調(diào)整其操作以實(shí)現(xiàn)該結(jié)果。

獎(jiǎng)勵(lì)和懲罰基本上是正數(shù)和負(fù)數(shù)，比如+1或-1。它們的價(jià)值因采取的行動(dòng)導(dǎo)致結(jié)果成功或失敗的概率等因素而異。代理本質(zhì)上是試圖根據(jù)獎(jiǎng)勵(lì)和懲罰值對(duì)所有操作進(jìn)行數(shù)值優(yōu)化，以獲得給定任務(wù)的最大結(jié)果得分。

這種方法被用來(lái)訓(xùn)練計(jì)算機(jī)程序DeepMind。在2016年的圍棋比賽中，DeepMind擊敗了世界上最好的人類棋手之一，成為頭條新聞。它還在軍事演練中被用來(lái)訓(xùn)練無(wú)人駕駛汽車，比如融入交通或停車，車輛會(huì)反復(fù)練習(xí)，調(diào)整自己的路線，直到找到正確的方向。

研究人員將一種RL模型應(yīng)用于膠質(zhì)母細(xì)胞瘤的治療，這些治療結(jié)合了替莫唑胺(TMZ)和丙卡嗪、洛莫司汀(lomustine)和長(zhǎng)春新堿(PVC)，用藥數(shù)周或數(shù)月。

該模型的人工智能代理梳理了傳統(tǒng)的用藥方案。這些方案是基于數(shù)十年來(lái)臨床應(yīng)用的協(xié)議，以及基于動(dòng)物實(shí)驗(yàn)和各種臨床試驗(yàn)的結(jié)果。腫瘤學(xué)家使用這些既定方案，根據(jù)病人體重來(lái)預(yù)測(cè)給予病人的劑量。

隨著模型探索這些用藥方案，在每個(gè)計(jì)劃的給藥間隔，比如說(shuō)，一個(gè)月一次，它決定了幾個(gè)行為中的一個(gè)。首先，它可以發(fā)放或停止劑量。如果給藥，它會(huì)決定是否需要整個(gè)劑量，或者只是一部分劑量。在每一個(gè)行為中，它都會(huì)給另一個(gè)臨床模型發(fā)出信號(hào)，這個(gè)模型通常用于預(yù)測(cè)腫瘤大小的變化以響應(yīng)治療，來(lái)觀察這些行為是否會(huì)縮小腫瘤的平均直徑。如果成功了，模型就會(huì)收到獎(jiǎng)勵(lì)。

然而，研究人員還必須確保該模型不只是提供最大的劑量和藥效。因此，當(dāng)模型選擇使用全部劑量時(shí)，它就會(huì)受到懲罰，促使它選擇更少、更小的劑量。Shah說(shuō):“如果我們一心只為減少平均腫瘤直徑，讓它采取任何它想要的行動(dòng)，它就會(huì)不負(fù)責(zé)任地使用藥物。相反，我們說(shuō)，‘我們需要減少為達(dá)到那種結(jié)果所裙帶的有害行為。’”

Shah說(shuō)，這代表了一種“第一次在論文中描述的非傳統(tǒng)的RL模型”，它權(quán)衡了行為(劑量)對(duì)結(jié)果(腫瘤減少)的潛在負(fù)面影響。傳統(tǒng)的RL模型致力于一個(gè)單一的結(jié)果，比如贏得一場(chǎng)比賽，并采取任何行為來(lái)最大化預(yù)期結(jié)果。但另一方面，研究人員的模型在每一個(gè)行為中，都可以靈活地找到一個(gè)劑量，這個(gè)劑量不只會(huì)最大化地減少腫瘤，但也能在最大限度地減少腫瘤和降低毒性之間達(dá)到完美的平衡。他補(bǔ)充說(shuō)，這種技術(shù)可應(yīng)用于各種各樣的醫(yī)學(xué)和臨床試驗(yàn)，這些醫(yī)學(xué)和臨床試驗(yàn)所采取的治療病人的行動(dòng)必須加以控制，以防止有害的副作用。

最優(yōu)方案

研究人員對(duì)50名模擬患者進(jìn)行了模型訓(xùn)練，這些患者是從一個(gè)大型的膠質(zhì)母細(xì)胞瘤患者數(shù)據(jù)庫(kù)中隨機(jī)選擇的，他們以前都接受過(guò)傳統(tǒng)的治療。對(duì)于每個(gè)患者，該模型進(jìn)行了大約20，000次反復(fù)試錯(cuò)測(cè)試。一旦訓(xùn)練完成，模型就會(huì)學(xué)習(xí)最優(yōu)方案的參數(shù)。當(dāng)接收到新病人時(shí)，模型會(huì)使用這些參數(shù)并根據(jù)研究人員提供的各種約束條件來(lái)制定新的方案。

研究人員隨后在50名新的模擬病人身上測(cè)試了這個(gè)模型，并將結(jié)果與傳統(tǒng)的TMZ和PVC結(jié)合療法進(jìn)行了比較。當(dāng)沒(méi)有劑量處罰時(shí)，該模型設(shè)計(jì)的方案與人類專家?guī)缀跸嗤Ｈ欢?dāng)設(shè)定了大小不一的懲罰時(shí)，模型在減少腫瘤大小的同時(shí)，也大大降低了劑量的頻率和藥效。

研究人員還設(shè)計(jì)這個(gè)模型去有針對(duì)性地治療每個(gè)病人，以及一群類似的病人，并取得了類似的結(jié)果(研究人員可以獲得每個(gè)病人的醫(yī)療數(shù)據(jù))。傳統(tǒng)上，相同的給藥方案被用于不同的患者群體，但腫瘤大小、病史、遺傳特征和生物標(biāo)記的差異都會(huì)改變患者的治療方式。Shah說(shuō)，在傳統(tǒng)的臨床試驗(yàn)設(shè)計(jì)和其他治療方法中沒(méi)有考慮到這些變量，這常常導(dǎo)致大量人群對(duì)治療反應(yīng)不佳。

“我們對(duì)這個(gè)模型說(shuō)，‘你必須給所有的病人使用同樣的劑量嗎?’”它說(shuō)，不是。我可以給這個(gè)人四分之一的劑量，給這個(gè)人一半，這個(gè)人的話也許這次可以先跳過(guò)。Shah說(shuō):“這是這項(xiàng)工作中最令人興奮的部分，我們能夠通過(guò)使用非傳統(tǒng)的機(jī)器學(xué)習(xí)體系進(jìn)行一人試驗(yàn)，從而產(chǎn)生精確的基于醫(yī)學(xué)的治療方法。”

臨床試驗(yàn)設(shè)計(jì)專家、j·克雷格·文特爾研究所(J. Craig Venter Institute)人類生物學(xué)教授兼主任尼古拉斯·j·肖克(Nicholas J. Schork)說(shuō)，與傳統(tǒng)的目測(cè)發(fā)放劑量方法(即觀察患者的反應(yīng)，并據(jù)此進(jìn)行調(diào)整)相比，該模型提供了一個(gè)重大改進(jìn)。他說(shuō):“人類不像機(jī)器那樣擁有深入地觀察大量數(shù)據(jù)所得出的看法，人類的過(guò)程是緩慢、乏味和不精確的。現(xiàn)在，你只是讓電腦在數(shù)據(jù)中尋找模式，但如果這換成人類來(lái)做，并且要使用這個(gè)方法找到最佳劑量的話，這需要大量的時(shí)間。”

Schork補(bǔ)充說(shuō)，這項(xiàng)工作可能會(huì)特別引起美國(guó)食品和藥物管理局(FDA)的興趣，該機(jī)構(gòu)目前正在尋找利用數(shù)據(jù)和人工智能開發(fā)生命健康技術(shù)的方法。他說(shuō)，相關(guān)法規(guī)仍然需要建立，“但我毫不懷疑，在很短的時(shí)間內(nèi)，F(xiàn)DA會(huì)找出對(duì)這些(技術(shù))進(jìn)行適當(dāng)審查的方法，這樣這些技術(shù)就可以用于日常臨床項(xiàng)目。”

本文來(lái)源前瞻網(wǎng)，轉(zhuǎn)載請(qǐng)注明來(lái)源！（圖片來(lái)源互聯(lián)網(wǎng)，版權(quán)歸原作者所有）