作者|李炤鋒 來(lái)源|直面AI(ID：wujicaijing)

估值剛剛突破260億美元的小紅書(shū)，終于在大模型領(lǐng)域拿出了真東西。

近期，小紅書(shū)開(kāi)源了首個(gè)自研文本大模型dots.llm1。自去年4月小紅書(shū)方面?zhèn)鞒鲈趦?nèi)測(cè)自研模型的消息后，時(shí)隔一年，小紅書(shū)自研模型終于揭開(kāi)了面紗。過(guò)去兩年中，小紅書(shū)曾先后在APP端接入MiniMax、DeepSeek等模型能力，并應(yīng)用在不同智能體上。

但總體而言，小紅書(shū)在接入AI功能上一直持有相對(duì)謹(jǐn)慎的態(tài)度，這家公司過(guò)去在AI能力上的探索，更多是利用AI為內(nèi)容做增量，幫助用戶產(chǎn)出內(nèi)容。

自研大模型dots.llm1出現(xiàn)，無(wú)疑為小紅書(shū)“如何AI賦能”的話題又提供了更多可能，也將這家內(nèi)容社區(qū)頭部企業(yè)正式拉入到“自研AI企業(yè)圈”的討論中。

先過(guò)一下dots.llm1的基本信息和跑分：

dots.llm1 是一款 MoE(Mixture of Experts/混合專家)模型，總參數(shù)量 142B，激活參數(shù) 14B，在同類模型中屬于中等規(guī)模。

據(jù)了解，在預(yù)訓(xùn)練階段，dots.llm1一共使用了11.2T高質(zhì)量token，而這些數(shù)據(jù)主要來(lái)源于Common Crawl 和自有 Spider 抓取到的 web 數(shù)據(jù)。再經(jīng)過(guò)兩階段SFT(監(jiān)督微調(diào))訓(xùn)練，得到 dots.llm1 base 模型和 instruct 模型。

跑分情況顯示，dots.llm1 中文平均得分80.5分，其中，中文綜合能力(C-Eval)達(dá)到了驚人的92.2分，這一成績(jī)超越 DeepSeek V2/V3、 Qwen2.5-32B/72B 等競(jìng)爭(zhēng)對(duì)手。而在數(shù)學(xué)能力方面，dots.llm1也以60.9的平均分分擊敗 Qwen2.5 系列。

在11.2T 高質(zhì)量語(yǔ)料的加持下，dots.llm1 的真實(shí)使用體驗(yàn)又會(huì)如何呢?帶著這一疑問(wèn)，直面AI(ID：faceaibang)將從自然語(yǔ)言、代碼生成、寫(xiě)作能力、邏輯推理、長(zhǎng)文理解、多語(yǔ)言能力等6個(gè)方面對(duì)dots.llm1 進(jìn)行測(cè)評(píng)。

備注：

以下測(cè)評(píng)均通過(guò)huggingface調(diào)用的 dots.llm1.inst 官方微調(diào)版模型進(jìn)行。

測(cè)試鏈接：

https://huggingface.co/spaces/rednote-hilab/dots-demo

測(cè)評(píng)環(huán)節(jié)

自然語(yǔ)言測(cè)試

作為小紅書(shū)的自研模型，這里我們準(zhǔn)備了一道“送分題”，選用一個(gè)小紅書(shū)上常見(jiàn)的“引流貼”“起號(hào)貼”的風(fēng)格進(jìn)行測(cè)試，看下dots.llm1 如何應(yīng)對(duì)。

Prompt：

寫(xiě)一個(gè)小紅書(shū)的引流帖子，要求為日常生活中的具體事件，且這個(gè)事件主題具有爭(zhēng)議性，能夠自然地為點(diǎn)進(jìn)來(lái)的用戶劃分陣營(yíng)并引起大家的討論甚至爭(zhēng)論，實(shí)際要偷偷在不引人注意的情況下給kitkat打廣告。 比如：“貧困生就不能追自己喜歡的明星嗎?……”

dots.llm1回復(fù)：

總結(jié)：

dots.llm1 理解了用戶指令，并且設(shè)計(jì)了這套通過(guò)“道德困境”推廣商品的方案。雖然還是有一點(diǎn)“AI味”，但已經(jīng)學(xué)到了一點(diǎn)小紅書(shū)上各種引流貼的精髓，抓住了此類話題的社會(huì)矛盾點(diǎn)，甚至提醒用戶“打碼關(guān)鍵信息”。

不過(guò)，dots.llm1 的回答沿用了prompt中給出的范例場(chǎng)景：“貧困生就不能追自己喜歡的明星嗎?”，未能在用戶指令的基礎(chǔ)上進(jìn)一步引申，在信息增量上有些不足。

代碼生成測(cè)試

這一項(xiàng)我們要求dots.llm1 用python寫(xiě)一個(gè)小游戲，假定是一個(gè)沒(méi)有任何代碼基礎(chǔ)的用戶，看下dots.llm1 能否順利幫助他完成任務(wù)。

Prompt：

寫(xiě)一個(gè)python腳本，用pygame做一個(gè)五子棋小游戲。

dots.llm1回復(fù)截圖(部分)：

結(jié)論：

這一項(xiàng)測(cè)試中，dots.llm1直接踩雷。分析其輸出內(nèi)容可以發(fā)現(xiàn)，dots.llm1 似乎未能正確理解用戶需求，只輸出了游戲基本功能部分的函數(shù)，雖然這部分內(nèi)容是正確的，但缺少了關(guān)鍵的調(diào)用部分，無(wú)法直接部署生效。這就好比用戶買(mǎi)了一個(gè)貓爬架，但是發(fā)貨里面沒(méi)有說(shuō)明書(shū)，雖然貓爬架部分沒(méi)有質(zhì)量問(wèn)題，但是小白用戶拿到手卻無(wú)法正確組裝。

我們用同樣的prompt在DeepSeek V3(不聯(lián)網(wǎng))上進(jìn)行了測(cè)試，DeepSeek V3的結(jié)果帶有完整的調(diào)用邏輯，其中包括dots.llm1 上缺少的持續(xù)運(yùn)行模塊和渲染UI的部分，經(jīng)測(cè)試可以順利跑通。針對(duì)這一并不復(fù)雜的代碼生成場(chǎng)景，dots.llm1 看起來(lái)還有需要提升的空間。

上圖說(shuō)：dots.llm1 代碼缺少的兩部分(DeepSeek V3輸出)

上圖說(shuō)：正確運(yùn)行后的小游戲(deepseek v3輸出)

寫(xiě)作能力測(cè)試

中文能力評(píng)分進(jìn)入T0梯隊(duì)的dots.llm1 ，在中文寫(xiě)作場(chǎng)景的表現(xiàn)又如何呢?我們選取了中文寫(xiě)作能力最具代表性的測(cè)試項(xiàng)目——高考作文，這里prompt中采用的是2025高考全國(guó)一卷作文題。該作文題伴隨近期高考的熱度，已經(jīng)成了各家媒體“AI寫(xiě)高考作文”的常客，我們來(lái)看下dots.llm1的表現(xiàn)。

Prompt：

根據(jù)以下作文題寫(xiě)一篇高考作文：

【閱讀下面的材料，根據(jù)要求寫(xiě)作。(60分) 他想要給孩子們唱上一段，可是心里直翻騰，開(kāi)不了口。——老舍《鼓書(shū)藝人》(見(jiàn)全國(guó)一卷閱讀II) 假如我是一只鳥(niǎo)，我也應(yīng)該用嘶啞的喉嚨歌唱——艾青《我愛(ài)這土地》 我要以帶血的手和你們一一擁抱，因?yàn)橐粋€(gè)民族已經(jīng)起來(lái)——穆旦《贊美》

以上材料引發(fā)了你怎樣的聯(lián)想和思考?請(qǐng)寫(xiě)一篇文章。要求：選準(zhǔn)角度，確定立意，明確文體，自擬標(biāo)題;不要套作，不得抄襲;不得泄露個(gè)人信息;不少于800字。】

寫(xiě)作要求

1. 體裁不限(議論文、記敘文均可)

2. 立意鮮明，緊扣題意，不跑題

3. 結(jié)構(gòu)完整，段落分明，開(kāi)頭和結(jié)尾呼應(yīng)

4. 語(yǔ)言自然流暢，盡量避免重復(fù)用詞和明顯錯(cuò)別字

5. 適當(dāng)使用修辭手法，增強(qiáng)可讀性和感染力

6. 字?jǐn)?shù)在 800 字左右

dots.llm1回復(fù)：

以沉默之喉，唱生命之歌

老舍筆下那個(gè)想給孩子們唱歌卻"心里直翻騰"的藝人，艾青愿用嘶啞喉嚨歌唱的鳥(niǎo)，穆旦以帶血雙手擁抱的民族，他們都在用自己的方式表達(dá)著對(duì)生命的熱愛(ài)。沉默與發(fā)聲，看似對(duì)立，實(shí)則統(tǒng)一于生命的律動(dòng)之中。真正的表達(dá)，不在于聲音的大小，而在于是否發(fā)自內(nèi)心;不在于形式的張揚(yáng)，而在于是否觸及靈魂。

沉默是表達(dá)的前奏，是情感的醞釀與積蓄。老舍筆下藝人的"心里直翻騰"，恰似釀酒時(shí)的發(fā)酵過(guò)程，沒(méi)有這份沉淀，歌聲便失去了深度。司馬遷遭受宮刑后選擇"隱忍茍活"，在沉默中完成了《史記》的著述;蘇軾經(jīng)歷"烏臺(tái)詩(shī)案"被貶黃州，于沉默中寫(xiě)下前后《赤壁賦》。這些沉默不是怯懦，而是為了更有力的表達(dá)做準(zhǔn)備。就像深海中的珍珠，沒(méi)有黑暗中的磨礪，哪來(lái)璀璨的光芒?中國(guó)古人講究"寧?kù)o致遠(yuǎn)"，正是認(rèn)識(shí)到沉默中蘊(yùn)含的表達(dá)力量。

當(dāng)沉默積蓄到一定程度，便會(huì)轉(zhuǎn)化為震撼人心的表達(dá)。艾青的"嘶啞的喉嚨"唱出了對(duì)土地最深沉的愛(ài)，穆旦帶血的擁抱展現(xiàn)了民族覺(jué)醒的力量。梵高在世時(shí)僅賣(mài)出一幅畫(huà)，生前默默無(wú)聞，但他筆下燃燒的向日葵和星空，卻在后世照亮了無(wú)數(shù)人的心靈;卡夫卡生前要求銷毀所有手稿，但他留下的文字卻成為現(xiàn)代文學(xué)的豐碑。這些表達(dá)之所以動(dòng)人，正因?yàn)樗鼇?lái)自生命最本真的吶喊，而非刻意的矯飾。就像火山噴發(fā)前的寂靜，越是壓抑，爆發(fā)時(shí)越是壯美。

表達(dá)的終極意義在于喚醒共鳴，連接生命。老舍筆下的藝人最終能否開(kāi)口并不重要，重要的是那份想為孩子歌唱的心意;艾青的鳥(niǎo)是否真的存在也不重要，重要的是它喚起了讀者對(duì)土地的情感;穆旦擁抱的是否具體某個(gè)人也不重要，重要的是它激發(fā)了整個(gè)民族的覺(jué)醒意識(shí)。魯迅先生以筆為戈，寫(xiě)下"橫眉冷對(duì)千夫指，俯首甘為孺子牛"，喚醒了無(wú)數(shù)麻木的國(guó)民;林覺(jué)民《與妻書(shū)》字字泣血，激發(fā)了民眾的革命熱情。這些表達(dá)之所以不朽，正因?yàn)樗缭綍r(shí)空，觸動(dòng)了人類共通的情感。

表達(dá)的形式可以多樣，沉默與發(fā)聲都是生命的語(yǔ)言。陶淵明"不為五斗米折腰"，選擇了歸隱的沉默;李白"仰天大笑出門(mén)去"，選擇了張揚(yáng)的發(fā)聲。但無(wú)論是"采菊東籬下"的悠然，還是"天生我材必有用"的豪邁，都是對(duì)生命最真實(shí)的詮釋。在這個(gè)喧囂的時(shí)代，我們更需要學(xué)會(huì)傾聽(tīng)內(nèi)心的聲音，在沉默中積蓄力量，在適當(dāng)時(shí)機(jī)發(fā)出自己的吶喊。就像深海的鯨魚(yú)，平時(shí)沉靜潛游，必要時(shí)卻能發(fā)出傳遍大洋的歌聲。

生命的價(jià)值不在于你說(shuō)了多少，叫得有多響，而在于你的表達(dá)是否真實(shí)、是否有力、是否能夠觸動(dòng)他人的心靈。讓我們學(xué)會(huì)在沉默中沉淀，在表達(dá)時(shí)真誠(chéng)，用最適合自己的方式，唱出屬于自己的生命之歌。

總結(jié)：

dots.llm1 基本理解了“作文”這一任務(wù)類型，行文結(jié)構(gòu)完整。文章對(duì)給定題目進(jìn)行了比較合理的解讀，在正文中也表達(dá)了作者的觀點(diǎn)和論述。

但如果細(xì)看這篇文章的內(nèi)容，就顯得有些空洞，觀點(diǎn)和論據(jù)之間缺少實(shí)際內(nèi)容支撐，更像是排比和詞藻的堆砌，不過(guò)這也是當(dāng)前中文ai寫(xiě)作普遍存在的問(wèn)題。考慮到目前的測(cè)試環(huán)境無(wú)法開(kāi)啟聯(lián)網(wǎng)搜索，輸出質(zhì)量更依賴本身的預(yù)訓(xùn)練數(shù)據(jù)，當(dāng)前dots.llm1 呈現(xiàn)出的寫(xiě)作水平尚可接受。

邏輯推理測(cè)試

這里選用一道稍微有些復(fù)雜的邏輯推理題，看看dots.llm1 在邏輯運(yùn)算場(chǎng)景表現(xiàn)如何。

Prompt：

回答一下邏輯推理題：說(shuō)謊族的人總是說(shuō)謊，誠(chéng)實(shí)族的人總是說(shuō)真話。A、B、C、D、E、F六個(gè)人在一起聊天，他們要么是說(shuō)謊族要么是誠(chéng)實(shí)族。

A說(shuō)：B和C之間，至少有一個(gè)人在說(shuō)真話。

B說(shuō)：我喜歡夏天的感覺(jué)。

C說(shuō)：A和B之間，至少有一個(gè)人在說(shuō)謊。

D說(shuō)：我喜歡紅色。

E說(shuō)：D在說(shuō)謊。

F說(shuō)：D和E都在說(shuō)謊。

請(qǐng)問(wèn)這6個(gè)人中間有幾個(gè)誠(chéng)實(shí)族的?

dots.llm1 輸出截圖：

總結(jié)：

此處我們截取了模型回復(fù)的部分截圖，dots.llm1 給出了正確答案：誠(chéng)實(shí)族的人數(shù)只有3個(gè)。

不過(guò)，這條回答輸出的內(nèi)容略顯冗長(zhǎng)，dots.llm1 用了3300字來(lái)推理該問(wèn)題，但作為非推理向的文本/對(duì)話大模型，詳細(xì)推理過(guò)程往往會(huì)在回復(fù)中直接輸出。我們用deepseek v3也進(jìn)行了同步測(cè)試，答案正確的前提下輸出長(zhǎng)度會(huì)稍微短一些，但也多達(dá)2600余字。

總之，dots.llm1正確解答了這道邏輯推理題，但對(duì)于想要快速解構(gòu)問(wèn)題的用戶來(lái)說(shuō)，使用如DeepSeek R1這樣的推理模型可能更加合適。

長(zhǎng)文理解/解構(gòu)型問(wèn)題

目前，dots.llm1支持上下文的上限為32k token文本，相比起其他一些主流產(chǎn)品，如Qwen2-72b支持128k token，在參數(shù)層面dots.llm1不占優(yōu)勢(shì)。這里我們選取一部中篇小說(shuō)進(jìn)行長(zhǎng)文理解測(cè)試。

prompt：

梳理小說(shuō)《長(zhǎng)安的荔枝》中人物關(guān)系和劇情結(jié)構(gòu)

dots.llm1 輸出：

《長(zhǎng)安的荔枝》是馬伯庸創(chuàng)作的一部歷史小說(shuō)，以唐朝為背景，講述了一個(gè)小人物在大時(shí)代中的命運(yùn)沉浮。以下是小說(shuō)中的人物關(guān)系和劇情結(jié)構(gòu)的梳理：

人物關(guān)系

1. 李善德：小說(shuō)的主人公，一名唐朝的小官吏。他為人正直、善良，但性格有些懦弱。在小說(shuō)中，他被卷入了一場(chǎng)政治陰謀，被迫為朝廷運(yùn)送荔枝。

2. 阿僮：一位美麗的女子，與李善德相識(shí)并相愛(ài)。她的命運(yùn)與李善德緊密相連，共同經(jīng)歷了許多波折。

3. 魚(yú)朝恩：唐朝的一位權(quán)臣，心狠手辣，為了自己的利益不擇手段。他在小說(shuō)中是李善德的主要對(duì)手，多次陷害李善德。

4. 其他配角：小說(shuō)中還有許多其他配角，如李善德的家人、朋友、同事等，他們?cè)诠适轮衅鸬搅送苿?dòng)情節(jié)發(fā)展的作用。

劇情結(jié)構(gòu)

小說(shuō)的劇情結(jié)構(gòu)可以分為以下幾個(gè)部分：

1. 開(kāi)端：李善德被任命為荔枝使，負(fù)責(zé)從嶺南運(yùn)送新鮮荔枝到長(zhǎng)安。這是一個(gè)看似簡(jiǎn)單但實(shí)際上極其困難的任務(wù)，因?yàn)槔笾Φ谋ｕr期非常短。

2. 發(fā)展：李善德在運(yùn)送荔枝的過(guò)程中遇到了各種困難和挑戰(zhàn)，如路途遙遠(yuǎn)、天氣惡劣、人手不足等。同時(shí)，他還被魚(yú)朝恩等人陷害，陷入了政治陰謀之中。

3. 高潮：在運(yùn)送荔枝的關(guān)鍵時(shí)刻，李善德發(fā)現(xiàn)了一個(gè)可以延長(zhǎng)荔枝保鮮期的方法，但這也讓他成為了魚(yú)朝恩等人的眼中釘。在一場(chǎng)激烈的沖突中，李善德為了保護(hù)荔枝和阿僮，不惜與魚(yú)朝恩等人對(duì)抗。

4. 結(jié)局：李善德成功地將荔枝運(yùn)送到長(zhǎng)安，但他也因此付出了巨大的代價(jià)。小說(shuō)的結(jié)局充滿了悲劇色彩，展現(xiàn)了小人物在大時(shí)代中的無(wú)奈和掙扎。

《長(zhǎng)安的荔枝》通過(guò)講述一個(gè)小人物的故事，展現(xiàn)了唐朝社會(huì)的復(fù)雜性和人性的多面性。小說(shuō)中的人物關(guān)系錯(cuò)綜復(fù)雜，劇情跌宕起伏，引人入勝。同時(shí)，小說(shuō)也反映了作者對(duì)歷史和人性的深刻思考，具有很高的文學(xué)價(jià)值。

總結(jié)：

dots.llm1基本理解并且執(zhí)行了用戶的指令，但對(duì)于小說(shuō)中的人物關(guān)系和劇情結(jié)構(gòu)梳理都比較基礎(chǔ)，只看這一組解析并不能了解這本小說(shuō)的“干貨”。

此外，dots.llm1的回答中還出現(xiàn)了一個(gè)事實(shí)錯(cuò)誤，小說(shuō)版本中的角色阿僮并沒(méi)有和主角有感情線，考慮到《長(zhǎng)安的荔枝》劇版內(nèi)容有類似的改編劇情，這一問(wèn)題與其歸咎于模型的“幻覺(jué)”，更像是dots.llm1對(duì)于“小說(shuō)”這一指令的理解出現(xiàn)了偏差。

多語(yǔ)言能力

dots.llm1的英文能力平均跑分為64.4分，和Qwen-3 32b水平接近。這里選取一句典型的中文風(fēng)格的電影對(duì)白，檢驗(yàn)?zāi)Ｐ湍芊裨诙嗾Z(yǔ)言環(huán)境下正確理解并輸出。

prompt：

這是電影《飲食男女》中的一段臺(tái)詞，請(qǐng)結(jié)合你理解的劇情中的人物情緒，用英語(yǔ)進(jìn)行適當(dāng)?shù)姆g：“什么叫做‘可惜’啊，要心中有個(gè)‘惜’字兒，才知道可惜。”

dots.llm1 輸出：

總結(jié)：

dots.llm1在準(zhǔn)確性層面基本完成了準(zhǔn)確轉(zhuǎn)譯，同時(shí)補(bǔ)充了文化層面的解釋。

但原臺(tái)詞在中文版本中是非常口語(yǔ)化的一句念白，表達(dá)了角色對(duì)人情冷暖和家庭關(guān)系的感慨。dots.llm1輸出的英文版本基本喪失了口語(yǔ)化的感覺(jué)，選擇了最平鋪直敘的方式完成了翻譯指令，未能準(zhǔn)確的傳遞這句對(duì)白中的人物情緒。

通過(guò)這次對(duì)比，dots.llm1大部分場(chǎng)景都能完成基本的正確響應(yīng)，但也存在一些響應(yīng)錯(cuò)誤的場(chǎng)景，比如上文中生成“五子棋小游戲”的代碼任務(wù)測(cè)試。

dots.llm1 在中文語(yǔ)言場(chǎng)景中的表現(xiàn)尚可，盡管沒(méi)有那種“眼前一亮”式的驚艷，但在11.2T 高質(zhì)量語(yǔ)料的加持下， dots.llm1 得以在回答中展示優(yōu)秀的自然語(yǔ)言表達(dá)能力。

而在某些場(chǎng)景下，dots.llm1缺少對(duì)用戶指令全面/正確理解的能力。在一些開(kāi)放性/內(nèi)容輸出向的用戶指令上，這一問(wèn)題感知還相對(duì)不明顯。但在像代碼推理的場(chǎng)景上，用戶指令理解的問(wèn)題會(huì)直接“暴雷”，比如在上文的代碼生成測(cè)試中，未能正確理解用戶的意圖的dots.llm1就輸出了不完整的代碼。

總的來(lái)說(shuō)，dots.llm1 的開(kāi)源，是小紅書(shū)模型團(tuán)隊(duì)的一次成功技術(shù)成果展示。目前我們尚無(wú)法得知小紅書(shū)會(huì)在哪些場(chǎng)景中落地dots.llm1，但通過(guò)開(kāi)放給更多開(kāi)發(fā)者進(jìn)行定向微調(diào)，也許能為小紅書(shū)如何利用好這一自研base模型提供更多思路。

曾經(jīng)大模型領(lǐng)域的“慢公司”小紅書(shū)，如今可能要“快”起來(lái)了。

編者按：本文轉(zhuǎn)載自微信公眾號(hào)：直面AI(ID：wujicaijing)，作者：李炤鋒