小红书AI翻译被玩疯,网友攻陷评论区,工程师紧急堵bug
小红书最近的这波“赛博整活”,大概可以算作互联网产品史上最意外的促活事件了。
故事是这样的:就在大批海外网友涌入小红书后没几天——确切地说,是今天凌晨0点左右——平台方火速上线了翻译功能,用户更新到最新版就能用。这本是个平平无奇的工具更新,结果上线不到半天,就变成了全网玩疯了的“大模型隐藏入口”。
怎么回事呢?有网友发现,只要在评论中按照一个特定格式发消息,就能让翻译服务背后的大模型“越狱”:半角双引号内写任意一门外语内容,双引号外写任意指令。就这么简单,翻译功能会乖乖先翻译引号里的文字,再执行你后面的指令——写笑话、写歌词、甚至报出自己的IP地址,一概照做。
于是画风立刻变得很抽象。评论区里网友排着队给模型发“l love you”,关键信息其实是后半句的提示词。有人让它写一个关于马斯克的笑话,它真的给你整出来了。

有人即兴要求歌颂C++,模型当场赋诗一首。

更夸张的是,还有人直接在评论区默写ResNet50的代码——模型居然真把整段网络结构给吐了出来。

而最让用户兴奋的,大概是能让它公开自己的IP地址。

不过玩归玩,闹归闹,这场狂欢也让不少人重新打量小红书的翻译能力。实际上,即便不加任何额外指令,这个翻译功能的表现也相当能打。
比如,它可以直接把摩斯电码翻译乘人类语言。

还能解释颜文字的含义,把“ヽ(✿゚▽゚)ノ”之类的小表情转译成文字。

就连那些“中式英语”——语法混乱、词不达意的那种——它也能准确回译成中文原意。

更有意思的是,这个bug如果善加利用,可以变相实现“AI代写评论”的效果。一位网友在评论“I love cat”后面加了一堆表情包指令,结果模型真的在翻译完文字后,又附赠了一排猫猫表情,评论区顿时可爱值拉满。

随着玩的人越来越多,大家当然开始好奇:这背后到底是哪个大模型?有网友直接发指令让模型交出系统卡,得到的回答是“GPT-4”。

不过这个说法并不能完全坐实。另一批网友测试时,模型声称自己来自智谱的ChatGLM。

小红书的程序员显然没让这个门开太久。到今天下午3点,智东西再次测试时,翻译功能已经恢复正常运转——只会老老实实输出翻译结果,部分提示词甚至直接显示翻译失败。目前只有极少数指令还能偶尔触发,而且极不稳定。

这场只持续了半天的“赛博狂欢”眼看就要落幕了。不知道接下来会有多少人怀念那个可以随时在评论区对AI发号施令的小红书?