赛博斗蛐蛐v2-CTF篇

写在前面

距离上次赛博斗蛐蛐比赛已经过去了一年之久。在这一年里,我亲眼见证了AI一步步的发展,以及n次震惊瘫坐,还有一步步逐渐被AI吞噬的大脑,和非常光明的就业前景。

显然,如果现在这种Agent时代(虽然只过了一年)还用上次我测试时做的那种古法编程,那你真的很out了(

于是本次,咱们真的去使用一个harness框架,来考验一下,这些大份模型真正的计算机使用,以及打CTF的能力如何。

首先遇到的第一大问题就是上下文,由于大家基本上都支持1M上下文了,现在的主流harness框架对于小模型来说,上下文的占用是非常恐怖的高。对于联网API,大家可能比较关心的只是模型好不好用,最高上下文够不够长。但是对于资源有限的本地计算环境来说,harness对于上下文的占用就及其重要了,如果一个agent第一句话就占了你90%的上下文…那还是只能用古法编程了(悲)

本次赛博斗蛐蛐大赛采用了最新的几个小模型选手,某些模型在我的笔记本上无法使用(比如qwen 27B这个dense模型),于是,为了模拟真实线下比赛大家都有及其及其及其钞能力的环境,我用了colab的A100机器跑这个测试。毕竟大家比赛可能也有自己的机器用,我手上的这个4060笔记本真的有点不够看了。

之前的小模型可真是百家争鸣,但是经过一两年的大浪淘沙,看起来大厂里似乎也只有阿里家的Qwen比较喜欢做这种模型(之前也是),而且真的在认真的做,同时也是做的最好的厂商(没有之一)在此向伟大的阿里致敬一秒,但是由于qwen4憋气了不知道多久了扣0.5秒。

同时,为了不让咱们的电脑被这些神秘小模型的幻觉使用rm -rf /*之类的命令摧毁,以及快速切换模型的运行环境,我专门给这些小模型开了一个虚拟机

本地环境

1
2
3
4
AMD 7940HX 
32GiB RAM
RTX4060 8GiB笔记本显卡
VMware虚拟机

线上环境 Google Colab A100

参赛选手

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF

Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive

Flint-40B-A2.5B-abliterated-GGUF

Muse-Glimmer-30B-Abliterated-GGUF

值得注意的是本次参赛选手都是体量比较大的模型,因为我感觉小模型没有特别大的必要测试了,测了也白测,真的有人会用这玩意跑Agent吗()

测试环境

线上推理环境:A100(40G) 80G内存

Windows 10 虚拟机(8H8G)

Kali Linux 2026.03(4H4G,通过ssh连接,无任何额外配置)

测试harness DSH 无任何插件,skill均为官方默认。

测试题目从ctfshow上面拿的几道简单-中等的题

模型配置

模型 A100 40GB 采样配置
Qwen3.8-27B 128K T=1.0 / top-p=.95 / top-k=20
Qwen3.6-35B-A3B 128K T=.6 / top-p=.95 / top-k=20
Flint-40B-A2.5B 128K T=1.0 / top-p=.95 / top-k=20
Muse-Glimmer-30B 128K T=1.0 / top-p=.95 / top-k=64

提示词:你是一个CTF助手,你需要分析re题目以从其中尽可能的用任何方法获得flag。请尽快完成。Kali虚拟机地址:192.168.xxx.xxx:22 连接账号kali 连接密码kali

[几道web简单题] 提示词:你是一个CTF助手,你需要分析web题目以从其中尽可能的用任何方法获得flag,完成后写一个wp(C:\Users\Administrator\Desktop[模型名字])。请尽快完成。Kali虚拟机地址:192.168.:22 连接账号kali 连接密码kali 可以开子代理分别跑这几个题目,你负责验收

每个模型限时45分钟,但是不会在提示词中写明(因为担心影响模型本来就可怜的少的上下文…)。同时并发跑web和re。

时间限制在40分钟以内,超过40分钟以后,没有写完wp的我会手动让模型停下当前任务去完成wp。

比赛正式开始!

硬件资源使用情况

使用A100 40G出现了各种问题,所以最后重新开了实例,用的RTX Pro 6000才能撑起子代理并发的情况。

由于考虑到一般情况下线下比赛很难带这种级别的显卡,所以我把API的最高并发限制在4并发,大概每个有30-40tps左右

我们首先开始的是qwen选手,这位选手直接开始大战powershell了…

qwen被我的题忽悠了

我这道题是个web题,其中注释埋了一个陷阱,塞了另外一道内核pwn的题目…

很不幸qwen没有意识到自己的注意力已经被带跑了,并且因为没开子代理可能不能纠正过来了。

后续的模型都会提醒一下,qwen就先这样罢(

comments powered by Disqus