写在前面
距离上次赛博斗蛐蛐比赛已经过去了一年之久。在这一年里,我亲眼见证了AI一步步的发展,以及n次震惊瘫坐,还有一步步逐渐被AI吞噬的大脑,和非常光明的就业前景。
显然,如果现在这种Agent时代(虽然只过了一年)还用上次我测试时做的那种古法编程,那你真的很out了(
于是本次,咱们真的去使用一个harness框架,来考验一下,这些大份模型真正的计算机使用,以及打CTF的能力如何。
首先遇到的第一大问题就是上下文,由于大家基本上都支持1M上下文了,现在的主流harness框架对于小模型来说,上下文的占用是非常恐怖的高。对于联网API,大家可能比较关心的只是模型好不好用,最高上下文够不够长。但是对于资源有限的本地计算环境来说,harness对于上下文的占用就及其重要了,如果一个agent第一句话就占了你90%的上下文…那还是只能用古法编程了(悲)
本次赛博斗蛐蛐大赛采用了最新的几个小模型选手,某些模型在我的笔记本上无法使用(比如qwen 27B这个dense模型),于是,为了模拟真实线下比赛大家都有及其及其及其钞能力的环境,我用了colab的A100机器跑这个测试。毕竟大家比赛可能也有自己的机器用,我手上的这个4060笔记本真的有点不够看了。
之前的小模型可真是百家争鸣,但是经过一两年的大浪淘沙,看起来大厂里似乎也只有阿里家的Qwen比较喜欢做这种模型(之前也是),而且真的在认真的做,同时也是做的最好的厂商(没有之一)在此向伟大的阿里致敬一秒,但是由于qwen4憋气了不知道多久了扣0.5秒。
同时,为了不让咱们的电脑被这些神秘小模型的幻觉使用rm -rf /*之类的命令摧毁,以及快速切换模型的运行环境,我专门给这些小模型开了一个虚拟机
本地环境
|
|
线上环境 Google Colab A100
参赛选手
Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive
Flint-40B-A2.5B-abliterated-GGUF
Muse-Glimmer-30B-Abliterated-GGUF
值得注意的是本次参赛选手都是体量比较大的模型,因为我感觉小模型没有特别大的必要测试了,测了也白测,真的有人会用这玩意跑Agent吗()
测试环境
线上推理环境:A100(40G) 80G内存
Windows 10 虚拟机(8H8G)
Kali Linux 2026.03(4H4G,通过ssh连接,无任何额外配置)
测试harness DSH 无任何插件,skill均为官方默认。
测试题目从ctfshow上面拿的几道简单-中等的题
模型配置
| 模型 | A100 40GB | 采样配置 |
|---|---|---|
| Qwen3.8-27B | 128K | T=1.0 / top-p=.95 / top-k=20 |
| Qwen3.6-35B-A3B | 128K | T=.6 / top-p=.95 / top-k=20 |
| Flint-40B-A2.5B | 128K | T=1.0 / top-p=.95 / top-k=20 |
| Muse-Glimmer-30B | 128K | T=1.0 / top-p=.95 / top-k=64 |
提示词:你是一个CTF助手,你需要分析re题目以从其中尽可能的用任何方法获得flag。请尽快完成。Kali虚拟机地址:192.168.xxx.xxx:22 连接账号kali 连接密码kali
[几道web简单题] 提示词:你是一个CTF助手,你需要分析web题目以从其中尽可能的用任何方法获得flag,完成后写一个wp(C:\Users\Administrator\Desktop[模型名字])。请尽快完成。Kali虚拟机地址:192.168.:22 连接账号kali 连接密码kali 可以开子代理分别跑这几个题目,你负责验收
每个模型限时45分钟,但是不会在提示词中写明(因为担心影响模型本来就可怜的少的上下文…)。同时并发跑web和re。
时间限制在40分钟以内,超过40分钟以后,没有写完wp的我会手动让模型停下当前任务去完成wp。
比赛正式开始!

使用A100 40G出现了各种问题,所以最后重新开了实例,用的RTX Pro 6000才能撑起子代理并发的情况。
由于考虑到一般情况下线下比赛很难带这种级别的显卡,所以我把API的最高并发限制在4并发,大概每个有30-40tps左右
我们首先开始的是qwen选手,这位选手直接开始大战powershell了…

我这道题是个web题,其中注释埋了一个陷阱,塞了另外一道内核pwn的题目…
很不幸qwen没有意识到自己的注意力已经被带跑了,并且因为没开子代理可能不能纠正过来了。
后续的模型都会提醒一下,qwen就先这样罢(