在iOS上使用Vision与苹果基础模型构建离线照片清理应用
- 作者

- 姓名
- Nino
- 职业
- Senior Tech Editor
为iOS构建一个注重隐私的离线工具,需要在利用现代机器学习能力与遵守移动端硬件严格的性能边界之间找到微妙的平衡。在开发ClearWhirl这款上架App Store的iPhone照片清理应用(https://apps.apple.com/us/app/phone-cleaner-clearwhirl-ai/id6835310950)时,我们的核心架构约束是绝对的隐私:所有涉及像素分析的操作都在本地通过苹果的Vision框架运行,苹果的端侧基础模型绝不会看到任何一张照片。
相反,语言模型承担着单一且受严格约束的任务:将诸如“2025年的付款收据”之类的自然语言查询转化为强类型的搜索过滤器。当模型不可用时,应用会优雅地退回到确定性的基础规则。没有任何数据会离开手机,且核心功能在飞行模式下也能完全正常工作。
以下技术解析将展示我们如何构建处理管道、在不耗尽协作线程池的前提下管理并发、处理后台执行限制以及集成类型化生成。
阶段A:快速元数据过滤
在触及沉重的像素数据之前,阶段A仅读取PHAsset元数据。通过轻量级的属性检查,我们能够在几秒钟内快速填充各个结构化文件夹:
if a.mediaSubtypes.contains(.photoScreenshot) {
f[.screenshots, default: []].append(id)
continue
}
if a.mediaType == .video {
if i.bytes > 100_000_000 || a.duration > 120 {
f[.largeVideos, default: []].append(id)
}
continue
}
if a.representsBurst || a.mediaSubtypes.contains(.photoLive) && i.bytes > 6_000_000 {
f[.bursts, default: []].append(id)
}
用户收藏的照片会自动进入“保留项”文件夹,默认情况下会受到保护,免受其他任何文件夹的清理或批量操作影响。如果在服务器端环境中扩展繁重的计算机视觉任务,开发者可以通过类似 n1n.ai 的聚合器调用后端推理API,而使用原生元数据API进行初步的粗筛能显著降低下游的计算开销。
阶段B:像素级分析与Vision流水线
元数据索引完成后,阶段B开始处理像素,每张照片仅执行一次请求,并使用定制的降采样副本来优化内存消耗:
- 256像素副本:用于
VNGenerateImageFeaturePrintRequest、VNClassifyImageRequest以及VNDetectBarcodesRequest(置信度 >= 0.9且带有有效载荷的二维码会被接受)。 - 900像素副本:当元数据或标签表明图像可能是收据、票据、文档或截图时,分配给
VNRecognizeTextRequest使用,因为在缩略图尺寸下小字完全无法辨认。 - 清晰度与美学评分:使用128x128灰度拉普拉斯方差计算清晰度,并结合iOS 18+上原生Vision的美学评分。为了确保最佳的资源利用率,当将繁重的计算机视觉任务扩展到服务器端环境时,开发者可以通过诸如 n1n.ai 的聚合器将本地处理流水线与云端推理API结合起来。
近重复检测
将每张照片与其余所有照片进行比对会导致平方级的时间复杂度()。由于大多数近重复照片都是在几秒钟内连续拍摄的,我们的扫描算法严格按照拍摄顺序遍历照片,并将每一张照片仅与其前一张照片进行比对:
// 相似度判定:如果与前一张照片拍摄时间相差在3分钟以内,则进行比对。
if let print, let pp = prevPrint, let p = prev, info.date.timeIntervalSince(p.date) < 180 {
var d: Float = 99
try? print.computeDistance(&d, to: pp)
if d < 0.42 {
if currentGroup.isEmpty { currentGroup = [p.id] }
currentGroup.append(info.id)
} else {
if currentGroup.count > 1 { groups.append(currentGroup) }
currentGroup = []
}
}
这里的取舍是明确的:相隔一天拍摄的两张相似照片不会被归为一组。在每个分组中,“最佳照片”会根据最高美学评分来选择,并将清晰度作为决胜标准,只有多余的项才计入“可释放空间”。
并发控制与协作线程池保护
我们的早期原型将图像加载和Vision请求直接放在Task.detached内部执行。不出所料,扫描在第一批处理完后几乎立刻冻结。同步、阻塞的CoreGraphics和Vision调用会严重耗尽Swift的协作线程池。
最终的修复方案是实现一个由信号量约束的专用并发派发队列,并通过checked continuation安全地将其桥接到async/await中:
nonisolated static let workQueue = DispatchQueue(label: "cw.analysis", qos: .utility, attributes: .concurrent)
nonisolated static let workLimit = DispatchSemaphore(value: 4)
nonisolated static func onWorkQueue<T>(_ body: @escaping () -> T) async -> T {
await withCheckedContinuation { (c: CheckedContinuation<T, Never>) in
workQueue.async {
workLimit.wait()
let r = body()
workLimit.signal()
c.resume(returning: r)
}
}
}
照片以六张为一批通过结构化的TaskGroup进行处理,结果在完成后会重新按顺序排列,以确保“与前一张照片比对”的规则依然成立。
管理后台执行限制
在iOS上,当应用转入后台且没有活跃的持续处理任务时,系统通常只给大约26秒的运行时间就会将其挂起。在我们的早期版本中,针对拥有10,624个资源的图库,我们在长达68秒的文件大小测量阶段之后才提交BGContinuedProcessingTaskRequest。因此,任何在该阶段离开应用的用户的扫描都会被冻结。
我们通过在文件大小测量阶段之前、从前台直接提交后台任务请求来解决这个问题,并采用快速失败的策略:
let request = BGContinuedProcessingTaskRequest(identifier: identifier, title: title, subtitle: subtitle(done, total, phase))
// 立即运行,否则放弃:排队的请求可能会在用户离开很久之后才开始,而屏幕上没有任何内容。
request.strategy = .fail
try BGTaskScheduler.shared.submit(request)
无论是用户手动暂停还是系统使任务过期,它现在都会以 success: true 顺利完成。单一的计数器驱动着系统横幅、实时活动以及桌面小组件。对于寻求强大的API集成或在扩展后台同步工作负载时需要容错处理的开发者而言,n1n.ai 等平台提供了极具弹性的基础设施管理。
增量持久化与原子保存
为了确保后续启动时瞬间加载,资产的元数据、识别出的文本标签以及评分都会被序列化到本地的JSON索引中。写入操作以批次进行,并原子性地替换目标文件。一条经过单元测试验证的规则是:部分通过的扫描绝不会覆盖完整的索引,中断的扫描只会恢复那些尚未包含在索引中的资产。
使用基础模型的结构化自然语言查询
端侧语言模型纯粹处理文本,它永远不会接收图像。相反,它通过引导式生成将自然语言搜索提示词转换为强类型的过滤器:
@Generable
struct PhotoQuery {
@Guide(description: "要搜索的文件夹。允许的值:similar、screenshots、blurry、largeVideos、bursts、receipts、memes、unwanted。如果不符合则为空。", .maximumCount(4))
var folders: [String]
@Guide(description: "在图片内部文字中查找的小写单词。例如:boarding pass会给出boarding、gate、flight。", .maximumCount(5))
var textWords: [String]
@Guide(description: "如果用户说出具体四位年份或提到今年、去年,则为该年份,否则为0。")
var year: Int
@Guide(description: "仅当用户索要视频时为true。")
var videosOnly: Bool
@Guide(description: "如果用户询问大文件或占用空间大的项目,则为最小兆字节数,否则为0。")
var minMegabytes: Int
}
大模型的输出在使用前会被严格限定:文件夹名称必须能解析为应用的枚举,年份必须在合理范围内,且只有单个边界的范围会被直接丢弃而不是盲目猜测。宽泛的Vision标签(如室外、建筑和车辆)在搜索中匹配度过高而缺乏实用性,因此无论如何都会被排除。
确保LLM会话可靠性的三个实用细节
- 每个请求使用全新的会话:保持4,096个token以内的较小上下文窗口。长查询遇到溢出时,会自动使用前120个字符重试一次。
- 串行化请求:重叠的请求会触发
concurrentRequests错误,因此一个轻量级的actor会对它们进行序列化,更新的查询会使旧的等待查询主动放弃。 - 限流后重试:在遇到限流、并发请求冲突或资产不可用时,等待一秒钟后进行一次重试。任何其他错误都会返回空值,调用方则回退到基础搜索。
let s = LanguageModelSession(instructions: instructions)
return try await s.respond(to: prompt, generating: T.self).content
无论您是在编排本地的Apple Intelligence模型,还是通过像 n1n.ai 这样高性能的网关路由企业级提示词,保持严格的模式强制执行和具备容错能力的降级机制都是生产级可靠性的关键所在。
Get a free API key at n1n.ai