读取屏幕、收集个人语音,AI手机如何守好用户隐私?

南方都市报APP • 南都大数据研究院
原创2025-01-10 17:03

在人工智能(AI)浪潮下,华为、小米、荣耀、vivo、苹果……越来越多厂商在手机上部署端侧大模型,手机变得越来越“聪明、懂你”。

新风潮也引出新问题。当意欲成为个人助理的AI手机,大量收集个人语音、操作记录、使用习惯等数据,如何确保用户隐私安全,如何厘清终端厂商与APP之间的数据安全责任关系?再次引发热议和思考。

谁来承担数据安全保护义务?

根据市场分析机构Canalys的数据,2024年,全球16%的智能手机出货量为AI手机,这一比例在2028年预计将升至54%。

AI手机出现前,用户是APP的直接操作者,APP直接采集个人信息并进行处理,APP及其服务提供者是用户隐私保护与数据安全的主要责任方。但AI加入这段关系后,终端厂商与APP服务提供者在数据安全上的责任划分变得模糊。

首先,AI手机为了向用户提供准确且定制化的服务,必须参与到数据流转环节中:买了哪天出发的车票、有多少快递待取件、导航选择哪条路线……用户与APP之间的每次交互,AI都默默在旁记录。其中的个人信息授权路径、数据使用规范、隐私保护责任划分等显然有待进一步厘清。

其次,在“一句话点餐”“一句话取消自动续费”“自动回复微信”等功能的实现方案上,目前AI手机普遍采取“屏幕内容识别+模拟用户点击”的方式,以回避APP生态接入、数据接口授权等商业问题。但此方案同时令APP无法知晓自己接收的指令来自用户本人还是AI。

有从业人士指出,端侧AI使用的录屏、模拟点击等功能主要依赖手机系统的无障碍接口实现。该接口原意是允许应用程序读取屏幕内容并代替用户执行指令,方便残障人士使用手机。由于其权限极高,一旦遭到恶意攻击或非法调用,很可能使用户数据安全与隐私保护体系形同虚设。

图片

AI手机通过模拟用户点击取消自动续费服务。(图为某品牌手机宣传画面)

此外,尽管不少终端厂商以“自研大模型”“本地AI处理”等作为产品宣传语,但为确保用户体验、满足功能需求,多个手机品牌的AI服务实际仍依赖云端算力,且可能有多个不同服务商的大模型同时在云端提供支撑。用户提出的数据处理请求,可能流转给不同的大模型分步骤处理或共同处理。数据的流向与用途难以追踪,同时为数据安全管理带来风险。

在DARKNAVY深蓝科技研究员肖轩淦看来,大模型在用户隐私数据访问方面有一定问题。他表示,与ChatGPT这类只能被动接收用户输入的系统不同,当手机或电脑接入AI应用后,就变成一个“智能体”,这些应用能够主动访问设备中的大量隐私信息,必须引起高度重视。

数据收集与处理是否符合规定?

我国《个人信息保护法》明确了个人信息处理的最小必要原则和知情同意原则:收集个人信息应当限于实现处理目的的最小范围,不得过度收集个人信息;基于个人同意处理个人信息的,该同意应当由个人在充分知情的前提下自愿、明确作出。

但在AI手机面前,用户很难分清AI到底收集了哪些数据,是否与最小必要原则相自洽。例如,当用户请AI帮忙发条微信时,AI开始识别整个屏幕,找到对应的联系人名称,识别到对话框,键入内容。但在此过程中,AI也可通过屏幕获得用户微信中的联系人列表、过往聊天记录等数据。

又以“一句话点外卖”场景为例,AI读屏过程中,APP展示的个性化搜索结果、配送地址等信息会否一同被AI收集和处理,成为下一次外卖下单或者餐厅推荐的参考数据?用户无从知晓。

腾讯研究院大模型研究小分队撰文提到,端侧AI可通过录屏、读屏和分析,获取其所展现的身份、位置、支付等各类敏感信息。由于录屏场景十分丰富,其所识别的信息类型也将无法提前预测,并且极有可能包含了大量其他自然人的个人信息。

同济大学法学院教授黄锫也撰文指出,生成式AI采用的技术路线使其成为完全的“技术黑箱”,即使开发者也无法确切掌握个人信息数据在模型中会被如何处理,模型会从中发现何种自然语言统计规律,以及模型会在下游应用中输出何种信息并被用于何种目的,更难以辨析个人信息数据的权利状态与隐私风险。

数据安全争议早已有之

公开报道显示,AI与应用之间的数据安全责任划分问题早已在行业内引发争议。2017年,华为和腾讯就曾因用户数据归属问题引发纠纷。当时尚未与华为分拆的荣耀在其Magic智能手机中推出新功能,可基于用户微信聊天记录等数据,实现智能化服务。如用户向他人发送“明天我要做培训”的微信消息,手机日历便可自动添加该日程。但腾讯认为此举涉嫌不当获取微信数据、侵犯用户隐私。

2024年5月,微软公司曾尝试推出名为“Recall”的AI功能,可每隔几秒对用户屏幕进行截图,再由AI识别、理解用户意图,为用户提供回忆历史操作、找回特定内容等智能化服务。尽管微软强调该功能所有数据都在本地存储和分析,且使用BitLocker进行加密,但依然引发大批行业人士的不满和抵制。不少开发者质疑“Recall”可能无意中截取包含用户密码、银行账户等敏感信息的屏幕截图,信息一旦泄露,将对用户造成严重损失。争议声中,“Recall”的正式推出一再推迟,截至2025年1月,该功能仍只能通过“Windows预览体验计划(WIP)”体验。

厂商把AI安全作为主要卖点

对于数据安全、隐私保护,终端厂商则纷纷“表态明志”。2024年10月,vivo、OPPO、荣耀等多个手机品牌先后举办开发者大会或新品发布会,其间均多次强调AI服务的安全性。vivo首席安全官鲁京辉表示,vivo采取“端侧优先、端云协同”的技术策略,能在端侧处理的数据绝不上云,并强调用户隐私安全始终是打造个人化智能的首要原则。荣耀CEO赵明在新品发布会后接受媒体采访时反复强调,没有数据保护和隐私安全的AI毫无价值,荣耀将坚持在端侧进行数据处理以保护用户隐私。OPPO也宣布为其操作系统ColorOS 15引入全新的芯片级AI私密计算云,确保用户隐私数据在云端可用不可见。

部分终端厂商还发布自己的意图框架方案,APP开发者可通过规范的数据接口,把APP业务功能直接与手机系统对接,AI不再需要通过读屏、模拟点击来调用APP,且可实现更精准的用户意图理解,为用户匹配更合适的服务。

但有业内人士指出,说服第三方APP加入厂商的意图框架并非易事。首先,APP向手机系统开放接口,如何保证数据安全有待考量;其次,手机AI直接调用APP服务,将弱化APP自身的存在价值,减少直接触达用户的机会。在用户数据价值日益凸显的当下,开发者更愿意将用户及其数据牢牢掌握在自己手中,缺乏与终端厂商共享的动力。

围绕新特点探索安全新机制

2024年12月,对外经贸大学、中国人民大学、蚂蚁集团联合发布《算法与AI大模型的用户认知调研报告(2024)》,基于8030份问卷的调研显示,过半数受访者在使用AI大模型时遇到过数据安全与隐私问题,60.09%的受访者认为AI可能会不受控制地收集和处理个人信息。该报告指出,为了降低大模型的风险,必须采取全面而多元的策略。

南都研究员留意到,2025年1月起施行的《网络数据安全管理条例》明确,网络平台服务提供者应当通过平台规则或者合同等明确接入其平台的第三方产品和服务提供者的网络数据安全保护义务,督促第三方产品和服务提供者加强网络数据安全管理。预装应用程序的智能终端等设备生产者,适用前款规定。

观韬中茂(上海)律师事务所合伙人吴丹君接受媒体采访时也表示,终端厂商在预装APP时应通过平台规则或合同明确第三方产品和服务提供者的网络数据安全责任,并监督第三方加强数据安全管理。

天津大学法学院讲师李欣倩提出,“知情同意”是数据控制的核心理念,要求个人信息处理必须获得数据主体同意授权或符合法律规定。当前,传统的“一次性同意”模式已经不能满足人工智能的发展趋势,应当向持续的信息披露和动态同意机制转变。

黄锫则认为,应基于“包容审慎”的基本风险规制理念,建构具有针对性的规制措施,包括调整生成式AI领域知情同意规则的适用方式、重塑生成式AI领域已公开个人信息的处理规则、设立生成式AI领域个人信息中人格权保护的行政规制措施等,以便在数字经济时代真正实现生成式AI创新技术发展和个人信息保护之间的平衡。


出品:南都大数据研究院

采写:南都研究员 李伟锋 罗韵

1
对这篇文章有想法?跟我聊聊吧
南都新闻,未经授权不得转载。授权联系方式:
banquan@nandu.cc,020-87006626。