你不需要是技术人员,也可以在你的设备上使用开源 LLM 模型

LLM 的数据隐私问题使用像 OpenAI 的 ChatGPT 这一类闭源大模型的问题是,你的数据随时有可能成为模型训练的素材。 虽然现在开源大模型的表现已经可以匹敌闭源大模型,有很大平台也基于这些开源模型提供 LLM 推理服务。但对于使用这些服务的用户而言,他们仍然要承受相同的数据隐私风险,因为这些平台同样有可能会收集用户的信息,用于训练大模型。 目前最好的保护数据隐私安全的方案是,在用户个人的设备上运行 LLM。所有的计算都运行在用

更多...

在苹果 M 系列芯片上运行 LLM 的问题

苹果自研的 M 系列芯片,自带 Apple Neural Engine,对 CPU 跟 GPU 性能都有相当显著的提升。让机器学习模型有可能直接运行在个人设备上,避免把数据上传到云端。 但在仅仅是算力提升,并不代表可以轻松在苹果设备上运行 Transformer 模型。 1. macOS/iOS 操作系统的限制macOS/iOS 系统对 APP 的内存占用都有一定限制,如果 APP 长时间占用大量内存会被系统直接结束进程。尤其是 iOS

更多...

帮人节省时间

ProjectionLab 这种产品可以成立,是因为美国税法、401K 这些项目的计算方式都是透明且公开的吧。而且个人缴税都非常繁琐。 就跟有些国家可以做公交线路实时查看一样,因为他们的信息是对所有人公开的。

更多...

一叶障目的偏见

做技术的人会因为追逐技术而去做一些产品;做产品的人会为了实现自己的方法论而去做一些产品……人会认不住为了证明自己的某一些东西而去做一些产品。似乎只有彻底放弃,等到这些欲望沉下去之后,才能看到产品的真实源头应该是什么。

更多...

只是一个名字

有一些产品可能只是一个名字,或者是一些大路的功能搭配一个让人觉得“这个产品会好”的名字。比如瓦尔登,shipfast… 选这种名字是一个从文化中感知趋势的过程。即,在一个文化中感知现在大家聚集在哪个地方。

更多...

中途放弃依然困难

做到中途发现,就算做出来也不知道如何让别人知道的产品。 但一旦开始了,想要中途放弃依然是一件困难的事情。因为一旦放弃,就又要回到寻找下一个想法的未知与不确定,所以困难。但其实如果不放弃,每走一步都是毒打。只是短期内是确定的,不需要思考的,而且长期是没有好的结果的。相当于用缓慢的小痛代替短暂剧痛。太不明智,不可再做。

更多...

创意还是觉察

有一些作品其实并不是创意而是觉察:一个人在生活中觉察到自己遇到的问题,然后把它变成一个产品。比如:Fret Pro Guitar Notes Trainer 这种产品的发现只能是作者本人遇到的问题。 从这个角度去看。自然会发现,你的生活有多大,你发现新问题的可能性就有多大。你的创作反映你的生活区域。

更多...

文化是种生活环境

曾经看过一则故事: 在古代日本,有一位武士受命去刺杀一位犯法的平民。武士找到了平民,并已经把平民逼到墙角。就在武士拔刀,正准备将平民击杀的时候,平民因为无力反抗,只好朝武士脸上吐了一口吐沫。武士非常生气,但奇怪的是他没有杀死平民,反而收起刀,转身走了。 原因是,武士觉得如果在愤怒状态杀死平民,那就是他为了“自己”而刺杀,这样不行,因为他没有这样做的理由。他要等到自己平心静气时,再来刺杀平民。彼时,他便是纯粹地在执行命令,整件事情跟“他”

更多...

Rewind

Rewind 这个产品是非常朴实的一个理所应当的故事:从个人的记忆中寻找信息。没有“痛点”、“场景”,就是基于对人行为的了解,且在技术上可行而做出的合理想象。 从 Rewind 中看到创意的力量,一个新的想法——填补人类认知的局限,要比别的一切东西重要。

更多...

现实跟想象的关系

在这里「想象」指的是知识、概念、理论…… 现实跟想象是分开的,我们结合经验跟概念去认识现实,但无论认识到什么结果,它们跟现实都是分开的。 基于这个前提,如果我们的认识(想象)跟现实不相符,那么问题肯定就是我们的认识出现了错误,应该去修正这个认识而不是扭曲现实让其符合自己的想象。 但这只是纯粹理性的推论。当想象跟现实产生冲突时,放弃自己的想象,接受现实,需要接近自残的勇气。因为我们的「想象」不仅仅是我们认识现实的产物,还是我们「自我」

更多...