一文读懂如何在Filecoin上存储数据
在过去的三周里,Filecoin社区的成员参加了 Slingshot 竞赛的第一阶段,通过网络上的 350,000 笔存储交易存储了 450+ TiB 数据。为了帮助比赛中的项目,许多 Filecoin 社区成员就不同的主题进行了演讲,这些主题与存储数据和构建 Filecoin 相关。
在本文中,我们将重新介绍其中的一些讲座和小组讨论,以帮助您快速开始在 Filecoin 上存储和构建。您可以在此处查看 Filecoin 事件的完整列表,包括过去的记录和将来的事件。
大师课程:Powergate 入门
Textile 的联合创始人兼首席执行官 Andrew Hill 主持了这次会议。Textile 提供的工具使开发人员能够更快、更容易地在 IPFS 和 Filecoin 上构建分散的应用程序。在这节主课程中,Andrew 讨论了如何开始使用 Textile Powergate,它是一个跨 Filecoin 和 IPFS 网络管理存储和检索的库。
您可以在自己的机器上运行 Powergate,也可以使用 Textile 的一个管理实例,它允许您仅用几条命令就可以将单个数据存储到 IPFS 和 Filecoin 网络或 IPFS 和 Filecoin 网络中!它还跨这两个网络筛选数据检索请求,IPFS 通常更适合更频繁的“热”存储,而 Filecoin 则适合更不频繁的“冷”存储。
一般地说,Powergate是存储在 Filecoin 上的最简单的方法之一,它处理关于制作 Filecoin 交易的许多细节。它有 Javascript 和 Golang 客户端,以及社区开发的 Python 客户端。
Textile 还生产 Buckets,这是具有 Filecoin 功能的类似 S3 的云存储解决方案。
使用 Powergate的好处:
确保存储在Filecoin上的数据可以在IPFS网络上轻松地快速检索。
处理长期存储交易管理,包括自动更新和维修。
利用网络索引来改善矿工的选择和交易创建。
管理一个或多个用户的Filecoin钱包地址。
可以轻松地一起配置、连接和部署Powergate、Lotus和IPFS。
使用Powergate的主要技巧:
从Localnet开始。您可以在5分钟内开始使用Filecoin测试您的想法。无需FIL,一分钟内即可进行端到端交易,并且没有网络问题。
跟随领导者。在Powergate上已经建立了许多很棒的团队。到目前为止,我们已经看到他们非常乐于助人。对于早期团队来说,这可能是非常有价值的。
从小开始。离开Localnet并开始在实时网络上进行交易后,请注意不要在第一时间触发整个管道。选择一些GiB,开始进行交易,检查生命周期,然后继续进行更大的交易。
大型数据集存储在Filecoin上
协议实验室 IPLD 团队成员 Rod Vagg, Mikeal Rogers 和 Chris Hafey 与 Slingshot 参与者讨论了如何将大型数据集存储到 Filecoin 中。IPLD 是 Filecoin 的一个关键组件,帮助数据结构跨内容地址的web互操作。
Rod 首先介绍了关于 IPLD 的基本入门知识,称为“使用 IPLD 处理内容的数据结构”。他讨论了 Merkle 树、DAG、CIDS、编解码器、可变性和其他支撑 Filecoin 和许多其他内容可寻址数据结构的关键概念。
Chris 和 Mikael 在“用 Dumbo Drop 为 Filecoin 存储准备大数据集”的演讲中介绍了 Filecoin Dumbo Drop 项目的一般方法、架构和经验教训。Dumbo Drop 的目标是在短时间内为 Filecoin 处理大量开放数据。到目前为止,项目已经处理了超过 3 PB 的数据。
他们的一些经验教训:
在这种规模下,AWS不是100%可靠的——会发生随机故障!
在这种上下文中使用S3有一些奇怪之处。S3 基于前缀限制性能,S3 listobjects 对于大量对象来说速度慢且不可靠。
EC2 相比,Lambda 可以更灵活、更容易使用。Lambda 变得越来越便宜,越来越容易访问。但是,定制 Lambdas 可能很棘手。
计算很便宜,但是存储很昂贵。
Filecoin 用户的重要提示:
Rod:“理解数据原语,学习 IPLD 的基础知识和 Merkle DAG 数据结构中隐藏的巨大潜力。”
Chris:“考虑从 IPFS/Lotus 使用的相同库构建自己的管道。”
Mikael:“你可以存储的不仅仅是文件:)”
构建Filecoin 上的 Pakage Manager 注册表
OB1 的联合创始人兼首席执行官 Brian Hoffman 讨论了他们团队的 5 MB 项目,该项目用于从Filecoin存储和检索包管理器注册表。OB1 是一个小团队在 2015 年创立的,此前他们在业余时间为 OpenBazaar 工作了一年。他们看到去中心贸易的概念在比特币社区获得了热情的支持,于是决定接受风险投资,以建立一家公司,并雇佣一个开发团队,将 OpenBazaar 打造成为可能彻底改变电子商务的东西。
Brian 讨论了构建 5 MB 的动机和过程。他介绍了在 Filecoin 上存储版本化数据和小文件并构建用于浏览数据的UI时项目必须解决的技术细微差别。
Brain 还向我们介绍了 5 MB 的体系结构,该体系结构利用了Textile Powergate:
第 1 阶段:提取,其中 5 MB 将包存储库提取到 Amazon EBS 中,并将数据划分为不同的数据集以进行进一步处理
第 2 阶段:处理,其中 Golang 处理器服务器将数据阶段化为 IPFS,评估数据的大小和结构,并将目录对象分解为 bucket。
第 3 阶段:存档和检索,其中数据存储区通过 Powergate 被推入 Filecoin,并可以通过 UI(IPFS GUI的修改版本)进行访问。
Brian 支持 Filecoin 的三大理由:
可持续数据生态系统:我们需要一种以可靠的大规模数据集以可持续的方式激励数据存储基础设施的方法。
所需的工具和应用程序:开发人员需要更好和更多样化的工具来充分利用网络,用户希望使用易于使用的应用程序来帮助他们访问所需的数据。
IPFS 建立了信誉:我们使用 IPFS 已有多年,并且了解其优缺点。该技术有效,我们对 Filecoin 感到兴奋。
如何建造Slate
Slate 是一个存储应用程序和 Filecoin 网络客户端,它允许您通过图形界面或API存储图像、音频、视频和数据。Slate 的联合创始人之一 Jim Lee 讨论了 Slate 是什么,它从一个简单的 Filecoin 客户端发展为一个强大的媒体共享产品,以及它的未来。他希望与大家分享在 Filecoin 上构建应用程序的经验和见解。
产品的设计部分考虑到了隐私:没有人能看到从 Slate 上传到 Filecoin 网络的 cid 是什么,而且存储文件的存储桶在数据上传之前是加密的。该团队计划构建一个离线模式,其中您的文件都是私有的。
Jim 谈到了在早期使用 Filecoin 的感觉,使用 Textile 技术如何使事情变得容易得多,团队的想法和产品开发以及他在尖端协议上构建应用程序的经验。
Jim 还展示了 Slate 的基础知识,并展示了Slate等应用潜力的示例,展示了如何使用 Slate 构建简单的应用来存储数据。他还使用 Powergate 和 Slate 组件创建了一个非常简单的应用程序,可以发送和接收 Filecoin。
专题:通向更广泛采用的道路
在 Filecoin 上存储数据的项目正在深入 Web3 生态系统。尽管 Web3 仍然相对新生,但许多人认为它相对于今天的 web 来说具有固有的优势,现在是检验它并获得先发优势的好时机。Slingshot 主持了一个 Web3 生态系统的专家小组,他们讨论了如何考虑用户的采用和扩大 Web3 产品的市场。
Web3 是软件开发中的一个转变,应用程序正在从集中的基础设施向分散的协议转变。构建在 Web3 架构上的应用程序可以去掉中间环节,而不是只有一个控制点,这带来了很多好处。Filecoin 是 Web3 生态系统中的关键别针,允许任何愿意将硬件投入网络的人存储文件,并从他们那里检索文件。
Web3 生态系统已经走过了很长的一段路,有很多很有前途的项目。我们的小组成员鼓励潜在的建设者开始从更关注市场的角度思考问题,从仅仅为技术而构建酷技术到为用户构建实际产品的转变。
小组成员的一些见解:
Gabriel Anderson:“我们还处于 Web3 生命周期的早期,但现在一些应用开始起飞,我们看到了一些真正创新的早期用例。举个例子,不管你知不知道,每个人都有数字资产,而且在继承方面存在一个问题。有一家公司正在为人们传递数字资产创造一种无缝体验。还有一个完整的视频转录服务市场,它以很低的价格解决了延迟问题。”
Colin Evran:“我们不应该低估 Web3 领域早期采用者的力量。这些早期采用者在同一领域工作,催生出的创新令人难以置信。”
Shi Khai:“作为开发者,我们需要专注于建立真正的用户和社区,让他们和我们一起生活。寻找能给你真实反馈的真正用户群体,而不是仅仅因为它是新东西就认为它现在很酷的人。”
感谢所有参加这次 Slingshot 活动的演讲者和参与者!随着我们进入比赛第一阶段的最后一周,我们很兴奋地看到各个团队如何利用他们从这些事件中学到的东西。我们期待看到更多的开发人员存储和构建 Filecoin。
下一篇:小儿猫叫综合征