FATE横向联邦学习:肺炎的多模态任务的联邦学习
多模态最近比较火 多模态任务的input和算法FATE不支持,因此需要开发新的dataloader和算法组件。 本篇就以肺炎多模态任务为例,介绍如何开发新的FATE机器学习组件 官方文档在这里:https://fate.readthedocs.io/en/latest/develop/develo ...
阅读更多
FATE横向联邦学习:肠癌图像分类任务(下)——联邦化
在上一篇已经在本地跑通了肠癌图像分类的整个流程,现在我们将它移植到FATE上,实现联邦学习。 数据预处理仿照“手写数字识别”任务,将三份训练数据进行预处理。并新建配置文件,处理后的格式如图。 code/: bind开头的文件是用于数据绑定;colon_conf是conf文件,colon_ds ...
阅读更多
FATE横向联邦学习:肠癌图像分类任务(上)——baseline
本案例分上下两篇,上篇介绍肠癌图像分类任务的本地baseline,下篇介绍将肠癌图像分类任务移植到FATE上,实现联邦学习。 任务目标 使用FATE开发新的组件,实现图像横向联邦学习 证明联邦学习有效 任务介绍该任务将开发基于结肠的组织病理学图像正确判断是良性组织或者结肠癌的二分类算法。 数据集数 ...
阅读更多
FATE横向联邦学习:手写数字识别
上上一篇介绍了如何使用FATE发起一个横向联邦学习任务,使用的数据格式是结构化的数据,使用的算法是经典的LR算法。 能不能使用FATE做计算机视觉的神经网络的联邦学习呢? 答案是可以的。本篇就通过手写数字识别这一经典任务来学习如何使用FATE来完成一个计算机视觉方面的神经网络算法的联邦学习job ...
阅读更多
FATE DSL配置文件详细解释
这里对FATE DSL文件做详细解释。 DSLDSL有两个版本,FATE 1.7以上版本强制使用v2。 dsl.json提供了流程,conf.json提供了个流程参数。 其中dsl.json的配置参见:https://github.com/FederatedAI/FATE/blob/master/d ...
阅读更多
FATE横向联邦学习:信用数据案例
通过FATE平台提交联邦学习job,有两种方式:DSL和pipline; DSL是通过写配置文件的方式,配置联邦学习job的各个参数;pipeline是通过写python代码的方式配置和提交job 本文使用Fate的信用样例数据,介绍通过DSL的方式进行Fate横向联邦学习的使用案例。 实验设置 ...
阅读更多
FATE联邦学习框架简介
联邦学习介绍联邦学习的出现解决什么问题解决“数据孤岛”问题,保证数据安全与隐私保护。 由于各种原因,数据孤岛问题普遍存在。在用户和企业角度下,商业公司所拥有的数据往往都有巨大的潜在价值。两个公司甚至公司间的部门都要考虑利益的交换,往往这些机构不会提供各自数据与其他公司做与单的聚合,导致即使在同一个公 ...
阅读更多
FATE联邦学习框架(共八篇)
目录 FATE联邦学习框架简介:联邦学习+fate介绍+单机版docker安装+toy test FATE横向联邦学习:信用数据案例 FATE DSL配置文件详细解释 FATE横向联邦学习:手写数字识别(开发组件:自定义的模型、使用gpu、模型评估?) FATE横向联邦学习:肠癌图像分类任务(上)— ...
阅读更多
HTTP缓存
前端缓存知识点​ 什么是HTTP缓存http缓存指的是: 当客户端向服务器请求资源时,会先抵达浏览器缓存,如果浏览器有“要请求资源”的副本,就可以直接从浏览器缓存中提取而不是从原始服务器中提取这个资源。 常见的http缓存只能缓存get请求响应的资源,对于其他类型的响应则无能为力,所以后续说的请求缓 ...
阅读更多
HTTPS协议
前置知识加密分为对称加密和非对称加密,HTTPS兼顾两者。 关于非对称加密,可以查阅相关资料。这里只提一点: 公钥加密,私钥解密! 为什么需要HTTPSHTTP 主要有这些不足: 通信使用明文(不加密),内容可能会被窃听; 不验证通信方的身份,因此有可能遭遇伪装; 无法证明报文的完整性,所以有 ...
阅读更多