在数据采集过程中,经常会遇到源网站已设置图片防盗链,只采集网页容时就会导致图片无法显示,这时就要把图片下载下来到本网站或OSS云存储上。推荐将图片存储到云存储中,配置和操作都比较简单,还可直接测试配置是否正确。

简数采集平台对图片云存储支持以下4个服务商:

存储到阿里云OSS:采集时,简数直接把图片上传到用户配置的阿里云oss上面,并自动修改内容的图片链接。不需再通过http或ftp回传图片,采集后可直接发布。

七牛对象存储: 与存储到阿里云oss类似机制。

腾讯云对象存储:与存储到阿里云oss类似机制。

又拍云对象存储:与存储到阿里云oss类似机制。

详细使用步骤:

1、在“详情提取器”中配置字段

在“详情提取器”中获取图片的字段,其属性配置需勾选上 “获取Html”。

2、“图片下载配置

I、新建图片存储配置

  配置“存储到阿里云OSS”或“存储到七牛云”或“腾讯云COS”。下面以存储到阿里云OSS为例:

进入 ‘图片下载配置’ 栏目,点击 ‘云存储添加管理’ 》点击【+阿里云OSS】按钮》填写相关信息;

也可从控制台左侧菜单“第三方服务配置”–》“图片云存储管理” 如下:

填写相应配置后保存,点击“测试上传图片”,如果弹出图片则测试成功。

II、选择存储配置

  选择对应的服务商云存储配置。

3、查看图片下载是否生效

  在 ‘详情提起器’ 中的右上角处点击测试采集,会采集当前加载页的数据内容;

  待采集完成后,弹出数据预览界面 》 查看源代码,图片的地址是否正确替换:

文章来源于互联网,如有雷同请联系站长删除:网页数据采集–图片云存储教程

发表评论