您当前的位置:首页 > 网站建设笔记 >

采集海关汇率数据

0

由于网站前台请求返回的数据被加密,所以需要到网站页面人工复制页面文字数据,然后经过一系列处理得到所有数据。在这记录下如何方便快速地收集数据。

第一步:在目标网站前台页面复制文字数据,有必要通过一些CSS代码隐藏一些没用的数据,如:

<style>.el-table_1_column_9 {display:none;}</style>

将复制的数据粘贴到文本文本中,执行以下一系列正则替换表达式:

Find:^\s{1}([\u4E00-\u9FA5\uF900-\uFA2D]+)
     ^([\x{4e00}-\x{9fff}]+)
Replace:{"currency_name": "\1",

Find:^([A-Za-z ]{4,})
Replace:"currency_en_name": "\1",

Find:^([A-Za-z]{3})
Replace:"currency_code": "\1",

Find:2024-03
Replace:"month": "2024-03",

Find:2024-02-21
Replace:"issue_day": "2024-02-21"},

Find:"currency_code": "([A-Za-z]{3})",[\n\s]*([\d\.]+)[\n\s]*([\d\.]+)
Replace:"currency_code": "\1",
"conversion_amount": "\2",
"taxes_rate": \3,

执行完以上所有正则替换之后,将替换后的内容复制到202403.js文件(文件名自定义)并用中括号括起来,现在数据就是一个JS数组的内容,为接下来方便使用代码轻松导入到数据库。

建站咨询

咨询热线

微信交流

返回顶部