宝哥软件园

基于ThinkPHP5框架使用查询列表爬取并存入关系型数据库数据库操作示例

编辑:宝哥软件园 来源:互联网 时间:2021-08-23

本文实例讲述了基于ThinkPHP5框架使用查询列表爬取并存入关系型数据库数据库操作。分享给大家供大家参考,具体如下:

QueryList4教程地址:

https://doc.querylist.cc/site/index/doc/45

在ThinkPHP5代码根目录执行设计者命令安装QueryList:

作曲家需要jaeger/querylist如果出现以下错误

用包信息加载设计者存储库更新依赖项(包括require-dev)需要身份验证(packagest。phpccomposer。com):用户名:

出现这样的情况

使用

作曲家https://packagist.laravel-china.org下面演示在索引控制器中使用QueryList:

使用QL查询列表;公共函数qulist(){ $ data=querylist : get(' http://Mayan。com/board/4 ')//设置采集规则-规则([ //爬取图片地址src '=数组('。纸板包装dd img.board-img ',' data-src '),//爬取电影名名称'=数组(' .纸板包装。电影项目信息。名称,' html ',//爬取电影主演信息星'=数组' .纸板包装。电影项目信息。星号、' html ')、//爬取上映时间releasetime'=array(' .纸板包装。电影项目信息. releasetime ',' html '),])-query()-getData();$ excel _ array=$ data-all();var _ dump($ excel _ array);退出;}如果没有错的则

如果想继续抓取下一页的数据要根据规律来去

这里我继续抓取20页但是没有那么多就抓取了10页的数据

public function qulist(){ for($ I=0;$ i20 $ I){ $ page=$ I * 10;$ data=query list : get(' http://毛焰。com/board/4?偏移量=' .$page) //设置采集规则-规则([ //爬取图片地址src '=数组('。纸板包装dd img.board-img ',' data-src '),//爬取电影名名称'=数组(' .纸板包装。电影项目信息。名称,' html ',//爬取电影主演信息星'=数组' .纸板包装。电影项目信息。星号、' html ')、//爬取上映时间releasetime'=array(' .纸板包装。电影项目信息. releasetime ',' html '),])-query()-getData();$ excel _ array=$ data-all();var _ dump($ excel _ array);退出;}}将数据插入到数据库详细步骤

更多关于框架相关内容感兴趣的读者可查看本站专题: 《ThinkPHP入门教程》 、 《thinkPHP模板操作技巧总结》 、 《ThinkPHP常用方法总结》 、 《codeigniter入门教程》 、 《CI(CodeIgniter)框架进阶教程》 、 《Zend FrameWork框架入门教程》 及《PHP模板技术总结》 。

希望本文所述对大家基于ThinkPHP框架的服务器端编程语言(专业超文本预处理器的缩写)程序设计有所帮助。

更多资讯
游戏推荐
更多+