相关文章
笔记：AI量化策略开发流程-基于BigQuant平台（二）
五、模型训练股票预测
完成了数据处理，接下来就可利用平台集成的各算法进行模型训练和模型预测啦。本文将详细介绍“模型训练”、“模型预测”两大模块操作、原理。
模型训练和模型预测是AI策略区别于传统量化策略的核心，我们通过模型训练模块利用训练…
BigQuant策略做量化真的能赚钱吗？
BigQuant策略做量化可以赚钱，但是是建立在一些前提条件基础之上的。量化策略本身存在的意义就是通过数量化模型建立科学投资体系，获取稳定收益，相比传统投资，其具备纪律性、系统性、及时性、准确性等诸多优势，所以一个…
【从零开始玩量化20】BigQuant平台策略代码本地化（与Github同步）
引言
最近发现了个不错的量化平台，BigQuant BigQuant的客服找到我，推荐他们平台给我使用，宣传的是人工智能，里面可以使用类似ChatGPT的聊天机器人，和可视化拖拉拽功能实现策略。
不过，这些都是锦上添花的…
笔记：AI量化策略开发流程-基于BigQuant平台（一）
从本文开始，按照AI策略开发的完整流程（共七步），上手在BigQuant平台上快速构建AI策略。本文首先介绍如何使用证券代码模块指定股票范围和数据起止日期。重要的事情说三遍：模块的输入端口有提示需要连线的上游数据类型&a…
爬虫 第六讲 Scrapy框架
文章目录 爬虫 第六讲 Scrapy框架一、Scrapy框架Scrapy简介工作流程Scrapy入门 pipline使用1.scrapy.Request知识点2.item的介绍和使用3.Scrapy log信息的认知4.Scrapy settings说明和配置 Scrapy CrawlSpider说明1.LinkExtractors链接提取器2.Rule规则类3.案例演示 爬取小程序…
Scrapy学习过程之二：架构及简单示例
１、Scrapy架构
参考：https://docs.scrapy.org/en/latest/topics/architecture.html#data-flow
以下是架构图： 从上图可以看出，Scrapy是组件化的，每个组件实现特定的功能，组件之间是独立的，松耦…
python反反爬虫教学_爬虫进阶：反反爬虫技巧
主要针对以下四种反爬技术：Useragent过滤；模糊的Javascript重定向；验证码；请求头一致性检查。
高级网络爬虫技术:绕过 “403 Forbidden”，验证码等
爬虫的完整代码可以在 github 上对应的仓库里找到。
简介
我从不…
【爬虫实践】记一次Scrapy框架入门使用爬取豆瓣电影数据
本次的学习分享主要是使用一次Scrapy框架，毕竟在很多次的时候，自己在提取一些或是需要实验数据的时候，数据量要求不大，很快便能通过简单的request等库进行调用，然后获取数据。
这次，则是想要使用一次Scrapy框架，毕竟如果一次通配使用Scrapy也算是为了以后的学习实验进行…
论文阅读之Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer（2020）
文章目录 AbstractintroductionSetupmodelThe Colossal Clean Crawled CorpusDownstream TasksInput and Output Format Experiments总结参考 文章标题翻译过来，大概是：用统一的文本到文本转换器探索迁移学习的极限。 确实挺极限的。
这篇文章主要探讨了…
【Scrapy】一篇完成入门与实战
Scrapy是python环境下的一个爬虫框架，相比Beautiful和requests，其效率更高。 目录 1.Scrapy的入门教程（推荐）：2.实战教程：3.基础笔记：（1）常用命令（2ÿ…
Scrapy 爬虫框架
Scrapy 爬虫框架 1. 概述
Scrapy是一个可以爬取网站数据，为了提取结构性数据而编写的开源框架。Scrapy的用途非常广泛，不仅可以应用到网络爬虫中，还可以用于数据挖掘、数据监测以及自动化测试等。Scrapy是基于Twisted的异步处理框架&…
Python爬虫——Scrapy-1
目录
简介
安装
基本使用
1. 创建爬虫的项目
2. 创建爬虫文件
3. 运行爬虫代码
scrapy项目组成
scrapy工作原理
编辑 58同城
scrapy架构组成
汽车之家
总结 简介 Scrapy 是一个基于 Python 的开源网络爬虫框架，它可以帮助开发者快速、高效地构…
Scrapy的简单使用
近期国内引进了一些动漫电影，然而博主还没有去看~(￣▽￣)~*，外面阳性太多，遂先看看网上的风评如何，兴趣使然，此处就用scrapy来收集下某站上该电影的短评 初始化scrapy项目
初始化项目
# 先安装…
Scrapy爬虫框架-自定义中间件
Scrapy爬虫框架-自定义中间件 Scrapy中内置了多个中间件，不过在多数情况下开发者都会选择创建一个属于自己的中间件，这样既可以满足自己的开发需求，还可以节省很多开发时间。在实现自定义中间件时需要重写部分方法，因为Scrapy引…
弱监督语义分割--Weakly Supervised Semantic Segmentation using Web-Crawled Videos
Weakly Supervised Semantic Segmentation using Web-Crawled Videos CVPR2017
https://arxiv.org/abs/1701.00352
一不小心看到了一篇关于弱监督的语义分割的文献，这才发现仅一个弱监督语义分割就是大坑啊，看看这篇文章的参考文献就知道了。
与弱监…
![Scrapy：[scrapy.core.engine] DEBUG: Crawled (200)解决尝试](http://pic.002.xiahunao.cn/pnds/Scrapy：[scrapy.core.engine] DEBUG: Crawled (200)解决尝试)
Scrapy：[scrapy.core.engine] DEBUG: Crawled (200)解决尝试
在学习Scrapy用法的实验过程中，拟“得到”某网站信息时，出现大量的[scrapy.core.engine] DEBUG和[scrapy.spidermiddlewares.httperror]报错。 刚学习Scrapy视频半个小时，顿时有点懵B！抱着解决问题就是最好的学习收获的原则&#…
 ＜GET https://book.douban.com/top250＞ (referer: None))
Scrapy 提示错误 DEBUG: Crawled (403) ＜GET https://book.douban.com/top250＞ (referer: None)
运行scrapy后无结果，提示debug信息显示403 2023-01-19 09:51:35 [scrapy.utils.log] INFO: Scrapy 2.7.1 started (bot: tl)
2023-01-19 09:51:35 [scrapy.utils.log] INFO: Versions: lxml 4.5.0.0, libxml2 2.9.9, cssselect 1.2.0, parsel 1.7.0, w3lib 2.1.1, T…
)
使用scrapy做爬虫遇到的一些坑：网站常用的反爬虫策略，如何机智的躲过反爬虫Crawled (403)
在这幅图中我们可以很清晰地看到爬虫与反爬虫是如何进行斗智斗勇的。
在学习使用爬虫时，我们制作出来的爬虫往往是在“裸奔”，非常的简单。
简单低级的爬虫有一个很大的优点：速度快，伪装度低。如果你爬取的网站没有反爬机制&…
 ＜GET http://www.baidu.com/＞ (referer: None)错误及解决办法)
Scrapy Crawled (200) ＜GET http://www.baidu.com/＞ (referer: None)错误及解决办法
如下图所示，此错误是建立在scrapy框架建立起来的情况下，如图所示，图片左侧是scrapy框架项目结构，出现标题的错误，首先点击如图所示的settings.py文件,找到第40行,如图所示我已经框出来了,这两行刚打开文件时注释的&…
Python Scrapy 爬虫踩过的坑（一）
一、DEBUG Crawled 200 ，具体报错信息如下图所示：
爬虫初学者，记录自己曾爬过的坑。
1. 200为HTTP 状态码，代表访问OK。
2. 但是设置的正则的返回的爬取信息为[]
3. 主要出错原因，爬取的为分类下的数据信息，start_urls = [ ] 为设置爬虫文件时 域名所对应的网址。需要…