纯净、安全、绿色的下载网站

首页

当前位置:首页IT学院IT技术

python 股票基金爬虫 python 简单的股票基金爬虫

aliyoge   2021-06-05 我要评论
想了解python 简单的股票基金爬虫的相关内容吗aliyoge在本文为您仔细讲解python 股票基金爬虫的相关知识和一些Code实例欢迎阅读和指正我们先划重点:python,股票爬虫,python,基金爬虫下面大家一起来学习吧

项目地址

https://github.com/aliyoge/fund_crawler_py

所用到的技术

  1. IP代理池
  2. 多线程
  3. 爬虫
  4. sql

开始编写爬虫

1.首先开始分析天天基金网的一些数据经过抓包分析可知: ./fundcode_search.js包含所有基金代码的数据

2.根据基金代码访问地址: fundgz.1234567.com.cn/js/ + 基金代码 + .js可以获取基金实时净值和估值信息

3.根据基金代码访问地址: fundf10.eastmoney.com/FundArchivesDatas.aspx?type=jjcc&code= + 基金代码 + &topline=10&year=2021&month=3可以获取第一季度该基金所持仓的股票

4.由于这些地址具有反爬机制多次访问将会失败的情况所以需要搭建IP代理池用于反爬搭建很简单只需要将proxy_pool这个项目跑起来就行了

# 通过这个方法就能获取代理
def get_proxy():
    return requests.get("http://127.0.0.1:5010/get/").json()

5.搭建完IP代理池后我们开始着手多线程爬取数据的工作使用多线程需要考虑到数据的读写顺序问题这里使用python中的队列queue存储基金代码不同线程分别从这个queue中获取基金代码并访问指定基金的数据因为queue的读取和写入是阻塞的所以可确保该过程不会出现读取重复和读取丢失基金代码的情况

# 获取所有基金代码
fund_code_list = get_fund_code()
fund_len = len(fund_code_list)

# 创建一个队列
fund_code_queue = queue.Queue(fund_len)
# 写入基金代码数据到队列
for i in range(fund_len):
    # fund_code_list[i]也是list类型其中该list中的第0个元素存放基金代码
    fund_code_queue.put(fund_code_list[i][0])

6.现在开始编写获取所有基金的代码

# 获取所有基金代码
def get_fund_code():
    ...

    # 访问网页接口
    req = requests.get("http://fund.eastmoney.com/js/fundcode_search.js",
                    timeout=5,
                    headers=header)

    # 解析出基金代码存入list中
    ...

    return fund_code_list

7.接下来是从队列中取出基金代码同时获取基金详情和基金持仓的股票

# 当队列不为空时
while not fund_code_queue.empty():

    # 从队列读取一个基金代码
    # 读取是阻塞操作
    fund_code = fund_code_queue.get()

    ...

    try:
        # 使用该基金代码进行基金详情和股票持仓请求
        ...

8.获取基金详情

# 使用代理访问
req = requests.get(
    "http://fundgz.1234567.com.cn/js/" + str(fund_code) + ".js",
    proxies={"http": "http://{}".format(proxy)},
    timeout=3,
    headers=header,
)
# 解析返回数据
...

9.获取持仓股票信息

# 获取股票投资明细
req = requests.get(
    "http://fundf10.eastmoney.com/FundArchivesDatas.aspx?type=jjcc&code="
    + str(fund_code) + "&topline=10&year=2021&month=3",
    proxies={"http": "http://{}".format(proxy)},
    timeout=3,
    headers=header,
)
# 解析返回数据
...

10.准备一个数据库用于存储数据和对数据进行筛选分析这里推荐一个方便的云数据库一键创建一键查询十分方便而且是免费的哦前往MemFireDB注册一个账号就能使用注册邀请码:6mxJl6、6mYjGY

11.创建好数据库后点击连接信息填入代码中用于连接数据库

# 初始化数据库连接:
engine = create_engine(
'postgresql+psycopg2://username:password@ip:5433/dbname')

12.将数据写入数据库中

with get_session() as s:
    # create fund
    ...

    if (create):
        s.add(fund)

    s.commit()

13.到这里大部分工作已经完成了我们在main函数中开启线程开始爬取

# 在一定范围内线程数越多速度越快
for i in range(50):
    t = threading.Thread(target=get_fund_data, name="LoopThread" + str(i))
    t.start()

14.等到爬虫运行完成之后我们打开MemFireDB点击对应数据库的SQL查询按钮就可以查看我们爬取的数据哇!我们获取到了6432条数据

15.接下来让我们来看看这些基金最喜欢买哪些股票吧输入SQL语句select poscode, posname, count(*) as count, cast(sum(poscost) as int) from fund group by poscode, posname order by count desc limit 10;

它就是茅台!


相关文章

猜您喜欢

  • python 自助取数查询 Python实现一个自助取数查询工具

    想了解Python实现一个自助取数查询工具的相关内容吗Brook在本文为您仔细讲解python 自助取数查询的相关知识和一些Code实例欢迎阅读和指正我们先划重点:python,自助取数,python,取数查询下面大家一起来学习吧..
  • Oracle创建只读账号 Oracle创建只读账号的详细步骤

    想了解Oracle创建只读账号的详细步骤的相关内容吗Lexsaints在本文为您仔细讲解Oracle创建只读账号的相关知识和一些Code实例欢迎阅读和指正我们先划重点:Oracle,创建账号,Oracle,只读账号下面大家一起来学习吧..

网友评论

Copyright 2022 版权所有 软件发布

声明:所有软件和文章来自软件开发商或者作者 如有异议 请与本站联系 联系我们