用户画像系列 |
您所在的位置：网站首页 › 爬数据怎么收费 › 用户画像系列 |
用户画像系列
|
背景： 用户画像系列--在一些中小型公司数据不全的情况下做画像怎么做呢？_诸葛子房_的博客-CSDN博客 在《用户画像系列——在一些中小型公司数据不全的情况下做画像怎么做呢？》一文中，讲解在一些中小型公司如何数据不全的情况下，如何利用现用数据结合一些外部数据来完善画像标签。 里面提供了爬取手机价格的代码，那么有没有什么办法能做到爬取手机价格自动化呢？ 调研：(1)部署一台机器，定时运行爬虫任务进行爬虫----要求有一台机器 (2)利用其他公司实现自动化爬取，比如:利用gitee 流水线、github action，gitee 流水线目前只有200分钟免费，因此考虑使用github action 来处理 实现：GitHub Action 介绍：https://docs.github.com/zh/actions 首先实现好爬虫代码，保证本地测试可运行，提交到githup 上，新建action  构建自己的workflows: # This workflow will build a Java project with Maven # For more information see: https://help.github.com/actions/language-and-framework-guides/building-and-testing-java-with-maven name: Java CI with Maven on: schedule: # 定时执行，Runs at 17:00 UTC every day - cron: '0 16 * * *' # 手动触发事件 workflow_dispatch: inputs: logLevel: description: 'Log level' required: true default: 'warning' tags: description: 'Test scenario tags' jobs: build: runs-on: ubuntu-latest steps: - uses: actions/checkout@v2 - name: Set up JDK 1.8 uses: actions/setup-java@v1 with: java-version: 1.8 - name: Build with Maven run: mvn -B package --file pom.xml - name: Run Java Application run: java -cp target/zhihu-collector-1.0-SNAPSHOT-jar-with-dependencies.jar org.example.SpiderMain - name: Commit run: | git config --local user.email [email protected] git config --local user.name zhugezifang git add -A git commit -m "update" - name: Push changes uses: ad-m/github-push-action@master with: github_token: ${{ secrets.MY_GIT_TOKEN }} branch: master设置 Secrets 和仓库权限read and write(保证仓库可以push)   这样就完成了配置，我们就可以利用github action 来做到自动化爬取手机价格数据了  结束语：本文分享了利用GitHub Action 来实现自动爬取手机价格数据，达到使画像数据更加完善的效果，避免利用服务器等资源，从效果来看是非常方便，文中代码参考：https://github.com/zhugezifang/zol-collector GitHub Action参考： GitHub Actions 入门教程 如何使用 Github Actions 自动抓取每日必应壁纸? |
【本文地址】
今日新闻 |
推荐新闻 |