AI资讯专栏建设方案
要实现自动同步各网站、公众号等平台AI资讯,实现信息聚合功能,对标案例可以看看:
https://www.artificial-intelligence.community/spaces/18278949/list
https://www.lovejay.top/hotnews/
目前的两个思路是爬虫采集和RSS订阅方式,采集方式通过设定关键词及定时任务采集导入到后台数据库实现,RSS订阅方式需要对方网站博客支持订阅规则,或者给对方站点生成RSS可供订阅的RSS文件
方案一、定时自动采集对接数据库(爬虫)
从技术难度上考虑爬虫需要掌握Python + HTML + CSS + JavaScript + Scrapy等技术,这里采用
这里直接使用市面上成熟的自动化采集工具
1、web scraper:轻量数据爬取利器,小而精的瑞士军刀
2、后裔采集器:免费,由前谷歌搜索技术团队基于人工智能技术研发的可视化采集器
3、八爪鱼采集:增值,无需编写代码就能采集网站数据

以八爪鱼为例
1、操作性:八爪鱼优势在于可视化采集流程设计,内置300+主流网站采集模板,内置多种人工智能算法与自动化行为操作,轻松采集各种复杂网站场景,支持文字、图片、文档、表格等文件采集下载。
2、可行性:一是可以实现自动定时采集,各平台更新相关AI资讯后可以自动每天或者每周进行采集

二是可设定关键词定向采集:https://www.bazhuayu.com/helpcenter/docs/FnOh8l?search=1

三是可实现云采集,本地关闭电脑也可以运行;四是可定时对接导入数据库,如果中铁低代码平台支持MySQL、MongoDB、SQL Server、PostgreSQL数据库的话可以实现同步发布

四是采集自由度高,支持正则表达式、自定义字段等

五是支持采集至多平台:结果支持导出到Excel,支持将采集数据上传到Ai飞书多维表格,所有资讯一目了然并且实时更新。可参考我个人搭建在广州局试行效果不错的宣传量化多为表格作为参考:https://kdocs.cn/l/cduOE5rrT7AW
AI多维表格个人运用比较熟练,同时他们还提供的API进行无缝对接:API接口-八爪鱼帮助中心

方案二、RSS订阅
RSS 是一种内容聚合的工具,很多网站提供rss订阅源,尤其是个人博主,新闻网站,文献网站wos等等,当网站更新的时候,你会收到通知,相关的一些应用之前我写过一篇长篇教程: https://www.jayclub.cc/18133.html
但是rss技术已经慢慢落后了,但是该原理如何应用到资讯聚合平台上指的学习借鉴
有订阅源的网站:对于大部分网站,尤其是一般的文献期刊网站,都是带有RSS源的,只要百度或者谷歌输入“网站/期刊+RSS”就可以找到相应的RSS源
没有订阅源的网站:也可以手动制作订阅源,利用RSSHub服务:万物皆可RSS,开源、简单易用、易于扩展的 RSS 生成器可以给任何奇奇怪怪的内容生成 RSS 订阅源。RSSHub 借助于开源社区的力量快速发展中,目前已适配数百家网站的上千项内容

另外还有一个很强大的WP采集器可以看看












空空如也!