简介:随着“互联网+”概念的普及,网络上的资源随之成倍增长.面对庞大的数据资源,传统的搜索引擎Baidu、Google等已经不能满足人们对于特定信息的获取需求.作为搜索引擎抓取数据的重要组成部分,网络爬虫的作用非常重要.本文主要介绍了网络爬虫的概念、组成模块以及工作流程,在通用爬虫的基础上提出一种聚焦型网络爬虫系统,以python和相应的第三方库为主要工具,通过定义采集函数和给定豆瓣网最新上映电影的网址,快速搜索该网址某电影的影评信息,对页面内链接和外链接进行有效爬取.然后,再对获取到的数据进行分词处理,根据关键词的出现频率生成词云.实验结果表明,该聚焦型爬虫系统能够将所有影评信息以JSON格式存储到本地,并通过词云直观的展示出来.
简介:为了满足实时、快速地获取并处理视频信息,提出以Altera公司Cyclone系列的EP1C12Q240C8为核心芯片构造硬件开发平台,使用VerilogHDL语言对CMOS图像传感器OV7620的驱动时序进行硬件描述。系统采用SCCB编程模式,建立FPGA芯片与CMOS图像传感器之间的通信,实现信号的控制与获取。为了实现在不同环境和需求下的操作要求,设定了CMOS图像传感器内部的相应寄存器和控制器。实验结果表明,该系统通过灵活控制CMOS图像传感器OV7620,为实现视频监控、工业现场监控等应用提供了稳定可靠的原始信息来源。