开源
功能说明:该程序是一个基于易语言开发的通用网页内容抓取工具,核心功能是通过HTTP协议向指定URL发起网络请求并获取返回的原始页面字节数据。程序以“访问网页”子程序为对外公开接口,支持GET和POST两种请求方式,可灵活配置代理服务器地址、自定义HTTP请求头(如Accept、Referer、Accept-Language等)、POST提交数据及超时控制(默认90秒)。内部采用多线程异步调用机制(通过“创建线程”+“处理事件”实现非阻塞等待),避免界面卡死;底层使用Windows Internet API(Internet激活、Internet建立连接、Http创建请求、Http发送请求、Internet读文件等)完成完整的HTTP通信流程。程序自动补全常用协议头(如缺失则添加中文语言支持、通用MIME类型Accept头、当前URL作为Referer),对POST请求自动添加Content-Type和Content-Length头。所有网络操作均具备基础错误处理(句柄校验、失败时清空返回值)。程序启动时仅输出调试标识信息,无GUI界面,定位为轻量级、可嵌入其他项目的底层网页采集模块,适用于自动化数据采集、接口调试、简单爬虫等场景。
======程序集1
| |
| |------ _启动子程序
| |
| |------ _临时子程序
| |
| |------ 访问网页
| |
| |------ 读网页
| |
| |------ 取域名
| |
| |------ 取端口
| |
| |------ 取页面地址
| |
| |------ 设COOKIE
| |
| |------ 取COOKIE
| |
| |------ 清除COOKIE
| |
| |------ 延时器
| |
| |------ 转换为GMT格式
| |
| |
======调用的Dll
| |
| |---[dll]------ Internet激活
| |
| |---[dll]------ Internet关闭句柄
| |
| |---[dll]------ Internet读文件
| |
| |---[dll]------ Http创建请求
| |
| |---[dll]------ Http发送请求
| |
| |---[dll]------ 读取COOKIE
| |
| |---[dll]------ 销毁线程
| |
| |---[dll]------ HTTP查询信息
| |
| |---[dll]------ _UTF8生成
| |
| |---[dll]------ _字符编码
| |
| |---[dll]------ _编码转换
| |
| |---[dll]------ _取目标编码长度
| |
| |---[dll]------ 设置COOKIE
| |
| |---[dll]------ Internet建立连接
| |
| |---[dll]------ 创建线程
注:本站源码主要来源于网络收集。如有侵犯您的利益,请联系我们,我们将及时删除!
部分源码可能含有危险代码,(如关机、格式化磁盘等),请看清代码在运行。
由此产生的一切后果本站均不负责。源码仅用于学习使用,如需运用到商业场景请咨询原作者。
使用本站源码开发的产品均与本站无任何关系,请大家遵守国家相关法律。