原理机制 - 获取 URL 并提取可读内容

详细见 openclaw中文站官方解释

![[images/Pasted image 20260414120119.png]]

1. 纯 HTTP 请求：发送 GET 请求（不执行 JavaScript），用 Chrome-like UA 模拟正常浏览器
2. SSRF 防护：默认阻止私有/内网主机，每一步重定向都重新检查
3. 正文提取：用 Readability 算法从 HTML 中提取主体内容，去除导航、广告等干扰
4. 格式转换：输出转换为干净的 Markdown 或纯文本
5. 回退机制：提取失败且配置了 Firecrawl 时，自动回退到 Firecrawl API
6. 缓存：相同 URL 结果缓存 15 分钟，减少重复请求

使用场景

✅ 适合：静态网页、文章、文档、API 数据获取
❌ 不适合：JavaScript 动态渲染页面、需要登录的页面、交互操作

总结：轻量快速获取静态网页正文，动态内容请用 browser/agent-browser。

通过 Chrome DevTools MCP 连接现有会话

官网介绍

检查状态

1

openclaw browser --browser-profile user status 

running: true 则成功。

在浏览器中打开并批准远程调试

地址：chrome://inspect/#remote-debugging

![[images/Pasted image 20260414122323.png]]

实际操作示例

![[images/Pasted image 20260414122458.png]]

适用场景

这种方式非常适合：

• 需要登录才能访问的网站
• JavaScript 动态渲染页面
• 人机验证（你点击验证，AI 提取内容）
• 多种反爬机制

OpenClaw 独立控制专用浏览器（openclaw 配置文件）

前置步骤

安装浏览器可以参考这两篇教程：

• 保姆级 OpenClaw 浏览器配置教程
• WSL 2 GUI 原生支持！Ubuntu 安装 Chrome 浏览器

启动

1

openclaw browser --browser-profile openclaw start

检查浏览器状态

Q：如果遇到自动启动报错，应该怎么办？

可以使用无头模式（不显示窗口），或者 WSLg 显示窗口，手动启动。

踩坑总结：WSL2 + systemd 环境下 OpenClaw 自启动失败解决方法——额这是小龙虾总结的，仅供参考

问题现象

• openclaw browser --profile openclaw start 一直报 Chrome CDP websocket not reachable after start
• 手动启动 Chrome 能成功，curl 能拿到 CDP 信息，但 OpenClaw 还是连不上

根本原因

WSL2 中 openclaw-gateway 由 systemd 管理，systemd 服务不会继承你终端的 DISPLAY 环境变量，即使你 echo $DISPLAY 显示 :0，systemd 启动的 Gateway 还是拿不到，Chrome 启动还是找不到 X 服务器，即使开了 headless: true 也会失败。

解决方法

1. 创建 systemd 服务配置，添加 DISPLAY=:0 环境变量

1

sudo systemctl edit --force --full openclaw-gateway.service

填入以下内容：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

[Unit]
Description=OpenClaw Gateway
After=network.target

[Service]
Type=simple
User=xm
Environment=DISPLAY=:0
ExecStart=/usr/bin/openclaw gateway start
WorkingDirectory=%h
Restart=always
RestartSec=5

[Install]
WantedBy=multi-user.target

2. 重载配置并重启

1
2

sudo systemctl daemon-reload
sudo systemctl restart openclaw-gateway.service

3. 测试启动

1
2

openclaw browser --browser-profile openclaw start
openclaw browser --browser-profile openclaw status

现在应该就能显示 running: true 了 ✅

如果自动启动失败，可以手动启动浏览器，OpenClaw 通过 CDP 连接

1

/usr/bin/google-chrome-stable --headless --no-sandbox --disable-gpu --remote-debugging-port=18800 --user-data-dir=/tmp/chrome-openclaw 

参数说明：

最后检查状态

1

openclaw browser --browser-profile openclaw status

running: true 则成功。

总结

推荐优先使用第二种方式（连接现有会话），适合需要登录、人机验证的场景，踩坑更少。
如果需要完全自动化无人值守，再用第三种方式，按照上文修改 systemd 配置就能解决问题。

期刊名称：Advanced Functional Materials

文章解读：

intrduction：强调背景、抛砖引玉、娓娓道来

• 对象：聚酰亚胺Pi，在高频、高温下的需求
• 策略：mag，先讲传统策略的缺陷，劣势；突出强调mag方法
• mag：The MGA is a systematic research strategy to accelerate the discovery and optimization of new materials through high-throughput experimentation, computation, simulation, and data analysis. The core of MGA is to accurately predict material properties through machine learning (ML) and effectively screen desired materials from candidates.
• 举例：其他人用mag做出了什么，开始说在Pi领域也有人在用mag做研究。
• However：（画风一转）However, applying these methods to the design of polyimides still faces numerous challenges, such as the issue of data sparsity in high-frequency dielectric properties and the need for precise representation of polyimide structures.
  点明矛盾问题：高频段数据稀缺；聚亚酰胺的空间结构的精确表达
• 工作方法：the classical Havriliak-Negami (H-N) dielectric relaxation dual-parameter model——对于高频段数据稀缺性采用经典的Havriliak-Negami（H-N）介电弛豫双参数模型（第一性原理的引入）；
  developed multi-level descriptors to comprehensively capture the characteristics of the molecular structures of PIs——对于后者空间结构的表征采用的是多级描述符
• 多层神经网络HNN进行多任务学习MTL——Subsequently, using these data, we employed multi-task learning (MTL) with hierarchical neural networks (HNN) to establish an efficient and accurate machine learning model.
• 人工神经网络ANN——Meanwhile, an artificial neural network (ANN) model for predicting the glass transition temperature of PIs was developed
• 遗传算法——A genetic algorithm was employed to create a series of PIs exhibiting exceptional high-frequency dielectric properties and heat resistance.

结果与讨论

• Section 2.1 introduces the data preparation, and Section 2.2 details the workflow of ML model construction, as shown in Figure 1b. Section 2.3 describes the structural design of polyimides using genetic algorithms. In Section 2.4, we validated the reliability of the MGA method through experiments. Section 2.5 reveals potential chemical rules through interpretable feature analysis.

2.1数据准备

• 原始数据：ployinfo总的聚亚酰胺的重复单元、介电性能（指不同频率和温度下的介电常数与介电损耗）、玻璃转化温度等参数；另一部分人工方式提取。

• 对象限制：所以聚酰亚胺均为不可交联型

• 数据拓展：Considering the need for sufficient low-frequency dielectric performance data to obtain the parameters of Equation 1, fitting was performed for 13 kinds of PIs that met the criteria (having at least 5 data points for low-frequency dielectric properties at the same test temperature).对低频拟合，再对高频计算
  ![[../../images/Pasted image 20251104140004.png]]

• 分布展示
  ![[../../images/Pasted image 20251104140130.png]]

• 关于数据表征：聚合物表征——简化的分子输入行条目系统（SMILES）
  空间特征表征（多级描述符）：were automatically generated using the Python third-party library Mordred。（Python第三方库）
  另外一种：RDKit固有的分子描述符。

• 特征工程：将描述符数量减少，减少至130、107和170个

• 子结构描述符SD方法，关键基元，更微小的结构。

• gspan算法：基于图的子结构模式挖掘算法，来提取每种聚酰亚胺中与各项性能相关的子结构，从而整合不同子结构对目标性能的贡献度

• 结合定量结构-性能关系分析，我们最终分别获得了508、284和1313个特征，用于构建聚酰亚胺结构与介电常数、介电损耗和玻璃化转变温度之间的定量关系模型。

2.2基于机器学习的定量结构-性质关系模型构建

• 简单来说HNN来多精度问题；ANN用来预测缺失的玻璃化转变温度；广泛使用的高斯过程回归（GPR）模型被确立为基准模型，用以评估神经网络模型的性能。
• Due to the significant impact of the size of the feature set on the performance of ML models, a practical and highly accurate dimensionality reduction method is necessary to reduce redundant information in the features.需要采用一种实用且高精度的降维方法，以减少特征中的冗余信息。
• We selected three feature reduction methods used in ML, including LASSO regression, ridge regression, and recursive feature elimination (RFE)
• Note that we have taken the logarithm of the dielectric constants and the dielectric losses to guarantee that the final predicted values are all positive.

关于HNN的学习和ANN的学习

未完待续

数据来源（对应数据结构）

下面所学知识经验均来自对kaggle竞赛Predicting Road Accident Riskz中的公开Notebook代码的模仿过程

数据观察（主要用pandas库）

读取数据

• 读取文件——pd.read_csv(“path”)pd.read_csv

数据分析

注意kaggle比赛中，数据已经备好了，从赛者可专注于模型的建立和学习
一下较为常用的用粗体表示

• df.columns 查看列 df.columns
• 数据DataFrame的信息——df.info()， df.info()输出列名、以及对于列名的数据大小、空值情况、以及对应的数据类型
• df.shape查看数据的形状 df.shape
• 数据DataFrame的前五行——df.head()， df.head()在nb中会自动展示，或者要对比可以print，or display

EDA

探索性数据分析（Exploratory Data Analysis，简称EDA）是数据科学中的关键步骤，旨在熟悉数据集、揭示变量间的关系并指导后续处理。通过读取数据、数据汇总、总览、缺失值和异常值分析，以及特征分析，我们可以深入了解数据的结构和质量。

目标分布

• plt.figure()的作用创建画布
• sns.histplot()的参数和功能是什么？bin箱子的数目，kde是否加一条拟合分布的曲线

参考两个教程民间教程、官方教程

关联热力图

• 筛选出数值列df.select_dtypes（include=["int64","float64"]）

• df.corr()用来计算各列之间的相关系数的（可以自定义方法用method参数来指定）。这用来做作为 sns.heatmap()的输入参数极为方便

参考民间教程

• sns.heatmap()

参考两个教程民间教程、官方教程

CatBoost Model

介绍(擅长处理类别特征)

CatBoost的全称是Categorical Boosting，它是一种由俄罗斯搜索巨头Yandex开发的梯度提升算法库，特别擅长处理类别型特征。

CatBoost的名称来源于其核心功能，即处理类别型特征（Categorical Features）和梯度提升（Gradient Boosting）。与其他梯度提升算法如XGBoost和LightGBM相比，CatBoost在处理类别型特征方面具有显著优势。

CatBoost的特点

1. 类别型特征处理：CatBoost使用独特的编码方法来处理类别型特征，降低过拟合风险。（无需对这些特征（分类特征）进行One-Hot编码）
2. 克服梯度偏差：CatBoost采用排序提升的概念，防止目标泄漏和过度拟合。
3. 高效实现：支持GPU加速和多GPU训练，提升计算效率。
4. 鲁棒性：减少对大量超参数调整的需求，降低过度拟合的机会。
   CatBoost的应用

CatBoost在多个领域中表现出色，包括金融风控、推荐系统和生物医学等。例如，在信用卡欺诈检测、商品推荐和基因表达数据分析中，CatBoost能够有效处理类别型特征和缺失值，构建精准的预测模型。

总之，CatBoost作为一种专为类别型特征优化的梯度提升算法，凭借其独特的处理策略和高效的实现，迅速成为业界广受欢迎的GBDT框架。

详细介绍解释参考数据STUDIO, 2022、CatBoost深度解析、官方 CatBoost

分类特征（前面对数值类型的特征进行了关联性的分析）

dtype一般是bool或者object

• 作者做了一个操作，将bool转化为str，也变成了object对象。关于选择bool值时，df.select_dtypes(include=)进行优化

• 关于具体转化格式的函数方法，作者使用的是df.astype()

可参考转化类型

关于from sklearn.model_selection import train_test_split, cross_val_score

• train_test_split这个函数十分常用在从训练集分割出验证集时。

参考民间教程、官方教程

模型构建

使用的是catboost库中的，CatBoostRegressor模型，记得安装

1
2
3

conda activate your_env

conda install catboost

模型参数选择

1. iterations 迭代次数（定义了训练过程中提升树的数量）
2. learning_rate 学习率（控制每一步梯度提升时模型权重更新的幅度，而迭代）

1
2
3
4
5
6
7
8
9
10
11
12
13
14

params = {     
'iterations': 1000, # 迭代次数     
'learning_rate': 0.1, # 学习率     
'depth': 6, # 树的深度     
'cat_features': cat_features, # 分类特征
'random_seed': 42, # 随机种子     
'loss_function': 'RMSE', # 损失函数     
'verbose': 100, # 每100次迭代打印一次信息
'early_stopping_rounds': 50, # 早停轮数 
"task_type": "GPU", # 启用 GPU
"devices": "0" # 指定 GPU 设备
}  

Catboost_model = CatBoostRegressor(**params) Catboost_model.fit(X, y, eval_set=(X_val, y_val)) # eval_set 用于监控模型在验证集上的性能 没有则不会显示性能表现

3. 损失函数（二元分类Logloss；回归RMSE（均方根误差） or MAE（平均绝对误差；多分类采用Multiclass损失；不平衡数据集（QueryCrossentropy）
4. GPU加速，加快训练速度

• model.fit() 模型训练，输入X，以及对应的y标签即可。

模型评估

1
2
3
4
5
6
7
8

# Make predictions on validation set
y_pred = Catboost_model.predict(X_val)   # Calculate RMSE
val_rmse = mean_squared_error(y_val, y_pred) print(f"Validation RMSE: {val_rmse:.4f}")  

# Cross-validation
cv_scores = cross_val_score(Catboost_model, X, y, cv=5, scoring='neg_mean_squared_error') 
cv_rmse = np.sqrt(-cv_scores)  
print(f"Cross-validation RMSE: {cv_rmse.mean():.4f} (+/- {cv_rmse.std() * 2:.4f})")

这段代码实现了交叉验证（Cross-validation）过程，用于评估CatBoost模型的性能。具体解释如下：

1. 第一行代码：cv_scores = cross_val_score(Catboost_model, X, y, cv=5, scoring='neg_mean_squared_error')

• 使用cross_val_score函数执行5折交叉验证
• 参数Catboost_model是已经定义好的CatBoost模型
• X是特征数据，y是目标变量
• cv=5表示将数据集分成5个部分进行交叉验证
• scoring='neg_mean_squared_error'表示使用负均方误差作为评分指标（负值是因为scikit-learn中大多数评分函数追求最大化）

2. 第二行代码：cv_rmse = np.sqrt(-cv_scores)

• 将负均方误差转换为均方根误差（RMSE）
• 首先取负值（因为原始得分是负数），然后开平方
• 得到的cv_rmse是一个包含5个元素的数组，每个元素对应一折验证的RMSE（均方根误差）

3. 第三行代码：print(f"Cross-validation RMSE: {cv_rmse.mean():.4f} (+/- {cv_rmse.std() * 2:.4f})")

• 输出交叉验证的平均RMSE和标准差
• .mean()计算5折RMSE的平均值
• .std() * 2计算2倍标准差，表示模型性能的置信区间范围
• :.4f表示保留4位小数 这段代码的主要目的是通过交叉验证来评估模型的泛化能力，避免过拟合问题，并提供模型性能的可靠估计。
• mean_squared_error() 计算两列的均方根误差
• cross_val_score()

参考教程民间教程、官方文档、中文官方

重要性分析

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

# Feature Importance

feature_importance = Catboost_model.get_feature_importance()  # index类型

#print(feature_importance)

feature_names = X.columns # ndarray类型

#print(feature_names)

importance_df = pd.DataFrame({

    'feature': feature_names,

    'importance': feature_importance

}).sort_values('importance', ascending=False) # 按重要性降序排序

  

print("\nTop 10 Most Important Features:")

print(importance_df.head(10))

这里直接用catboost_model.get_feature_importance()方法。

• sort_values() 函数，他是一个排序函数

参考民间教程

1
2
3
4
5
6
7
8
9
10
11

# Detailed feature importance plot

plt.figure()

sns.barplot(data=importance_df.head(10), x='importance', y='feature', palette='viridis')

plt.title('Top 10 Most Important Features')

plt.xlabel('Importance Score')

plt.show()

sns.barplot()函数功能，支持df的输入，指定对于xy的列名即可

可视化结果

1
2
3
4
5
6
7
8
9
10
11
12
13
14

# Plot actual vs predicted values

plt.scatter(y_val, y_pred, alpha=0.1, marker='.', s=5)
# 画出对应的散点图，x为实际，y为预测。所有的散点越靠近完美对角线，就意味着预测效果越好
plt.plot([y_val.min(), y_val.max()], [y_val.min(), y_val.max()], 'r--', lw=2) 
# 第一个参数代表x范围，第二个参数是y的范围，此时默认x=y 画出完美预测线，对角线。

plt.xlabel('Actual Values')

plt.ylabel('Predicted Values')

plt.title('Actual vs Predicted Values')

plt.show()

提交结果

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

# Prepare test data (excluding the id column for prediction)

test_features = test_ds.drop('id', axis=1)

# Make predictions on test set
test_predictions = Catboost_model.predict(test_features)

# Create submission file

submission = pd.DataFrame({
    'id': test_ds['id'],
    'accident_risk': test_predictions
})

  
# Save submission file
submission.to_csv('submission.csv', index=False)
print(f"Submission shape: {submission.shape}")
print("\nFirst 5 rows of submission:")
display(submission.head())