2.1.27 • Published 11 months ago

@blocklet/crawler v2.1.27

Weekly downloads
-
License
ISC
Repository
-
Last release
11 months ago

@blocklet/crawler

@blocklet/crawler is a package crawler for Blocklet.

Package Structure

The package is composed of both frontend and backend components. The backend code can be found in the middlewares folder.

Development

Install In Blocklet

# You can use npm / yarn
pnpm add @blocklet/crawler

Install Dependencies

To install the required dependencies, run the following command:

pnpm i

Build Packages

To build the packages, execute the following command:

pnpm build

Build, Watch, and Run Development Server

For building, watching changes, and running the development server, use the following command:

pnpm run dev

Backend Example

const { initSEOMiddleware, initCronCrawlBlocklet } = require('@blocklet/crawler/middlewares');

// init cron job to crawl blocklet that generate SEO pages
initCronCrawlBlocklet({
  time: '0 0 */12 * * *',
});

const router = express.Router();
// init SEO middleware, when request come, we will return the SEO static page
router.use(initSEOMiddleware());

License

This package is licensed under the MIT license.

blockletcrawler
@abtnode/cron@blocklet/puppeteer@blocklet/sdkaxioscryptofs-extrageneric-poollodashlru-cachep-queuep-wait-forprettierredisrobots-parsersitemapufourl-join
@everything-registry/sub-chunk-132
2.1.27

11 months ago

2.1.25

11 months ago

2.1.26

11 months ago

2.1.23

11 months ago

2.1.24

11 months ago

2.1.21

11 months ago

2.1.22

11 months ago

2.1.19

11 months ago

2.1.20

11 months ago

2.1.18

11 months ago

2.1.16

11 months ago

2.1.17

11 months ago

2.1.14

12 months ago

2.1.15

11 months ago

2.1.13

12 months ago

2.1.12

12 months ago

2.1.11

12 months ago

2.1.2

12 months ago

2.1.1

12 months ago

2.1.4

12 months ago

2.1.3

12 months ago

2.1.6

12 months ago

2.1.5

12 months ago

2.1.8

12 months ago

2.1.7

12 months ago

2.1.0

12 months ago

2.1.10

12 months ago

2.0.198

12 months ago

2.0.197

1 year ago

2.1.9

12 months ago

2.0.191

1 year ago

2.0.196

1 year ago

2.0.195

1 year ago

2.0.194

1 year ago

2.0.193

1 year ago

2.0.192

1 year ago

2.0.190

1 year ago

2.0.179

1 year ago

2.0.178

1 year ago

2.0.177

1 year ago

2.0.176

1 year ago

2.0.175

1 year ago

2.0.174

1 year ago

2.0.172

1 year ago

2.0.171

1 year ago

2.0.170

1 year ago

2.0.180

1 year ago

2.0.189

1 year ago

2.0.188

1 year ago

2.0.187

1 year ago

2.0.186

1 year ago

2.0.185

1 year ago

2.0.184

1 year ago

2.0.183

1 year ago

2.0.182

1 year ago

2.0.181

1 year ago

2.0.159

1 year ago

2.0.158

1 year ago

2.0.157

1 year ago

2.0.156

1 year ago

2.0.155

1 year ago

2.0.154

1 year ago

2.0.153

1 year ago

2.0.152

1 year ago

2.0.151

1 year ago

2.0.150

1 year ago

2.0.169

1 year ago

2.0.168

1 year ago

2.0.167

1 year ago

2.0.166

1 year ago

2.0.165

1 year ago

2.0.164

1 year ago

2.0.163

1 year ago

2.0.162

1 year ago

2.0.161

1 year ago

2.0.160

1 year ago

2.0.149

1 year ago

2.0.148

1 year ago

2.0.147

1 year ago

2.0.146

1 year ago

2.0.145

1 year ago

2.0.144

1 year ago

2.0.143

1 year ago

2.0.142

1 year ago

2.0.141

1 year ago

2.0.140

1 year ago

2.0.15

1 year ago

2.0.16

1 year ago

2.0.13

1 year ago

2.0.14

1 year ago

2.0.11

1 year ago

2.0.12

1 year ago

2.0.10

1 year ago

2.0.19

1 year ago

2.0.17

1 year ago

2.0.18

1 year ago

2.0.26

1 year ago

2.0.27

1 year ago

2.0.24

1 year ago

2.0.25

1 year ago

2.0.22

1 year ago

2.0.23

1 year ago

2.0.20

1 year ago

2.0.21

1 year ago

2.0.28

1 year ago

2.0.29

1 year ago

2.0.37

1 year ago

2.0.38

1 year ago

2.0.35

1 year ago

2.0.36

1 year ago

2.0.33

1 year ago

2.0.34

1 year ago

2.0.31

1 year ago

2.0.32

1 year ago

2.0.30

1 year ago

2.0.39

1 year ago

2.0.48

1 year ago

2.0.49

1 year ago

2.0.46

1 year ago

2.0.47

1 year ago

2.0.44

1 year ago

2.0.45

1 year ago

2.0.42

1 year ago

2.0.43

1 year ago

2.0.40

1 year ago

2.0.41

1 year ago

2.0.59

1 year ago

2.0.57

1 year ago

2.0.58

1 year ago

2.0.55

1 year ago

2.0.56

1 year ago

2.0.53

1 year ago

2.0.54

1 year ago

2.0.51

1 year ago

2.0.52

1 year ago

2.0.50

1 year ago

2.0.68

1 year ago

2.0.69

1 year ago

2.0.66

1 year ago

2.0.67

1 year ago

2.0.64

1 year ago

2.0.65

1 year ago

2.0.62

1 year ago

2.0.63

1 year ago

2.0.61

1 year ago

2.0.79

1 year ago

2.0.77

1 year ago

2.0.78

1 year ago

2.0.75

1 year ago

2.0.76

1 year ago

2.0.73

1 year ago

2.0.74

1 year ago

2.0.71

1 year ago

2.0.72

1 year ago

2.0.70

1 year ago

2.0.88

1 year ago

2.0.89

1 year ago

2.0.86

1 year ago

2.0.87

1 year ago

2.0.84

1 year ago

2.0.85

1 year ago

2.0.82

1 year ago

2.0.83

1 year ago

2.0.80

1 year ago

2.0.81

1 year ago

2.0.99

1 year ago

2.0.97

1 year ago

2.0.98

1 year ago

2.0.95

1 year ago

2.0.96

1 year ago

2.0.94

1 year ago

1.6.259

1 year ago

1.6.258

1 year ago

1.6.260

1 year ago

1.6.262

1 year ago

1.6.261

1 year ago

1.6.264

1 year ago

1.6.263

1 year ago

1.6.255

1 year ago

1.6.254

1 year ago

1.6.257

1 year ago

1.6.256

1 year ago

2.0.3

1 year ago

2.0.2

1 year ago

2.0.139

1 year ago

2.0.5

1 year ago

2.0.138

1 year ago

2.0.4

1 year ago

2.0.137

1 year ago

2.0.7

1 year ago

2.0.136

1 year ago

2.0.6

1 year ago

2.0.135

1 year ago

2.0.9

1 year ago

2.0.134

1 year ago

2.0.133

1 year ago

2.0.132

1 year ago

2.0.131

1 year ago

2.0.130

1 year ago

2.0.1

1 year ago

2.0.0

1 year ago

2.0.109

1 year ago

2.0.119

1 year ago

2.0.118

1 year ago

2.0.117

1 year ago

2.0.116

1 year ago

2.0.115

1 year ago

2.0.114

1 year ago

2.0.113

1 year ago

2.0.112

1 year ago

2.0.111

1 year ago

2.0.110

1 year ago

2.0.129

1 year ago

2.0.128

1 year ago

2.0.127

1 year ago

2.0.126

1 year ago

2.0.125

1 year ago

2.0.124

1 year ago

2.0.123

1 year ago

2.0.122

1 year ago

2.0.121

1 year ago

2.0.120

1 year ago

2.0.108

1 year ago

2.0.107

1 year ago

2.0.106

1 year ago

2.0.105

1 year ago

2.0.104

1 year ago

2.0.103

1 year ago

2.0.102

1 year ago

2.0.101

1 year ago

2.0.100

1 year ago

1.6.253

1 year ago

1.6.246

1 year ago

1.6.248

1 year ago

1.6.247

1 year ago

1.6.249

1 year ago

1.6.251

1 year ago

1.6.250

1 year ago

1.6.252

1 year ago

1.6.244

1 year ago

1.6.245

1 year ago

1.6.243

1 year ago

1.6.242

1 year ago

1.6.241

1 year ago

1.6.239

1 year ago

1.6.240

1 year ago

1.6.238

1 year ago

1.6.237

1 year ago

1.6.236

1 year ago

1.6.234

1 year ago

1.6.233

1 year ago

1.6.232

1 year ago

1.6.231

1 year ago

1.6.228

1 year ago

1.6.229

1 year ago

1.6.230

1 year ago

1.6.227

1 year ago

1.6.226

1 year ago

1.6.225

1 year ago

1.6.224

1 year ago

1.6.222

1 year ago

1.6.221

1 year ago

1.6.223

1 year ago

1.6.220

1 year ago

1.6.219

1 year ago

1.6.218

1 year ago

1.6.217

1 year ago

1.6.215

1 year ago

1.6.216

1 year ago

1.6.214

1 year ago

1.6.213

1 year ago

1.6.211

1 year ago

1.6.212

1 year ago

1.6.206

1 year ago

1.6.208

1 year ago

1.6.207

1 year ago

1.6.209

1 year ago

1.6.210

1 year ago

1.6.204

1 year ago

1.6.203

1 year ago

1.6.205

1 year ago

1.6.202

1 year ago

1.6.198

1 year ago

1.6.199

1 year ago

1.6.200

1 year ago

1.6.201

1 year ago

1.6.196

1 year ago

1.6.197

1 year ago

1.6.195

1 year ago

1.6.192

1 year ago

1.6.191

1 year ago

1.6.194

1 year ago

1.6.193

1 year ago

1.6.189

1 year ago

1.6.188

2 years ago

1.6.185

2 years ago

1.6.187

2 years ago

1.6.186

2 years ago

1.6.184

2 years ago

1.6.183

2 years ago

1.6.182

2 years ago

1.6.181

2 years ago

1.6.180

2 years ago

1.6.179

2 years ago

1.6.176

2 years ago

1.6.178

2 years ago

1.6.177

2 years ago

1.6.174

2 years ago

1.6.175

2 years ago

1.6.173

2 years ago

1.6.172

2 years ago

1.6.169

2 years ago

1.6.170

2 years ago

1.6.171

2 years ago

1.6.168

2 years ago

1.6.167

2 years ago

1.6.165

2 years ago

1.6.164

2 years ago

1.6.166

2 years ago

1.6.163

2 years ago

1.6.162

2 years ago

1.6.159

2 years ago

1.6.161

2 years ago

1.6.160

2 years ago

1.6.158

2 years ago

1.6.154

2 years ago

1.6.153

2 years ago

1.6.156

2 years ago

1.6.157

2 years ago

1.6.152

2 years ago

1.6.149

2 years ago

1.6.150

2 years ago

1.6.151

2 years ago

1.6.148

2 years ago

1.6.147

2 years ago

1.6.146

2 years ago

1.6.141

2 years ago

1.6.140

2 years ago

1.6.143

2 years ago

1.6.142

2 years ago

1.6.145

2 years ago

1.6.144

2 years ago

1.6.138

2 years ago

1.6.137

2 years ago

1.6.139

2 years ago

1.6.130

2 years ago

1.6.132

2 years ago

1.6.131

2 years ago

1.6.134

2 years ago

1.6.133

2 years ago

1.6.136

2 years ago

1.6.135

2 years ago

1.6.127

2 years ago

1.6.126

2 years ago

1.6.129

2 years ago

1.6.128

2 years ago

1.6.125

2 years ago

1.6.124

2 years ago

1.6.123

2 years ago

1.6.121

2 years ago

1.6.120

2 years ago

1.6.118

2 years ago

1.6.119

2 years ago

1.6.116

2 years ago

1.6.117

2 years ago

1.6.115

2 years ago

1.6.114

2 years ago

1.6.113

2 years ago

1.6.105

2 years ago

1.6.104

2 years ago

1.6.107

2 years ago

1.6.106

2 years ago

1.6.109

2 years ago

1.6.108

2 years ago

1.6.110

2 years ago

1.6.112

2 years ago

1.6.111

2 years ago

1.6.103

2 years ago

1.6.101

2 years ago

1.6.100

2 years ago

1.6.102

2 years ago

1.6.95

2 years ago

1.6.97

2 years ago

1.6.96

2 years ago

1.6.99

2 years ago

1.6.98

2 years ago

1.6.93

2 years ago

1.6.92

2 years ago

1.6.94

2 years ago

1.6.88

2 years ago

1.6.87

2 years ago

1.6.89

2 years ago

1.6.91

2 years ago

1.6.90

2 years ago

1.6.86

2 years ago

1.6.85

2 years ago

1.6.80

2 years ago

1.6.82

2 years ago

1.6.81

2 years ago

1.6.84

2 years ago

1.6.83

2 years ago

1.6.79

2 years ago

1.6.77

2 years ago

1.6.78

2 years ago

1.6.75

2 years ago

1.6.74

2 years ago

1.6.76

2 years ago

1.6.71

2 years ago

1.6.73

2 years ago

1.6.72

2 years ago

1.6.70

2 years ago

1.6.66

2 years ago

1.6.68

2 years ago

1.6.67

2 years ago

1.6.69

2 years ago

1.6.64

2 years ago

1.6.65

2 years ago

1.6.62

2 years ago

1.6.63

2 years ago

1.6.59

2 years ago

1.6.60

2 years ago

1.6.61

2 years ago

1.6.55

2 years ago

1.6.57

2 years ago

1.6.56

2 years ago

1.6.58

2 years ago

1.6.53

2 years ago

1.6.54

2 years ago

1.6.49

2 years ago

1.6.51

2 years ago

1.6.50

2 years ago

1.6.52

2 years ago

1.6.46

2 years ago

1.6.45

2 years ago

1.6.48

2 years ago

1.6.47

2 years ago

1.6.44

2 years ago

1.6.40

2 years ago

1.6.42

2 years ago

1.6.41

2 years ago

1.6.43

2 years ago

1.6.39

2 years ago

1.6.38

2 years ago

1.6.37

2 years ago

1.6.31

2 years ago

1.6.33

2 years ago

1.6.32

2 years ago

1.6.35

2 years ago

1.6.34

2 years ago

1.6.36

2 years ago

1.6.22

2 years ago

1.6.21

2 years ago

1.6.24

2 years ago

1.6.23

2 years ago

1.6.26

2 years ago

1.6.25

2 years ago

1.6.28

2 years ago

1.6.27

2 years ago

1.6.29

2 years ago

1.6.30

2 years ago

1.6.20

2 years ago

1.6.17

2 years ago

1.6.16

2 years ago

1.6.19

2 years ago

1.6.18

2 years ago

1.6.15

2 years ago

1.6.14

2 years ago

1.6.13

2 years ago

1.6.9

2 years ago

1.6.8

2 years ago

1.6.11

2 years ago

1.6.10

2 years ago

1.6.12

2 years ago

1.6.4

2 years ago

1.6.3

2 years ago

1.6.2

2 years ago

1.6.1

2 years ago

1.6.0

2 years ago

1.6.7

2 years ago

1.6.6

2 years ago

1.6.5

2 years ago

1.5.214

2 years ago

1.5.213

2 years ago

1.5.212

2 years ago

1.5.209

2 years ago

1.5.208

2 years ago

1.5.211

2 years ago

1.5.210

2 years ago

1.5.203

2 years ago

1.5.202

2 years ago

1.5.207

2 years ago

1.5.206

2 years ago

1.5.205

2 years ago

1.5.204

2 years ago

1.5.201

2 years ago

1.5.200

2 years ago

1.5.199

2 years ago

1.5.198

2 years ago

1.5.197

2 years ago

1.5.196

2 years ago

1.5.195

2 years ago

1.5.194

2 years ago

1.5.193

2 years ago

1.5.192

2 years ago

1.5.191

2 years ago

1.5.190

2 years ago

1.5.189

2 years ago

1.5.188

2 years ago

1.5.187

2 years ago

1.5.186

2 years ago

1.5.185

2 years ago

1.5.184

2 years ago

1.5.183

2 years ago

1.5.182

2 years ago

1.5.181

2 years ago

1.5.180

2 years ago

1.5.179

2 years ago

1.5.178

2 years ago

1.5.177

2 years ago

1.5.176

2 years ago

1.5.175

2 years ago

1.5.174

2 years ago

1.5.173

2 years ago

1.5.172

2 years ago

1.5.171

2 years ago

1.5.170

2 years ago

1.5.169

2 years ago

1.5.168

2 years ago

1.5.167

2 years ago

1.5.165

2 years ago

1.5.164

2 years ago

1.5.163

2 years ago

1.5.162

2 years ago

1.5.161

2 years ago

1.5.160

2 years ago

1.5.159

2 years ago

1.5.158

2 years ago

1.5.157

2 years ago

1.5.156

2 years ago

1.5.155

2 years ago

1.5.154

2 years ago

1.5.153

2 years ago

1.5.152

2 years ago

1.5.151

2 years ago

1.5.150

2 years ago

1.5.149

2 years ago

1.5.148

2 years ago

1.5.147

2 years ago

1.5.146

2 years ago

1.5.145

2 years ago

1.5.144

2 years ago

1.5.143

2 years ago

1.5.142

2 years ago

1.5.141

2 years ago

1.5.140

2 years ago

1.5.139

2 years ago

1.5.138

2 years ago

1.5.137

2 years ago

1.5.136

2 years ago

1.5.135

2 years ago

1.5.134

2 years ago

1.5.133

2 years ago

1.5.132

2 years ago

1.5.131

2 years ago

1.5.130

2 years ago

1.5.129

2 years ago

1.5.128

2 years ago

1.5.127

2 years ago