2.1.27 • Published 9 months ago

@blocklet/crawler v2.1.27

Weekly downloads
-
License
ISC
Repository
-
Last release
9 months ago

@blocklet/crawler

@blocklet/crawler is a package crawler for Blocklet.

Package Structure

The package is composed of both frontend and backend components. The backend code can be found in the middlewares folder.

Development

Install In Blocklet

# You can use npm / yarn
pnpm add @blocklet/crawler

Install Dependencies

To install the required dependencies, run the following command:

pnpm i

Build Packages

To build the packages, execute the following command:

pnpm build

Build, Watch, and Run Development Server

For building, watching changes, and running the development server, use the following command:

pnpm run dev

Backend Example

const { initSEOMiddleware, initCronCrawlBlocklet } = require('@blocklet/crawler/middlewares');

// init cron job to crawl blocklet that generate SEO pages
initCronCrawlBlocklet({
  time: '0 0 */12 * * *',
});

const router = express.Router();
// init SEO middleware, when request come, we will return the SEO static page
router.use(initSEOMiddleware());

License

This package is licensed under the MIT license.

blockletcrawler
@abtnode/cron@blocklet/puppeteer@blocklet/sdkaxioscryptofs-extrageneric-poollodashlru-cachep-queuep-wait-forprettierredisrobots-parsersitemapufourl-join
@everything-registry/sub-chunk-132
2.1.27

9 months ago

2.1.25

9 months ago

2.1.26

9 months ago

2.1.23

9 months ago

2.1.24

9 months ago

2.1.21

9 months ago

2.1.22

9 months ago

2.1.19

9 months ago

2.1.20

9 months ago

2.1.18

9 months ago

2.1.16

9 months ago

2.1.17

9 months ago

2.1.14

9 months ago

2.1.15

9 months ago

2.1.13

9 months ago

2.1.12

9 months ago

2.1.11

9 months ago

2.1.2

10 months ago

2.1.1

10 months ago

2.1.4

10 months ago

2.1.3

10 months ago

2.1.6

10 months ago

2.1.5

10 months ago

2.1.8

10 months ago

2.1.7

10 months ago

2.1.0

10 months ago

2.1.10

10 months ago

2.0.198

10 months ago

2.0.197

10 months ago

2.1.9

10 months ago

2.0.191

10 months ago

2.0.196

10 months ago

2.0.195

10 months ago

2.0.194

10 months ago

2.0.193

10 months ago

2.0.192

10 months ago

2.0.190

10 months ago

2.0.179

10 months ago

2.0.178

10 months ago

2.0.177

10 months ago

2.0.176

10 months ago

2.0.175

10 months ago

2.0.174

10 months ago

2.0.172

10 months ago

2.0.171

10 months ago

2.0.170

10 months ago

2.0.180

10 months ago

2.0.189

10 months ago

2.0.188

10 months ago

2.0.187

10 months ago

2.0.186

10 months ago

2.0.185

10 months ago

2.0.184

10 months ago

2.0.183

10 months ago

2.0.182

10 months ago

2.0.181

10 months ago

2.0.159

11 months ago

2.0.158

11 months ago

2.0.157

11 months ago

2.0.156

11 months ago

2.0.155

11 months ago

2.0.154

11 months ago

2.0.153

11 months ago

2.0.152

11 months ago

2.0.151

11 months ago

2.0.150

11 months ago

2.0.169

11 months ago

2.0.168

11 months ago

2.0.167

11 months ago

2.0.166

11 months ago

2.0.165

11 months ago

2.0.164

11 months ago

2.0.163

11 months ago

2.0.162

11 months ago

2.0.161

11 months ago

2.0.160

11 months ago

2.0.149

11 months ago

2.0.148

11 months ago

2.0.147

11 months ago

2.0.146

11 months ago

2.0.145

11 months ago

2.0.144

11 months ago

2.0.143

11 months ago

2.0.142

11 months ago

2.0.141

11 months ago

2.0.140

11 months ago

2.0.15

1 year ago

2.0.16

1 year ago

2.0.13

1 year ago

2.0.14

1 year ago

2.0.11

1 year ago

2.0.12

1 year ago

2.0.10

1 year ago

2.0.19

1 year ago

2.0.17

1 year ago

2.0.18

1 year ago

2.0.26

1 year ago

2.0.27

1 year ago

2.0.24

1 year ago

2.0.25

1 year ago

2.0.22

1 year ago

2.0.23

1 year ago

2.0.20

1 year ago

2.0.21

1 year ago

2.0.28

1 year ago

2.0.29

1 year ago

2.0.37

1 year ago

2.0.38

1 year ago

2.0.35

1 year ago

2.0.36

1 year ago

2.0.33

1 year ago

2.0.34

1 year ago

2.0.31

1 year ago

2.0.32

1 year ago

2.0.30

1 year ago

2.0.39

1 year ago

2.0.48

1 year ago

2.0.49

1 year ago

2.0.46

1 year ago

2.0.47

1 year ago

2.0.44

1 year ago

2.0.45

1 year ago

2.0.42

1 year ago

2.0.43

1 year ago

2.0.40

1 year ago

2.0.41

1 year ago

2.0.59

1 year ago

2.0.57

1 year ago

2.0.58

1 year ago

2.0.55

1 year ago

2.0.56

1 year ago

2.0.53

1 year ago

2.0.54

1 year ago

2.0.51

1 year ago

2.0.52

1 year ago

2.0.50

1 year ago

2.0.68

1 year ago

2.0.69

1 year ago

2.0.66

1 year ago

2.0.67

1 year ago

2.0.64

1 year ago

2.0.65

1 year ago

2.0.62

1 year ago

2.0.63

1 year ago

2.0.61

1 year ago

2.0.79

1 year ago

2.0.77

1 year ago

2.0.78

1 year ago

2.0.75

1 year ago

2.0.76

1 year ago

2.0.73

1 year ago

2.0.74

1 year ago

2.0.71

1 year ago

2.0.72

1 year ago

2.0.70

1 year ago

2.0.88

12 months ago

2.0.89

12 months ago

2.0.86

12 months ago

2.0.87

12 months ago

2.0.84

12 months ago

2.0.85

12 months ago

2.0.82

12 months ago

2.0.83

12 months ago

2.0.80

1 year ago

2.0.81

1 year ago

2.0.99

12 months ago

2.0.97

12 months ago

2.0.98

12 months ago

2.0.95

12 months ago

2.0.96

12 months ago

2.0.94

12 months ago

1.6.259

1 year ago

1.6.258

1 year ago

1.6.260

1 year ago

1.6.262

1 year ago

1.6.261

1 year ago

1.6.264

1 year ago

1.6.263

1 year ago

1.6.255

1 year ago

1.6.254

1 year ago

1.6.257

1 year ago

1.6.256

1 year ago

2.0.3

1 year ago

2.0.2

1 year ago

2.0.139

11 months ago

2.0.5

1 year ago

2.0.138

11 months ago

2.0.4

1 year ago

2.0.137

11 months ago

2.0.7

1 year ago

2.0.136

11 months ago

2.0.6

1 year ago

2.0.135

11 months ago

2.0.9

1 year ago

2.0.134

11 months ago

2.0.133

11 months ago

2.0.132

11 months ago

2.0.131

11 months ago

2.0.130

11 months ago

2.0.1

1 year ago

2.0.0

1 year ago

2.0.109

11 months ago

2.0.119

11 months ago

2.0.118

11 months ago

2.0.117

11 months ago

2.0.116

11 months ago

2.0.115

11 months ago

2.0.114

11 months ago

2.0.113

11 months ago

2.0.112

11 months ago

2.0.111

11 months ago

2.0.110

11 months ago

2.0.129

11 months ago

2.0.128

11 months ago

2.0.127

11 months ago

2.0.126

11 months ago

2.0.125

11 months ago

2.0.124

11 months ago

2.0.123

11 months ago

2.0.122

11 months ago

2.0.121

11 months ago

2.0.120

11 months ago

2.0.108

11 months ago

2.0.107

12 months ago

2.0.106

12 months ago

2.0.105

12 months ago

2.0.104

12 months ago

2.0.103

12 months ago

2.0.102

12 months ago

2.0.101

12 months ago

2.0.100

12 months ago

1.6.253

1 year ago

1.6.246

1 year ago

1.6.248

1 year ago

1.6.247

1 year ago

1.6.249

1 year ago

1.6.251

1 year ago

1.6.250

1 year ago

1.6.252

1 year ago

1.6.244

1 year ago

1.6.245

1 year ago

1.6.243

1 year ago

1.6.242

1 year ago

1.6.241

1 year ago

1.6.239

1 year ago

1.6.240

1 year ago

1.6.238

1 year ago

1.6.237

1 year ago

1.6.236

1 year ago

1.6.234

1 year ago

1.6.233

1 year ago

1.6.232

1 year ago

1.6.231

1 year ago

1.6.228

1 year ago

1.6.229

1 year ago

1.6.230

1 year ago

1.6.227

1 year ago

1.6.226

1 year ago

1.6.225

1 year ago

1.6.224

1 year ago

1.6.222

1 year ago

1.6.221

1 year ago

1.6.223

1 year ago

1.6.220

1 year ago

1.6.219

1 year ago

1.6.218

1 year ago

1.6.217

1 year ago

1.6.215

1 year ago

1.6.216

1 year ago

1.6.214

1 year ago

1.6.213

1 year ago

1.6.211

1 year ago

1.6.212

1 year ago

1.6.206

1 year ago

1.6.208

1 year ago

1.6.207

1 year ago

1.6.209

1 year ago

1.6.210

1 year ago

1.6.204

1 year ago

1.6.203

1 year ago

1.6.205

1 year ago

1.6.202

1 year ago

1.6.198

1 year ago

1.6.199

1 year ago

1.6.200

1 year ago

1.6.201

1 year ago

1.6.196

1 year ago

1.6.197

1 year ago

1.6.195

1 year ago

1.6.192

1 year ago

1.6.191

1 year ago

1.6.194

1 year ago

1.6.193

1 year ago

1.6.189

1 year ago

1.6.188

1 year ago

1.6.185

1 year ago

1.6.187

1 year ago

1.6.186

1 year ago

1.6.184

1 year ago

1.6.183

1 year ago

1.6.182

1 year ago

1.6.181

1 year ago

1.6.180

1 year ago

1.6.179

1 year ago

1.6.176

1 year ago

1.6.178

1 year ago

1.6.177

1 year ago

1.6.174

1 year ago

1.6.175

1 year ago

1.6.173

1 year ago

1.6.172

1 year ago

1.6.169

1 year ago

1.6.170

1 year ago

1.6.171

1 year ago

1.6.168

1 year ago

1.6.167

1 year ago

1.6.165

1 year ago

1.6.164

1 year ago

1.6.166

1 year ago

1.6.163

1 year ago

1.6.162

1 year ago

1.6.159

1 year ago

1.6.161

1 year ago

1.6.160

1 year ago

1.6.158

1 year ago

1.6.154

1 year ago

1.6.153

1 year ago

1.6.156

1 year ago

1.6.157

1 year ago

1.6.152

1 year ago

1.6.149

1 year ago

1.6.150

1 year ago

1.6.151

1 year ago

1.6.148

1 year ago

1.6.147

1 year ago

1.6.146

1 year ago

1.6.141

1 year ago

1.6.140

1 year ago

1.6.143

1 year ago

1.6.142

1 year ago

1.6.145

1 year ago

1.6.144

1 year ago

1.6.138

1 year ago

1.6.137

1 year ago

1.6.139

1 year ago

1.6.130

1 year ago

1.6.132

1 year ago

1.6.131

1 year ago

1.6.134

1 year ago

1.6.133

1 year ago

1.6.136

1 year ago

1.6.135

1 year ago

1.6.127

1 year ago

1.6.126

1 year ago

1.6.129

1 year ago

1.6.128

1 year ago

1.6.125

1 year ago

1.6.124

1 year ago

1.6.123

1 year ago

1.6.121

1 year ago

1.6.120

1 year ago

1.6.118

1 year ago

1.6.119

1 year ago

1.6.116

1 year ago

1.6.117

1 year ago

1.6.115

1 year ago

1.6.114

1 year ago

1.6.113

1 year ago

1.6.105

1 year ago

1.6.104

1 year ago

1.6.107

1 year ago

1.6.106

1 year ago

1.6.109

1 year ago

1.6.108

1 year ago

1.6.110

1 year ago

1.6.112

1 year ago

1.6.111

1 year ago

1.6.103

1 year ago

1.6.101

1 year ago

1.6.100

1 year ago

1.6.102

1 year ago

1.6.95

1 year ago

1.6.97

1 year ago

1.6.96

1 year ago

1.6.99

1 year ago

1.6.98

1 year ago

1.6.93

1 year ago

1.6.92

1 year ago

1.6.94

1 year ago

1.6.88

1 year ago

1.6.87

1 year ago

1.6.89

1 year ago

1.6.91

1 year ago

1.6.90

1 year ago

1.6.86

1 year ago

1.6.85

1 year ago

1.6.80

2 years ago

1.6.82

2 years ago

1.6.81

2 years ago

1.6.84

2 years ago

1.6.83

2 years ago

1.6.79

2 years ago

1.6.77

2 years ago

1.6.78

2 years ago

1.6.75

2 years ago

1.6.74

2 years ago

1.6.76

2 years ago

1.6.71

2 years ago

1.6.73

2 years ago

1.6.72

2 years ago

1.6.70

2 years ago

1.6.66

2 years ago

1.6.68

2 years ago

1.6.67

2 years ago

1.6.69

2 years ago

1.6.64

2 years ago

1.6.65

2 years ago

1.6.62

2 years ago

1.6.63

2 years ago

1.6.59

2 years ago

1.6.60

2 years ago

1.6.61

2 years ago

1.6.55

2 years ago

1.6.57

2 years ago

1.6.56

2 years ago

1.6.58

2 years ago

1.6.53

2 years ago

1.6.54

2 years ago

1.6.49

2 years ago

1.6.51

2 years ago

1.6.50

2 years ago

1.6.52

2 years ago

1.6.46

2 years ago

1.6.45

2 years ago

1.6.48

2 years ago

1.6.47

2 years ago

1.6.44

2 years ago

1.6.40

2 years ago

1.6.42

2 years ago

1.6.41

2 years ago

1.6.43

2 years ago

1.6.39

2 years ago

1.6.38

2 years ago

1.6.37

2 years ago

1.6.31

2 years ago

1.6.33

2 years ago

1.6.32

2 years ago

1.6.35

2 years ago

1.6.34

2 years ago

1.6.36

2 years ago

1.6.22

2 years ago

1.6.21

2 years ago

1.6.24

2 years ago

1.6.23

2 years ago

1.6.26

2 years ago

1.6.25

2 years ago

1.6.28

2 years ago

1.6.27

2 years ago

1.6.29

2 years ago

1.6.30

2 years ago

1.6.20

2 years ago

1.6.17

2 years ago

1.6.16

2 years ago

1.6.19

2 years ago

1.6.18

2 years ago

1.6.15

2 years ago

1.6.14

2 years ago

1.6.13

2 years ago

1.6.9

2 years ago

1.6.8

2 years ago

1.6.11

2 years ago

1.6.10

2 years ago

1.6.12

2 years ago

1.6.4

2 years ago

1.6.3

2 years ago

1.6.2

2 years ago

1.6.1

2 years ago

1.6.0

2 years ago

1.6.7

2 years ago

1.6.6

2 years ago

1.6.5

2 years ago

1.5.214

2 years ago

1.5.213

2 years ago

1.5.212

2 years ago

1.5.209

2 years ago

1.5.208

2 years ago

1.5.211

2 years ago

1.5.210

2 years ago

1.5.203

2 years ago

1.5.202

2 years ago

1.5.207

2 years ago

1.5.206

2 years ago

1.5.205

2 years ago

1.5.204

2 years ago

1.5.201

2 years ago

1.5.200

2 years ago

1.5.199

2 years ago

1.5.198

2 years ago

1.5.197

2 years ago

1.5.196

2 years ago

1.5.195

2 years ago

1.5.194

2 years ago

1.5.193

2 years ago

1.5.192

2 years ago

1.5.191

2 years ago

1.5.190

2 years ago

1.5.189

2 years ago

1.5.188

2 years ago

1.5.187

2 years ago

1.5.186

2 years ago

1.5.185

2 years ago

1.5.184

2 years ago

1.5.183

2 years ago

1.5.182

2 years ago

1.5.181

2 years ago

1.5.180

2 years ago

1.5.179

2 years ago

1.5.178

2 years ago

1.5.177

2 years ago

1.5.176

2 years ago

1.5.175

2 years ago

1.5.174

2 years ago

1.5.173

2 years ago

1.5.172

2 years ago

1.5.171

2 years ago

1.5.170

2 years ago

1.5.169

2 years ago

1.5.168

2 years ago

1.5.167

2 years ago

1.5.165

2 years ago

1.5.164

2 years ago

1.5.163

2 years ago

1.5.162

2 years ago

1.5.161

2 years ago

1.5.160

2 years ago

1.5.159

2 years ago

1.5.158

2 years ago

1.5.157

2 years ago

1.5.156

2 years ago

1.5.155

2 years ago

1.5.154

2 years ago

1.5.153

2 years ago

1.5.152

2 years ago

1.5.151

2 years ago

1.5.150

2 years ago

1.5.149

2 years ago

1.5.148

2 years ago

1.5.147

2 years ago

1.5.146

2 years ago

1.5.145

2 years ago

1.5.144

2 years ago

1.5.143

2 years ago

1.5.142

2 years ago

1.5.141

2 years ago

1.5.140

2 years ago

1.5.139

2 years ago

1.5.138

2 years ago

1.5.137

2 years ago

1.5.136

2 years ago

1.5.135

2 years ago

1.5.134

2 years ago

1.5.133

2 years ago

1.5.132

2 years ago

1.5.131

2 years ago

1.5.130

2 years ago

1.5.129

2 years ago

1.5.128

2 years ago

1.5.127

2 years ago