mysql/core_cities_merge.sql
[Pman.Core] / mysql / core_cities_merge.sql
1
2 DROP FUNCTION IF EXISTS core_cities_merge_country;
3 DELIMITER $$
4 CREATE FUNCTION core_cities_merge_country()  RETURNS INT DETERMINISTIC
5     BEGIN
6         DECLARE co_done INT DEFAULT FALSE;
7
8         DECLARE v_count INT DEFAULT 0;
9         DECLARE v_total INT DEFAULT 0;
10
11         DECLARE v_id INT DEFAULT 0;
12         DECLARE v_iso TEXT DEFAULT '';
13         DECLARE v_local_name TEXT DEFAULT '';
14 --         DECLARE v_type TEXT DEFAULT '';
15         DECLARE v_in_location INT DEFAULT 0;
16         DECLARE v_geo_lat INT DEFAULT 0;
17         DECLARE v_geo_lng INT DEFAULT 0;
18
19         DECLARE v_id_tmp INT DEFAULT 0;
20         DECLARE v_iso_tmp TEXT DEFAULT '';
21         DECLARE v_local_name_tmp TEXT DEFAULT '';
22         DECLARE v_type_tmp TEXT DEFAULT '';
23         DECLARE v_in_location_tmp INT DEFAULT 0;
24
25         DECLARE v_id_tmp_tmp INT DEFAULT 0;
26
27         DECLARE co_csr CURSOR FOR 
28         SELECT 
29             id,iso,local_name,in_location
30         FROM 
31             meta_location
32         WHERE
33             type = 'CO';
34         
35         SELECT COUNT(id) INTO v_total FROM meta_location WHERE type = 'CO';
36
37         SET v_count = 0;
38
39         OPEN co_csr;
40         co_loop: LOOP
41             FETCH co_csr INTO v_id,v_iso,v_local_name,v_in_location;
42             
43             SET v_count = v_count + 1;
44
45             SET v_id_tmp = 0;
46
47             SELECT id INTO v_id_tmp FROM core_geoip_country WHERE code = v_iso;
48
49             IF(v_id_tmp = 0) THEN
50                 INSERT INTO core_geoip_country (code, name, continent_id) VALUES (v_iso, v_local_name, 0);
51             END IF;
52                 
53             IF v_count = v_total THEN
54               LEAVE co_loop;
55             END IF;
56
57         END LOOP;
58         CLOSE co_csr;
59
60
61         RETURN v_count;
62     END $$
63 DELIMITER ; 
64
65
66
67
68 DROP FUNCTION IF EXISTS core_cities_merge_division;
69 DELIMITER $$
70 CREATE FUNCTION core_cities_merge_division()  RETURNS INT DETERMINISTIC
71     BEGIN
72         DECLARE re_done INT DEFAULT FALSE;
73         
74         DECLARE v_count INT DEFAULT 0;
75         DECLARE v_total INT DEFAULT 0;
76
77         DECLARE v_id INT DEFAULT 0;
78         DECLARE v_iso TEXT DEFAULT '';
79         DECLARE v_local_name TEXT DEFAULT '';
80 --         DECLARE v_type TEXT DEFAULT '';
81         DECLARE v_in_location INT DEFAULT 0;
82         DECLARE v_geo_lat INT DEFAULT 0;
83         DECLARE v_geo_lng INT DEFAULT 0;
84
85         DECLARE v_country_id INT DEFAULT 0;
86         DECLARE v_iso_tmp TEXT DEFAULT '';
87
88         DECLARE v_division_id INT DEFAULT 0;
89
90         DECLARE re_csr CURSOR FOR 
91         SELECT 
92             id,iso,local_name,in_location
93         FROM 
94             meta_location
95         WHERE
96             type = 'RE';
97         
98         SELECT COUNT(id) INTO v_total FROM meta_location WHERE type = 'RE';
99
100         SET v_count = 0;
101
102         OPEN re_csr;
103         re_loop: LOOP
104             FETCH re_csr INTO v_id,v_iso,v_local_name,v_in_location;
105             
106             SET v_count = v_count + 1;
107
108             SET v_country_id = 0;
109             SET v_division_id = 0;
110             SET v_iso_tmp = '';
111
112             IF v_in_location IS NOT NULL THEN
113                 SELECT iso INTO v_iso_tmp FROM meta_location WHERE id = v_in_location;
114
115                 SELECT id INTO v_country_id FROM core_geoip_country WHERE code = v_iso_tmp;
116                 
117             END IF;
118
119             SELECT 
120                     id 
121             INTO 
122                     v_division_id 
123             FROM 
124                     core_geoip_division 
125             WHERE 
126                     (
127                             name = v_local_name 
128                         OR 
129                             (
130                                     name LIKE (CONCAT('%', v_local_name, '%')) 
131                                 AND 
132                                     code = SUBSTRING_INDEX(v_iso, '-', -1)
133                             ) 
134                     )
135                     AND country_id = v_country_id;
136
137             IF v_division_id = 0 THEN
138                 
139                 INSERT INTO core_geoip_division (code, name, country_id) VALUES (v_iso, v_local_name, v_country_id);
140             END IF;
141
142 --             ITERATE re_loop;
143                 
144             IF v_count = v_total THEN
145               LEAVE re_loop;
146             END IF;
147
148         END LOOP;
149         CLOSE re_csr;
150
151         RETURN v_count;
152     END $$
153 DELIMITER ; 
154
155
156
157 DROP FUNCTION IF EXISTS core_cities_merge_city;
158 DELIMITER $$
159 CREATE FUNCTION core_cities_merge_city()  RETURNS INT DETERMINISTIC
160     BEGIN
161         DECLARE ci_done INT DEFAULT FALSE;
162
163         DECLARE v_count INT DEFAULT 0;
164         DECLARE v_total INT DEFAULT 0;
165
166         DECLARE v_id INT DEFAULT 0;
167         DECLARE v_iso TEXT DEFAULT '';
168         DECLARE v_local_name TEXT DEFAULT '';
169 --         DECLARE v_type TEXT DEFAULT '';
170         DECLARE v_in_location INT DEFAULT 0;
171         DECLARE v_geo_lat INT DEFAULT 0;
172         DECLARE v_geo_lng INT DEFAULT 0;
173
174         
175         DECLARE v_iso_tmp TEXT DEFAULT '';
176         DECLARE v_local_name_tmp TEXT DEFAULT '';
177         DECLARE v_type_tmp TEXT DEFAULT '';
178         DECLARE v_in_location_tmp INT DEFAULT 0;
179
180         DECLARE v_country_id INT DEFAULT 0;
181         DECLARE v_division_id INT DEFAULT 0;
182         DECLARE v_city_id INT DEFAULT 0;
183
184         DECLARE ci_csr CURSOR FOR 
185         SELECT 
186             id,iso,local_name,in_location,geo_lat,geo_lng
187         FROM 
188             meta_location
189         WHERE
190             type = 'CI';
191
192         SELECT COUNT(id) INTO v_total FROM meta_location WHERE type = 'CI';
193
194         SET v_count = 0;
195
196         OPEN ci_csr;
197         ci_loop: LOOP
198             FETCH ci_csr INTO v_id,v_iso,v_local_name,v_in_location,v_geo_lat,v_geo_lng;
199             
200             SET v_count = v_count + 1;
201
202             SET v_country_id = 0;
203             SET v_division_id = 0;
204             SET v_city_id = 0;
205
206             SET v_iso_tmp = '';
207             SET v_local_name_tmp = '';
208             SET v_type_tmp = '';
209             SET v_in_location_tmp = 0;
210             
211             IF v_in_location IS NOT NULL THEN
212                 SELECT iso, local_name, type, in_location INTO v_iso_tmp, v_local_name_tmp, v_type_tmp, v_in_location_tmp FROM meta_location WHERE id = v_in_location;
213
214                 IF v_type_tmp = 'CO' THEN
215                     SELECT id INTO v_country_id FROM core_geoip_country WHERE code = v_iso_tmp;
216
217                    -- INSERT INTO core_geoip_city (name, country_id) VALUES (v_local_name, v_id_tmp);
218                 END IF;
219
220                 IF v_type_tmp = 'RE' THEN
221                     IF v_in_location_tmp != 0 THEN
222
223                         SELECT iso INTO v_iso_tmp FROM meta_location WHERE id = v_in_location;
224
225                         SELECT id INTO v_country_id FROM core_geoip_country WHERE code = v_iso_tmp;
226
227                     END IF;
228
229                     SELECT id INTO v_divsion_id FROM core_geoip_divsion WHERE name = v_local_name_tmp AND country_id = v_country_id;
230
231                 END IF;
232
233             END IF;
234             
235
236
237             SELECT id INTO v_city_id FROM core_geoip_city WHERE name = v_local_name AND country_id = v_country_id AND division_id = v_division_id;
238
239             IF(v_city_id = 0) THEN
240                 
241                         
242                 INSERT INTO core_geoip_city (name, country_id, division_id) VALUES (v_local_name, v_country_id, v_division_id);
243                    
244                 SET v_city_id = LAST_INSERT_ID();
245
246                 IF v_geo_lat IS NOT NULL OR v_geo_lng IS NOT NULL THEN
247                     
248                     INSERT INTO core_geoip_location (latitude, longitude, city_id) VALUES (v_geo_lat, v_geo_lng, v_city_id);
249                 END IF;
250                 
251             END IF;
252
253             IF v_count = v_total THEN
254               LEAVE ci_loop;
255             END IF;
256
257         END LOOP;
258         CLOSE ci_csr;
259
260         RETURN v_count;
261     END $$
262 DELIMITER ; 
263
264
265 -----------------------------------------------------------------------------------------------------------------
266
267
268 DROP FUNCTION IF EXISTS core_country_locations;
269 DELIMITER $$
270 CREATE FUNCTION core_country_locations()  RETURNS INT DETERMINISTIC
271     BEGIN
272         DECLARE v_count INT DEFAULT 0;
273         DECLARE v_total INT DEFAULT 0;
274
275         DECLARE v_geoname_id INT DEFAULT 0;
276         DECLARE v_continent_code TEXT DEFAULT '';
277         DECLARE v_continent_name TEXT DEFAULT '';
278         DECLARE v_country_iso_code TEXT DEFAULT '';
279         DECLARE v_country_name TEXT DEFAULT '';
280
281         DECLARE v_country_id INT DEFAULT 0;
282         DECLARE v_continent_id INT DEFAULT 0;
283
284         DECLARE csr CURSOR FOR 
285         SELECT 
286             geoname_id,continent_code,continent_name,country_iso_code,country_name
287         FROM 
288             country_locations;
289         
290         SELECT COUNT(geoname_id) INTO v_total FROM country_locations;
291
292         SET v_count = 0;
293
294         OPEN csr;
295         read_loop: LOOP
296             FETCH csr INTO v_geoname_id,v_continent_code,v_continent_name,v_country_iso_code,v_country_name;
297             
298             SET v_count = v_count + 1;
299             
300             SET v_country_id = 0;
301             SET v_continent_id = 0;
302             
303             IF (v_continent_code != '') THEN
304                 SELECT id INTO v_continent_id FROM core_geoip_continent WHERE code = v_continent_code;
305
306                 IF v_continent_id = 0 THEN
307                     INSERT INTO core_geoip_continent (code, name) VALUES (v_continent_code, v_continent_name);
308                     SET v_continent_id = LAST_INSERT_ID();
309                 END IF;
310                 
311             END IF;
312
313             IF (v_country_iso_code != '') THEN
314                 
315                 SELECT id INTO v_country_id FROM core_geoip_country WHERE code = v_country_iso_code;
316
317                 IF v_country_id = 0 THEN
318                     INSERT INTO core_geoip_country (code, name, continent_id) VALUES (v_country_iso_code, v_country_name, v_continent_id);
319                 END IF;
320                 
321             END IF;
322     
323             IF v_count = v_total THEN
324               LEAVE read_loop;
325             END IF;
326
327         END LOOP;
328         CLOSE csr;
329
330
331         RETURN v_count;
332     END $$
333 DELIMITER ; 
334
335
336 DROP FUNCTION IF EXISTS core_country_blocks;
337 DELIMITER $$
338 CREATE FUNCTION core_country_blocks()  RETURNS INT DETERMINISTIC
339     BEGIN
340         DECLARE v_count INT DEFAULT 0;
341         DECLARE v_total INT DEFAULT 0;
342         
343         DECLARE v_geoname_id INT DEFAULT 0;
344         DECLARE v_network_start_ip TEXT DEFAULT '';
345         DECLARE v_network_mask_length INT DEFAULT 0;
346         DECLARE v_is_anonymous_proxy INT DEFAULT 0;
347         DECLARE v_is_satellite_provider INT DEFAULT 0;
348
349         DECLARE v_country_iso_code TEXT DEFAULT '';
350
351         DECLARE v_country_id INT DEFAULT 0;
352
353         DECLARE csr CURSOR FOR 
354         SELECT 
355             network_start_ip,network_mask_length,geoname_id,is_anonymous_proxy,is_satellite_provider
356         FROM 
357             country_blocks
358         WHERE 
359                 geoname_id != 0 
360             AND 
361                 registered_country_geoname_id != 0 
362             AND 
363                 geoname_id = registered_country_geoname_id
364             AND
365                 network_start_ip REGEXP '::ffff:[0-9]+.[0-9]+.[0-9]+.[0-9]+$';
366         
367         SELECT COUNT(network_start_ip) INTO v_total FROM country_blocks WHERE geoname_id != 0 AND registered_country_geoname_id != 0 AND geoname_id = registered_country_geoname_id AND network_start_ip REGEXP '::ffff:[0-9]+.[0-9]+.[0-9]+.[0-9]+$';
368
369         SET v_count = 0;
370
371         OPEN csr;
372         read_loop: LOOP
373             FETCH csr INTO v_network_start_ip,v_network_mask_length,v_geoname_id,v_is_anonymous_proxy,v_is_satellite_provider;
374             
375             SET v_count = v_count + 1;
376             
377             SET v_country_id = 0;
378
379             SELECT country_iso_code INTO v_country_iso_code FROM country_locations WHERE geoname_id = v_geoname_id;
380
381             IF v_country_iso_code != '' THEN
382                 SELECT id INTO v_country_id FROM core_geoip_country WHERE code = v_country_iso_code;
383
384                 IF v_country_id != 0 THEN
385                     INSERT INTO core_geoip_country_network_mapping (start_ip, mask_length, country_id, is_anonymous_proxy, is_satellite_provider) VALUES (SUBSTRING_INDEX(v_network_start_ip,':','-1'), POW(2, 128-v_network_mask_length),v_country_id,v_is_anonymous_proxy,v_is_satellite_provider);
386                 END IF;
387
388             END IF;
389             
390             IF v_count = v_total THEN
391               LEAVE read_loop;
392             END IF;
393
394         END LOOP;
395         CLOSE csr;
396
397
398         RETURN v_count;
399     END $$
400 DELIMITER ; 
401
402
403
404
405
406 DROP FUNCTION IF EXISTS core_city_locations;
407 DELIMITER $$
408 CREATE FUNCTION core_city_locations()  RETURNS INT DETERMINISTIC
409     BEGIN
410         DECLARE v_count INT DEFAULT 0;
411         DECLARE v_total INT DEFAULT 0;
412
413         DECLARE v_country_iso_code TEXT DEFAULT '';
414         DECLARE v_subdivision_iso_code TEXT DEFAULT '';
415         DECLARE v_subdivision_name TEXT DEFAULT '';
416         DECLARE v_city_name TEXT DEFAULT '';
417         DECLARE v_metro_code TEXT DEFAULT '';
418         DECLARE v_time_zone TEXT DEFAULT '';
419
420         DECLARE v_country_id INT DEFAULT 0;
421         DECLARE v_division_id INT DEFAULT 0;
422         DECLARE v_city_id INT DEFAULT 0;
423
424         DECLARE csr CURSOR FOR 
425         SELECT 
426             country_iso_code,subdivision_iso_code,subdivision_name,city_name,metro_code,time_zone
427         FROM 
428             city_locations
429         WHERE
430             subdivision_name != '' OR city_name != '';
431         
432         SELECT COUNT(geoname_id) INTO v_total FROM city_locations WHERE subdivision_name != '' OR city_name != '';;
433
434         SET v_count = 0;
435
436         OPEN csr;
437         read_loop: LOOP
438             FETCH csr INTO v_country_iso_code,v_subdivision_iso_code,v_subdivision_name,v_city_name,v_metro_code,v_time_zone;
439             
440             SET v_count = v_count + 1;
441             
442             SET v_country_id = 0;
443             SET v_division_id = 0;
444             SET v_city_id = 0;
445             
446             
447             IF (v_country_iso_code != '') THEN
448                 SELECT id INTO v_country_id FROM core_geoip_country WHERE code = v_country_iso_code;
449             END IF;
450     
451             IF v_subdivision_name != '' THEN
452                 SELECT id INTO v_division_id FROM core_geoip_division WHERE name = v_subdivision_name AND country_id = v_country_id;
453
454                 IF v_division_id = 0 THEN
455                     INSERT INTO core_geoip_division (code, name, country_id) VALUES (v_subdivision_iso_code, v_subdivision_name, v_country_id);
456                     SET v_division_id = LAST_INSERT_ID();
457                 END IF;
458                 
459
460             END IF;
461
462             IF v_city_name != '' THEN
463                 
464                 SELECT id INTO v_city_id FROM core_geoip_city WHERE name = v_city_name AND country_id = v_country_id AND division_id = v_division_id;
465                 
466                 IF v_city_id = 0 THEN
467                     INSERT INTO core_geoip_city (name, country_id, division_id, metro_code, time_zone) VALUES (v_city_name, v_country_id, v_division_id, v_metro_code, v_time_zone);
468
469                 END IF;
470
471             END IF;
472
473             IF v_count = v_total THEN
474               LEAVE read_loop;
475             END IF;
476
477         END LOOP;
478         CLOSE csr;
479
480
481         RETURN v_count;
482     END $$
483 DELIMITER ; 
484
485
486
487 DROP FUNCTION IF EXISTS core_city_blocks_mapping;
488 DELIMITER $$
489 CREATE FUNCTION core_city_blocks_mapping()  RETURNS INT DETERMINISTIC
490     BEGIN
491         DECLARE v_count INT DEFAULT 0;
492         DECLARE v_total INT DEFAULT 0;
493         
494         
495         DECLARE v_geoname_id INT DEFAULT 0;
496
497         DECLARE v_country_id INT DEFAULT 0;
498         DECLARE v_divison_id INT DEFAULT 0;
499         DECLARE v_city_id INT DEFAULT 0;
500         DECLARE v_mapping_id INT DEFAULT 0;
501         DECLARE v_country_iso_code TEXT DEFAULT '';
502         DECLARE v_subdivision_name TEXT DEFAULT '';
503         DECLARE v_city_name TEXT DEFAULT '';
504
505         DECLARE csr CURSOR FOR 
506         SELECT 
507             DISTINCT(geoname_id)
508         FROM 
509             city_blocks
510         WHERE 
511                 geoname_id != 0
512             AND
513                 network_start_ip REGEXP '::ffff:[0-9]+.[0-9]+.[0-9]+.[0-9]+$';
514         
515         SELECT COUNT(DISTINCT(geoname_id)) INTO v_total FROM city_blocks WHERE geoname_id != 0  AND network_start_ip REGEXP '::ffff:[0-9]+.[0-9]+.[0-9]+.[0-9]+$';
516
517         SET v_count = 0;
518
519         OPEN csr;
520         read_loop: LOOP
521             FETCH csr INTO v_geoname_id;
522             
523             SET v_count = v_count + 1;
524             
525             SET v_country_id = 0;
526             SET v_divison_id = 0;
527             SET v_city_id = 0;
528             SET v_mapping_id = 0;
529
530             SET v_country_iso_code = '';
531             SET v_subdivision_name = '';
532             SET v_city_name = '';
533
534             SELECT id INTO v_mapping_id FROM city_blocks_mapping WHERE geoname_id = v_geoname_id AND city_id = v_city_id;
535             
536             IF v_mapping_id = 0 THEN
537                 SELECT country_iso_code,subdivision_name,city_name INTO v_country_iso_code, v_subdivision_name, v_city_name FROM city_locations WHERE geoname_id = v_geoname_id;
538
539                 IF v_country_iso_code != '' THEN
540                     SELECT id INTO v_country_id FROM core_geoip_country WHERE code = v_country_iso_code;
541                 END IF;
542
543                 IF v_subdivision_name != '' THEN
544                     SELECT id INTO v_divison_id FROM core_geoip_division WHERE name = v_subdivision_name AND country_id = v_country_id;
545                 END IF;
546
547                 SELECT id INTO v_city_id FROM core_geoip_city WHERE name = v_city_name AND country_id = v_country_id AND division_id = v_divison_id;
548
549                 IF v_city_id != 0 THEN
550                     INSERT INTO city_blocks_mapping (geoname_id, city_id) VALUES (v_geoname_id, v_city_id);
551                     
552                 END IF;
553
554             END IF;
555             
556             
557             IF v_count = v_total THEN
558               LEAVE read_loop;
559             END IF;
560
561         END LOOP;
562         CLOSE csr;
563
564         RETURN v_count;
565     END $$
566 DELIMITER ; 
567
568
569 -- 
570 -- 
571 -- DROP FUNCTION IF EXISTS core_city_blocks;
572 -- DELIMITER $$
573 -- CREATE FUNCTION core_city_blocks()  RETURNS INT DETERMINISTIC
574 --     BEGIN
575 --         DECLARE v_count INT DEFAULT 0;
576 --         DECLARE v_total INT DEFAULT 0;
577 --         
578 --         DECLARE v_network_start_ip TEXT DEFAULT '';
579 --         DECLARE v_network_mask_length INT DEFAULT 0;
580 --         DECLARE v_geoname_id INT DEFAULT 0;
581 --         DECLARE v_latitude DECIMAL(11,8) DEFAULT 0;
582 --         DECLARE v_longitude DECIMAL(11,8) DEFAULT 0;
583 --         DECLARE v_is_anonymous_proxy INT DEFAULT 0;
584 --         DECLARE v_is_satellite_provider INT DEFAULT 0;
585 -- 
586 --         
587 --         DECLARE v_city_id INT DEFAULT 0;
588 --         DECLARE v_mapping_id INT DEFAULT 0;
589 -- 
590 --         DECLARE csr CURSOR FOR 
591 --         SELECT 
592 --             network_start_ip,network_mask_length,geoname_id,latitude, longitude, is_anonymous_proxy,is_satellite_provider
593 --         FROM 
594 --             city_blocks
595 --         WHERE 
596 --                 geoname_id != 0
597 --             AND
598 --                 network_start_ip REGEXP '::ffff:[0-9]+.[0-9]+.[0-9]+.[0-9]+$';
599 --         
600 --         SELECT COUNT(network_start_ip) INTO v_total FROM city_blocks WHERE geoname_id != 0  AND network_start_ip REGEXP '::ffff:[0-9]+.[0-9]+.[0-9]+.[0-9]+$';
601 -- 
602 --         SET v_count = 0;
603 -- 
604 --         OPEN csr;
605 --         read_loop: LOOP
606 --             FETCH csr INTO v_network_start_ip,v_network_mask_length,v_geoname_id,v_latitude,v_longitude,v_is_anonymous_proxy,v_is_satellite_provider;
607 --             
608 --             SET v_count = v_count + 1;
609 --             
610 --             SET v_city_id = 0;
611 --             SET v_mapping_id = 0;
612 -- 
613 --             SELECT id, city_id INTO v_mapping_id, v_city_id FROM city_blocks_mapping WHERE geoname_id = v_geoname_id;
614 -- 
615 --             IF v_mapping_id != 0 THEN
616 -- 
617 --                 INSERT INTO core_geoip_location (latitude, longitude, city_id) VALUES (v_latitude, v_longitude, v_city_id);
618 -- 
619 --                 INSERT INTO core_geoip_city_network_mapping (start_ip, mask_length, city_id, is_anonymous_proxy, is_satellite_provider) VALUES (SUBSTRING_INDEX(v_network_start_ip,':','-1'), POW(2, 128-v_network_mask_length),v_city_id,v_is_anonymous_proxy,v_is_satellite_provider);
620 --                 
621 --             END IF;
622 --             
623 --             IF v_count = v_total THEN
624 --               LEAVE read_loop;
625 --             END IF;
626 -- 
627 --         END LOOP;
628 --         CLOSE csr;
629 -- 
630 --         RETURN v_count;
631 --     END $$
632 -- DELIMITER ;