source: subversion/applications/utils/gary68/checktouch.pl @ 21060

Last change on this file since 21060 was 20814, checked in by gary68, 10 years ago

new checktouch version - quad trees

  • Property svn:executable set to *
File size: 14.8 KB
Line 
1#
2#
3# checktouch.pl by gary68
4#
5# this program checks an osm file for crossing ways which don't share a common node at the intersection and are on the same layer
6#
7#
8# Copyright (C) 2008, Gerhard Schwanz
9#
10# This program is free software; you can redistribute it and/or modify it under the terms of the GNU General Public License as published by the
11# Free Software Foundation; either version 3 of the License, or (at your option) any later version.
12#
13# This program is distributed in the hope that it will be useful, but WITHOUT ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or
14# FITNESS FOR A PARTICULAR PURPOSE. See the GNU General Public License for more details.
15#
16# You should have received a copy of the GNU General Public License along with this program; if not, see <http://www.gnu.org/licenses/>
17#
18#
19# example definition file:
20# (IMPORTANT: don't enter a tag in both sections!)
21#
22#<XML>
23#  <k="check" v="highway:motorway">
24#  <k="check" v="highway:motorway_link">
25#  <k="check" v="highway:trunk">
26#  <k="check" v="highway:trunk_link">
27#  <k="against" v="highway:primary">
28#  <k="against" v="highway:primary_link">
29#  <k="against" v="highway:secondary">
30#  <k="against" v="highway:tertiary">
31#  <k="against" v="junction:roundabout">
32#</XML>
33#
34# Version 1.0 -002
35# - layer grep changed
36# Version 003
37# - check layer values
38# Version 1.1
39# - stat
40#
41# Version 1.2
42# - stat 2
43#
44# Version 1.3
45# - ignore way starts and ends that are connected
46#
47# Version 1.4
48# - faster parameters
49# - iFrame
50#
51# Version 2.0
52# - quad trees
53
54
55use strict ;
56use warnings ;
57
58use List::Util qw[min max] ;
59use OSM::osm 5.0 ;
60use OSM::QuadTree ;
61use File::stat;
62use Time::localtime;
63
64my $program = "checktouch.pl" ;
65my $usage = $program . " def.xml file.osm out.htm out.gpx" ;
66my $version = "2.0" ;
67
68my $maxDist = 0.002 ; # in km
69my $maxDist2 = 0.001 ; 
70
71my $wayId ; my $wayId1 ; my $wayId2 ;
72my $wayUser ; my @wayNodes ; my @wayTags ;
73my $nodeId ; my $nodeId2 ;
74my $nodeUser ; my $nodeLat ; my $nodeLon ; my @nodeTags ;
75my $aRef1 ; my $aRef2 ;
76my $wayCount = 0 ;
77my $againstCount = 0 ;
78my $checkWayCount = 0 ;
79my $againstWayCount = 0 ;
80my $invalidWays ;
81
82my $qt ;
83
84my @check ;
85my @against ;
86my @checkWays ;
87my @againstWays ;
88
89my $time0 = time() ; my $time1 ; my $timeA ;
90my $i ;
91my $key ;
92my $num ;
93my $tag1 ; my $tag2 ;
94my $progress ;
95my $potential ;
96my $checksDone ;
97
98my $html ;
99my $def ;
100my $gpx ;
101my $osmName ;
102my $htmlName ;
103my $defName ;
104my $gpxName ;
105
106my %wayNodesHash ;
107my @neededNodes ;
108my %lon ; my %lat ;
109my %xMax ; my %xMin ; my %yMax ; my %yMin ; 
110my %wayCategory ;
111my %wayHash ;
112my %noExit ;
113my %layer ;
114my %wayCount ;  # number ways using this node
115
116my $touches = 0 ;
117my %touchingsHash ;
118
119###############
120# get parameter
121###############
122$defName = shift||'';
123if (!$defName)
124{
125        die (print $usage, "\n");
126}
127
128$osmName = shift||'';
129if (!$osmName)
130{
131        die (print $usage, "\n");
132}
133
134$htmlName = shift||'';
135if (!$htmlName)
136{
137        die (print $usage, "\n");
138}
139
140$gpxName = shift||'';
141if (!$gpxName)
142{
143        $gpxName = $htmlName ;
144        $gpxName =~ s/htm/gpx/ ;
145}
146
147print "\n$program $version for file $osmName\n\n" ;
148
149
150##################
151# read definitions
152##################
153
154print "read definitions file $defName...\n" ;
155open ($def, , "<", $defName) or die "definition file $defName not found" ;
156
157while (my $line = <$def>) {
158        #print "read line: ", $line, "\n" ;
159        my ($k)   = ($line =~ /^\s*<k=[\'\"]([:\w\s\d]+)[\'\"]/); # get key
160        my ($v) = ($line =~ /^.+v=[\'\"]([:\w\s\d]+)[\'\"]/);       # get value
161       
162        if ($k and defined ($v)) {
163                #print "key: ", $k, "\n" ;
164                #print "val: ", $v, "\n" ;
165
166                if ($k eq "check") {
167                        push @check, $v ;
168                }
169                if ($k eq "against") {
170                        push @against, $v ;
171                }
172        }
173}
174
175close ($def) ;
176
177
178print "Check ways: " ;
179foreach (@check) { print $_, " " ;} print "\n" ;
180print "Against: " ;
181foreach (@against) { print $_, " " ;} print "\n\n" ;
182
183
184
185######################
186# skip all nodes first
187######################
188openOsmFile ($osmName) ;
189print "pass1: skipping nodes...\n" ;
190skipNodes () ;
191
192
193#############################
194# identify check/against ways
195#############################
196print "pass1: identify check ways...\n" ;
197($wayId, $wayUser, $aRef1, $aRef2) = getWay () ;
198if ($wayId != -1) {
199        @wayNodes = @$aRef1 ;
200        @wayTags = @$aRef2 ;
201}
202while ($wayId != -1) { 
203        $wayCount++ ;
204        if (scalar (@wayNodes) >= 2) {
205
206
207                my $found = 0 ;
208                my $layerTemp = "0" ;
209                foreach $tag1 (@wayTags) {
210                        if (grep (/layer:/, $tag1)) { $layerTemp = $tag1 ; $layerTemp =~ s/layer:// ; }
211                        foreach $tag2 (@against) {
212                                if ($tag1 eq $tag2) { $found = 1 ; }
213                        }
214                }
215
216                my $correctLayer = 0 ;
217                foreach (-5..5) { 
218                        if ($layerTemp eq $_) { $correctLayer = 1 ;} 
219                }
220                if ( ! $correctLayer ) {
221                        print "incorrect layer tag \"$layerTemp\" - will be set to 0.\n" ;
222                        $layerTemp = 0 ;
223                }
224
225                if ($found) {
226                        $againstWayCount++ ;
227                        push @againstWays, $wayId ;
228                        @{$wayNodesHash{$wayId}} = @wayNodes ;
229                        push @neededNodes, @wayNodes ;
230                        $layer{$wayId} = $layerTemp ;
231                        $wayCategory{$wayId} = 2 ;
232                        foreach my $node (@wayNodes) { $wayCount{$node}++ ; }
233                }
234
235                $found = 0 ;
236                foreach $tag1 (@wayTags) {
237                        foreach $tag2 (@check) {
238                                if ($tag1 eq $tag2) { $found = 1 ; }
239                        }
240                }
241                if ($found)  { 
242                        push @checkWays, $wayId ; 
243                        $checkWayCount++ ;
244                        @{$wayNodesHash{$wayId}} = @wayNodes ;
245                        push @neededNodes, @wayNodes ;
246                        $layer{$wayId} = $layerTemp ;
247                        $wayCategory{$wayId} = 1 ;
248                        foreach my $node (@wayNodes) { $wayCount{$node}++ ; }
249                }
250        }
251        else {
252                #print "invalid way (one node only): ", $wayId, "\n" ;
253                $invalidWays++ ;
254        }
255
256        # next way
257        ($wayId, $wayUser, $aRef1, $aRef2) = getWay () ;
258        if ($wayId != -1) {
259                @wayNodes = @$aRef1 ;
260                @wayTags = @$aRef2 ;
261        }
262}
263
264closeOsmFile () ;
265
266print "number total ways: $wayCount\n" ;
267print "number invalid ways (1 node only): $invalidWays\n" ;
268print "number check ways: $checkWayCount\n" ;
269print "number against ways: $againstWayCount\n" ;
270
271
272
273######################
274# get node information
275######################
276print "pass2: get node information...\n" ;
277openOsmFile ($osmName) ;
278
279my $minLon = 999 ;
280my $maxLon = -999 ;
281my $minLat = 999 ;
282my $maxLat = -999 ;
283
284
285@neededNodes = sort { $a <=> $b } @neededNodes ;
286
287($nodeId, $nodeLon, $nodeLat, $nodeUser, $aRef1) = getNode () ;
288if ($nodeId != -1) {
289        @nodeTags = @$aRef1 ;
290}
291
292while ($nodeId != -1) {
293        my $needed = 0 ;
294
295        $needed = binSearch ($nodeId, \@neededNodes ) ;
296
297        if ($needed >= 0) { 
298                $lon{$nodeId} = $nodeLon ; 
299                $lat{$nodeId} = $nodeLat ; 
300
301                # noExit
302                $noExit{$nodeId} = 0 ;
303                foreach (@nodeTags) {
304                        if (grep /noexit:yes/, $_) {
305                                $noExit{$nodeId} = 1 ;
306                        } 
307                }
308        }
309
310        if ($nodeLon > $maxLon) { $maxLon = $nodeLon ; }
311        if ($nodeLon < $minLon) { $minLon = $nodeLon ; }
312        if ($nodeLat > $maxLat) { $maxLat = $nodeLat ; }
313        if ($nodeLat < $minLat) { $minLat = $nodeLat ; }
314
315        # next
316        ($nodeId, $nodeLon, $nodeLat, $nodeUser, $aRef1) = getNode () ;
317        if ($nodeId != -1) {
318                @nodeTags = @$aRef1 ;
319        }
320}
321
322closeOsmFile () ;
323
324$qt = OSM::QuadTree->new (      -xmin => $minLon, 
325                                -xmax => $maxLon, 
326                                -ymin => $minLat, 
327                                -ymax => $maxLat, 
328                                -depth => 8) ;
329
330
331##########################
332# init areas for checkWays
333##########################
334print "init areas for checkways...\n" ;
335
336###############
337# init way hash
338###############
339foreach $wayId (@checkWays) {
340
341        ($xMin{$wayId}, $xMax{$wayId}, $yMin{$wayId}, $yMax{$wayId}) = getArea ( @{$wayNodesHash{$wayId}} );
342
343        $qt->add ($wayId, $xMin{$wayId}, $yMin{$wayId}, $xMax{$wayId}, $yMax{$wayId}) ;
344}
345
346
347###############################
348# check for nearly touches
349###############################
350print "check for nearly touching elements...\n" ;
351
352$progress = 0 ;
353$timeA = time() ;
354
355push @againstWays, @checkWays ;
356my $total = scalar (@againstWays) ;
357
358$potential = $total * scalar (@checkWays) ;
359
360foreach $wayId1 (@againstWays) {
361        $progress++ ;
362        if ( ($progress % 1000) == 0 ) {
363                printProgress ($program, $osmName, $timeA, $total, $progress) ;
364        }
365
366        # create temp array according to hash
367        my ($aXMin, $aXMax, $aYMin, $aYMax) = getArea ( @{$wayNodesHash{$wayId1}} );
368        my $ref = $qt->getEnclosedObjects ($aXMin, $aYMin, $aXMax, $aYMax) ;
369        my @temp = @$ref ;
370
371        foreach $wayId2 (@temp) {
372                # check for overlapping "way areas"
373                if ( (checkOverlap ($aXMin, $aYMin, $aXMax, $aYMax, $xMin{$wayId2}, $yMin{$wayId2}, $xMax{$wayId2}, $yMax{$wayId2})) and ($layer{$wayId1} == $layer{$wayId2}) ) {
374                        if ( $wayId1 == $wayId2 ) {
375                                # don't do anything because same way!
376                        }
377                        else {
378                                $checksDone++ ;
379                                for ($b=0; $b<$#{$wayNodesHash{$wayId2}}; $b++) {
380                                        # check start id1
381                                        if ( ($noExit{$wayNodesHash{$wayId1}[0]} == 0) and ($wayCount{$wayNodesHash{$wayId1}[0]} == 1 ) ) {
382                                                if ( ($wayNodesHash{$wayId1}[0] != $wayNodesHash{$wayId2}[$b]) and ($wayNodesHash{$wayId1}[0] != $wayNodesHash{$wayId2}[$b+1]) ) {
383                                                        my ($d1) = shortestDistance ($lon{$wayNodesHash{$wayId2}[$b]},
384                                                                                        $lat{$wayNodesHash{$wayId2}[$b]},
385                                                                                        $lon{$wayNodesHash{$wayId2}[$b+1]},
386                                                                                        $lat{$wayNodesHash{$wayId2}[$b+1]},
387                                                                                        $lon{$wayNodesHash{$wayId1}[0]}, 
388                                                                                        $lat{$wayNodesHash{$wayId1}[0]} ) ;
389                                                        if ($d1 < $maxDist) {
390                                                                $touches++ ;
391                                                                @{$touchingsHash{$touches}} = ($lon{$wayNodesHash{$wayId1}[0]}, $lat{$wayNodesHash{$wayId1}[0]}, $wayId1, $wayId2, $d1) ;
392                                                        }
393                                                }
394                                        }
395
396                                        # check end id1
397                                        if ( ($noExit{$wayNodesHash{$wayId1}[-1]} == 0) and ($wayCount{$wayNodesHash{$wayId1}[-1]} == 1 ) ) {
398                                                if ( ($wayNodesHash{$wayId1}[-1] != $wayNodesHash{$wayId2}[$b]) and ($wayNodesHash{$wayId1}[-1] != $wayNodesHash{$wayId2}[$b+1]) ) {
399                                                        my ($d1) = shortestDistance ($lon{$wayNodesHash{$wayId2}[$b]},
400                                                                                        $lat{$wayNodesHash{$wayId2}[$b]},
401                                                                                        $lon{$wayNodesHash{$wayId2}[$b+1]},
402                                                                                        $lat{$wayNodesHash{$wayId2}[$b+1]},
403                                                                                        $lon{$wayNodesHash{$wayId1}[-1]}, 
404                                                                                        $lat{$wayNodesHash{$wayId1}[-1]} ) ;
405                                                        if ($d1 < $maxDist) {
406                                                                $touches++ ;
407                                                                @{$touchingsHash{$touches}} = ($lon{$wayNodesHash{$wayId1}[-1]}, $lat{$wayNodesHash{$wayId1}[-1]}, $wayId1, $wayId2, $d1) ;
408                                                        }
409                                                }
410                                        }
411                                } # for
412                        } # categories
413                } # overlap
414        } 
415}
416
417print "potential checks: $potential\n" ;
418print "checks actually done: $checksDone\n" ;
419my $percent = $checksDone / $potential * 100 ;
420printf "work: %2.3f percent\n", $percent ;
421print "touches found: $touches\n" ;
422
423$time1 = time () ;
424
425
426##################
427# PRINT HTML INFOS
428##################
429print "\nwrite HTML tables and GPX file...\n" ;
430
431open ($html, ">", $htmlName) || die ("Can't open html output file") ;
432open ($gpx, ">", $gpxName) || die ("Can't open gpx output file") ;
433
434
435printHTMLiFrameHeader ($html, "Touch Check by Gary68") ;
436printGPXHeader ($gpx) ;
437
438print $html "<H1>Touch Check by Gary68</H1>\n" ;
439print $html "<p>Version ", $version, "</p>\n" ;
440print $html "<H2>Statistics</H2>\n" ;
441print $html "<p>", stringFileInfo ($osmName), "<br>\n" ;
442print $html "number ways total: $wayCount<br>\n" ;
443print $html "number invalid ways (1 node only): $invalidWays<br>\n" ;
444print $html "number check ways: $checkWayCount<br>\n" ;
445print $html "number against ways: $againstWayCount</p>\n" ;
446
447print $html "<p>Check ways: " ;
448foreach (@check) { print $html $_, " " ;} print $html "</p>\n" ;
449print $html "<p>Against: " ;
450foreach (@against) { print $html $_, " " ;} print $html "</p>\n" ;
451
452
453print $html "<H2>Touches found</H2>\n" ;
454print $html "<p>At the given location a node of one way nearly hits another way. Potentially there is a connection missing." ;
455print $html "<table border=\"1\">\n";
456print $html "<tr>\n" ;
457print $html "<th>Line</th>\n" ;
458print $html "<th>WayId1</th>\n" ;
459print $html "<th>WayId2</th>\n" ;
460print $html "<th>Distance</th>\n" ;
461print $html "<th>OSM</th>\n" ;
462print $html "<th>OSB</th>\n" ;
463print $html "<th>JOSM</th>\n" ;
464print $html "<th>Pic</th>\n" ;
465print $html "</tr>\n" ;
466$i = 0 ;
467foreach $key (keys %touchingsHash) {
468        my ($x, $y, $id1, $id2, $dist) = @{$touchingsHash{$key}} ;
469        #print "HTML $x, $y, $id1, $id2\n" ;
470        $i++ ;
471        $dist = $dist * 1000 ; # in meters
472
473        # HTML
474        print $html "<tr>\n" ;
475        print $html "<td>", $i , "</td>\n" ;
476        print $html "<td>", historyLink ("way", $id1) , "</td>\n" ;
477        print $html "<td>", historyLink ("way", $id2) , "</td>\n" ;
478        if ($dist < ($maxDist2*1000)) {
479                printf $html "<td><strong>~ %2.1f m</strong></td>\n", $dist ;
480        }
481        else {
482                printf $html "<td>~ %2.1f m</td>\n", $dist ;
483        }
484        print $html "<td>", osmLink ($x, $y, 16) , "</td>\n" ;
485        print $html "<td>", osbLink ($x, $y, 16) , "</td>\n" ;
486        print $html "<td>", josmLinkSelectWays ($x, $y, 0.005, $id1, $id2), "</td>\n" ;
487        print $html "<td>", picLinkOsmarender ($x, $y, 16), "</td>\n" ;
488        print $html "</tr>\n" ;
489
490        # GPX
491        my $text = "ChkTouch - " . $id1 . "/" . $id2 . " one way nearly hits another" ;
492        printGPXWaypoint ($gpx, $x, $y, $text) ;
493}
494print $html "</table>\n" ;
495print $html "<p>$i lines total</p>\n" ;
496
497
498
499########
500# FINISH
501########
502print $html "<p>", stringTimeSpent ($time1-$time0), "</p>\n" ;
503printHTMLFoot ($html) ;
504printGPXFoot ($gpx) ;
505
506close ($html) ;
507close ($gpx) ;
508
509statistics ( ctime(stat($osmName)->mtime),  $program,  $defName, $osmName,  $checkWayCount,  $i) ;
510
511print "\n$program finished after ", stringTimeSpent ($time1-$time0), "\n\n" ;
512
513
514sub statistics {
515        my ($date, $program, $def, $area, $total, $errors) = @_ ;
516        my $statfile ; my ($statfileName) = "statistics.csv" ;
517
518        if (grep /\.bz2/, $area) { $area =~ s/\.bz2// ; }
519        if (grep /\.osm/, $area) { $area =~ s/\.osm// ; }
520        my ($area2) = ($area =~ /.+\/([\w\-]+)$/ ) ;
521
522        if (grep /\.xml/, $def) { $def =~ s/\.xml// ; }
523        my ($def2) = ($def =~ /([\w\d\_]+)$/ ) ;
524
525        my ($success) = open ($statfile, "<", $statfileName) ;
526
527        if ($success) {
528                print "statfile found. writing stats...\n" ;
529                close $statfile ;
530                open $statfile, ">>", $statfileName ;
531                printf $statfile "%02d.%02d.%4d;", localtime->mday(), localtime->mon()+1, localtime->year() + 1900 ;
532                printf $statfile "%02d/%02d/%4d;", localtime->mon()+1, localtime->mday(), localtime->year() + 1900 ;
533                print $statfile $date, ";" ;
534                print $statfile $program, ";" ;
535                print $statfile $def2, ";" ;
536                print $statfile $area2, ";" ;
537                print $statfile $total, ";" ;
538                print $statfile $errors ;
539                print $statfile "\n" ;
540                close $statfile ;
541        }
542        return ;
543}
544sub getArea {
545        my @nodes = @_ ;
546
547        my $minLon = 999 ;
548        my $maxLon = -999 ;
549        my $minLat = 999 ;
550        my $maxLat = -999 ;
551
552
553        foreach my $node (@nodes) {
554                if ($lon{$node} > $maxLon) { $maxLon = $lon{$node} ; }
555                if ($lon{$node} < $minLon) { $minLon = $lon{$node} ; }
556                if ($lat{$node} > $maxLat) { $maxLat = $lat{$node} ; }
557                if ($lat{$node} < $minLat) { $minLat = $lat{$node} ; }
558        }       
559        return ($minLon, $maxLon, $minLat, $maxLat) ;
560}
561
Note: See TracBrowser for help on using the repository browser.