[RT17143] Added bogus date values for bad data
authorLiam Whalen <liam.whalen@bc.libraries.coop>
Tue, 27 Oct 2015 23:40:07 +0000 (16:40 -0700)
committerLiam Whalen <liam.whalen@bc.libraries.coop>
Tue, 27 Oct 2015 23:40:07 +0000 (16:40 -0700)
commita36b442bdaae5e49e18fe75fe6c8ea11258b556b
tree4d33f666825c1631dae60ccb22ef3978253cdce2
parent97e9be67c62167a1e38bfc96b613d1a069468ff7
[RT17143] Added bogus date values for bad data

If the MARC has bad data even after filtering by regex, we now use two
different intentionally bad dates to help us locate this bad data after
the update.  In this case we use 000123 for 008/00-05 and 0011 for
008/07-10.  It is possible that our SQL that returns bade date1 values
returns a value with a valid 260 $c but an invalid $264 $c.  In this
case, the code will use the invalid $264 $c.  However, the checks
required to filter out this invalid $264 $c is too complex, so we add
sanity checks after our new dates are created to ensure they are the
correct length, and we use the bogus dates if they are not.  In the case
of bad 008/00-05 there might be a biblio.record_entry item with a bad
create_date, so we use 000123 to identify that.

Signed-off-by: Liam Whalen <liam.whalen@bc.libraries.coop>
data_cleanup/date1/date1_cleanup.pl