install-osrf.sh: more tweaks

install-osrf.sh: ensure EG bin path is in $PATH for default user

EG install scripts: typo fix

EG install scripts: more tweaks

EG install scripts: drop -l argument from su to preserve environment (for ssh agent forwarding)

install-osrf.sh: be smarter about adding opensrf bin directory to path

EG install scripts: specify git branch for sysadmin.git

install-osrf.sh: do not install web client stuff by default

install-eg.sh: Use latest upgrade branch; specify EG version; do not install web client stuff by default

Signed-off-by: Jeff Davis <jdavis@sitka.bclibraries.ca>

install-eg.sh: offline blocked patron list

Merge branch 'master' into eg28

wrapper script for generating offline blocked patron list

Signed-off-by: Jeff Davis <jdavis@sitka.bclibraries.ca>

fix 404 and 500 errors with XUL locale stuff

install-eg.sh: we are installing 2.8.1, so stamp IDs etc should reflect that

install-eg.sh: update to latest EG upgrade branch

Update EBSCO export per email from jcarmody@EBSCO.COM, must turn off compression.

Signed-off-by: Robin H. Johnson <rjohnson@sitka.bclibraries.ca>

Add jessica to ebsco output.

Only delete if DELETE != 0.

Signed-off-by: Robin H. Johnson <rjohnson@sitka.bclibraries.ca>

deployfile.sh: update Perl version for EG2.8/Ubuntu Trusty

pathmap.ini: use correct Perl version

With EG 2.8 on Ubuntu Trusty, we use Perl 5.18.2, so the path for
OpenSRF and OpenILS Perl modules has changed.

Signed-off-by: Jeff Davis <jdavis@sitka.bclibraries.ca>

install-osrf.sh: need placeholder apache2.conf before installing prereqs

install-eg.sh: tweaks for Sitka-customized EG2.8 install

install-eg.sh: updates for EG2.8
    - do not specify dbd libs or install will fail
    - correct name of Apache 2.4 default site

Signed-off-by: Jeff Davis <jdavis@sitka.bclibraries.ca>

install-eg.sh: update for Evergreen 2.8 beta

install-osrf.sh: update for OpenSRF 2.4/Evergreen 2.8

install-eg.sh and install-osrf.sh: use correct base name for config files

deployfile.sh: update list of prod hosts (add utility0, remove stanns)

install-eg.sh: install production branch

install-eg.sh: add Python Reportlab packages for paper notices

age-circs.sql: ensure sitka.aged_circs is populated with xact_finish

age-circs.sql: fix a few bugs found during testing

Added Encode decode_utf8 use statement

Fixed syntax error

Updated produciton servers

Changed app1-1, app1-2, etc to app4, app5, and app6

age-circs.sql: a script to age circs/anonymize patron circ history

Signed-off-by: Jeff Davis <jdavis@sitka.bclibraries.ca>

update cotr marc export ini and runscript files

Implement control over which 852 4b value is used for BCREK/COTR export as needed by MLB

Signed-off-by: Robin H. Johnson <rjohnson@sitka.bclibraries.ca>

use marc_export_custom in cotr runscript

Merge branch 'master' of git+ssh://git.sitka.bclibraries.ca/sitka/sitka-tools

use db1.sitka.bclibraries.ca in cotr runscript

Apply patch from c6520c9179834915910d8c294b3078b3f5114e17:marc_export_custom to marc_export_custom_ms.

Signed-off-by: Robin H. Johnson <rjohnson@sitka.bclibraries.ca>

Apply patch from 0cb635749fd8aca004879850b2b9f456e9921b91:marc_export_custom to marc_export_custom_ms.

Signed-off-by: Robin H. Johnson <rjohnson@sitka.bclibraries.ca>

Apply patch dd134fdd181664e285e935371c92e03c9a2c065b from marc_export_custom to marc_export_custom_ms.

add marc export scripts for cotr

Postfix sendmail binary needs an extra option.

Signed-off-by: Robin H. Johnson <rjohnson@sitka.bclibraries.ca>

Fix syntax.

Signed-off-by: Robin H. Johnson <rjohnson@sitka.bclibraries.ca>

More PerlOPT.

Signed-off-by: Robin H. Johnson <rjohnson@sitka.bclibraries.ca>

Document scripts better, and squelch output.

Signed-off-by: Robin H. Johnson <rjohnson@sitka.bclibraries.ca>

Fix grep fail.

Signed-off-by: Robin H. Johnson <rjohnson@sitka.bclibraries.ca>

Make it possible to get a quiet perl.

Signed-off-by: Robin H. Johnson <rjohnson@sitka.bclibraries.ca>

integrity-checker.pl: strip newline from hash-file input

integrity-checker.pl: fix command-line options for printing git hashes

Fetch from the REMOTE

Currently, you need to manually keep your git repo fetched before any
changes exist to be deployed.

This commit adds a git fetch to pull any changes before deploying.
Signed-off-by: Liam Whalen <liam.whalen@bc.libraries.coop>

Create relative paths for local file storage

Currently, when deploying, the local files used to deploy to the server
are stored in the same directory.  When there are files that have the
same name, the last file to be deployed is the only one present in the
directory because it overwrites the previous files with the same name.

This commit creates a temporary directory with the relative path of the
filename appended to the end of the temporary directory.

Signed-off-by: Liam Whalen <liam.whalen@bc.libraries.coop>

Merge branch 'eg26'

RT21793: BTR outlook profile - exclude On Order records

install-drone.sh: it is important to correctly copy the specially built Perl libs to their proper home

install-drone.sh: update for EG2.6

Deploy latest EG branch (upgrade/eg26/rc1-tpac)

install-eg.sh: hack to use already-localized fm_IDL.xml (see RT19953)

install-eg.sh: install Sitka's version of 2.6.1 from git

Revert "update install-eg.sh to install EG 2.6 beta1 from tarball"

This reverts commit 6f940e4f50cb3d1b4420cc28d7ae5838f0404691.

install-eg.sh: fix incorrect test for whether files exist

Drop BKCT in config

install-eg.sh: fix incorrect test for whether files exist

update install-eg.sh to install EG 2.6 beta1 from tarball

update install-osrf.sh to install OSRF 2.3 from git (for EG 2.6)

RT18577: BCRE outlook profile.

Signed-off-by: Robin H. Johnson <rjohnson@sitka.bclibraries.ca>

tweaks to install-eg.sh

(sitka) [RT18017] Fixed sync using local instead of remote branch

Using the -s option was grabbing the locat branch name based on the
convention that the local branch name was the same as the remote branch
name.  This is a bad convention.

Now, the code uses the remote branch with git ls-tree to get a list of
the files to sync.

deployfile.sh: added sip2 to list of production servers

Fixed hashref error

The hash retunred by config needs to be cast as a hash.  5.14.2 seems to
do this implicity. But, coconut uses 5.10.1, which does not.

Signed-off-by: Liam Whalen <liam.whalen@bc.libraries.coop>

[RT18107] Added bibc-prod_pathmap.ini

This ini file is used when git-deploy.sh is called with bibc-prod as one
of the host arguments.  git-deploy.sh constructs the pathmap.ini file
name using the host name followed by _pathmap.ini.  If that file exists,
then it is passed as the --config argument to access_pathmap.pl.

Signed-off-by: Liam Whalen <liam.whalen@bc.libraries.coop>

[RT18107] clean up access_pathmap.pl

I left a few artifacts from testing in access_pathmap.pl.  These are
removed with this commit.

Signed-off-by: Liam Whalen <liam.whalen@bc.libraries.coop>

[RT18107] A number of modifications

I added the ability for the scirpt to detect access_pathmap.pl.  As
well, temporary files are now placed in
/tmp/${BRANCH}/server_list/year_month_day_hour_minute_second/.
So, if I was pusing user/lwhalen/rt14111 to dev3 and dev4 then my
files from the branch would be located at
/tmp/user/lwhalen/rt14111/dev3_dev4/year_month_day_hour_minute_second/.
If we do not delete the temporary files until space is a concern, then
this will allow us to have a history of what was deployed and when it was
deployed.

I also added some more help file text, and a message indicating when a
file could not be pushed because it does not have a mapping in the
PATHMAP_FILE.

Changed output to go to stderr or stdout as appropriate.  This means
error messages are now going to stderr, and the prompt to ensure that
you mean to sync a branch with the servers is going to stdout.

The server list used to create the temporary directory is sorted
using the sort command in order to provide a consistent directory
structure regardless of how the servers are entered on the command line.

git-deploy was changed to send a host sepcific config file to
access_pathmap.pl.  The convention I am using is
${HOSTNAME}_pathmap.ini.  If this file exist, then access_pathmap.pl is
called with that file as the --config option.  I also moved the logic
that determins a hostname from a string to a funciton because it is now
used in two places.

Signed-off-by: Liam Whalen <liam.whalen@bc.libraries.coop>

[rt18107] added better filtering of production servers

These changes make sure using a server like
app1-1.catalogue.libraries.coop will not deploy currently while testing.
To do this, the script looks at the hostname and compares it to a list
of production servers defined at the start of the script.  If the
hostname is within the list of production servers then it aborts sending
the file.

[rt18107] added branch syncing

By specifying -s you can now sync all files that have a mapping in
pathmap.ini with the server.

[rt18107] Deploy from git

Pull files from a remote repo.  Figure out where they are on the
server. Display the deployfile.sh command that could be executed.

Needs some more work and lots of testing.  Eventually it will execute the deployfile.sh
command without the use of a switch.

Working with tmp dir and real filename

Had to change the temp file to use the real file name of the file being
pushed otherwise deployfile.sh would not work properly.

Should we clean up the temp files?  I am hesitant to put any rm commands
into a script.

Modifed to work with pathmap.ini and access_pathmap.pl

This script now derives the host directories to deploy to via
pathmap.ini.  As well, I put in some safe guards to prevent deploying to
production while the script is in testing.

Added ability to specify location of git repo

Added the ability to specify the location of the git repo.  It defaults
to the current directory.  This allows users to run git-deploy.sh from a
central directory or from the PATH.  This script does assume that
access_pathmap.pl is in the user's PATH.

[rt18107] Cleaned up access_pathmap.pl

I noticed a few problems with access_pathmap.pl after my initial commmit
to master. First, the ability to retrieve all sections was using a space
' ' as a delimeter between the section names, and a space is a valid
input within a section name, so I changed the space to a newline.  As
well, I modified the regex used to edit the section names to strip out [
and ] from the beggining and end of the section names only.  The
previous version removed all occurances of [ and ] from a section name,
which may not be the same thing.

Signed-off-by: Liam Whalen <liam.whalen@bc.libraries.coop>

[rt18107] Extracted the pathmap functionality from integrity-checker.pl

We can use access_pathmap.pl to grab the list of all modules by calling
it with only the --config option and no --component option.  If you add
the --component option then the program will return the associated paths
for that component in the INI file specified by --config.  If you add
--srcpath it will retrieve the mapping for that srcpath.

access_pathmap.pl now has all the required functionality for
integrity-checker.pl to function.  There is one problem I have run into.
Some of the files in /srv/openils/var/web/xul/server are copied from
Open-ILS/xul/staff_client/chrome/content/ and the pathmap.ini does not
account for this, so they show up as untracked.  I will try and figure
out how to take this into consideration once I have access_pathmap.pl
working with the git-deploy.sh script.

Signed-off-by: Liam Whalen <liam.whalen@bc.libraries.coop>

Check that deployed EG code matches the code in git.

In a multi-server environment, it can easily become confusing to track
what changes have been made to which servers.  This commit adds a script
to compare parts of the evergreen.git source tree to the corresponding
parts of the file tree on an Evergreen server, using git's internal
hashing mechanism to calculate checksums for various deployed files
which can be compared with the hashes stored by the git repo.

A sample configuration file, pathmap.ini, demonstrates how to (a) map a
directory in the git source tree to the corresponding directory on an
Evergreen server, and (b) group multiple directories together into
"components" so that you can, for example, audit all OpenILS Perl
modules with a single command.

Signed-off-by: Jeff Davis <jdavis@sitka.bclibraries.ca>

Improve error checking before export actually triggers the FTP upload.

Signed-off-by: Robin H. Johnson <rjohnson@sitka.bclibraries.ca>

Add more patch points to patching tool

The new patch points will allow more deployed software to be patched.  The
issue is that these patch points are located in paths different from their
resident paths in the software repository.

install-eg.sh: log rotation

adding export scripts for MWPL

Improve strings.

Final code for MUCN EBSCO upload.

Clarify Outlook vs UCN EBSCO scripts.

Update Outlook email notification addresses per Mari Martin.

Signed-off-by: Robin H. Johnson <rjohnson@sitka.bclibraries.ca>

Anita replaces Heather, added Bob.

install-eg.sh: only install a few locales; create offline circ stuff AFTER setting up opensrf.xml

install-eg.sh: a few minor improvements

[RT16904] Exclude BMB-LS reading room books from Outlook per request.

Signed-off-by: Robin H. Johnson <rjohnson@sitka.bclibraries.ca>

updated install scripts for production 2.4 environment

install-eg.sh: eg.conf is renamed to 000-evergreen.conf

deployfile.sh: fix bug with -u option

Add quiet make rules.

Apply new quiet flag.

Also squelch the Retrieving messages.

Add ability to make it run quietly to reduce mail size.