<div dir="ltr">Thanks John!<div><br></div><div>I&#39;ll make these changes today and hopefully never have this problem again. Good timing really because we had restrictions on merging items in Elements for a while and this has been lifted.</div><div><br></div><div>Can I ask you a very quick question? Do you know if &quot;FileManageHandler.pm&quot; (Symplectic::Handlers::FileManageHandler) a good place to start investigating a problem with deletion requests from Elements? There&#39;s a &quot;delete_handler&quot; sub in there that looks like a likely candidate, but I don&#39;t want to spend half of my day looking in the wrong place.</div><div><br></div><div>Thanks,</div><div>James</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, May 16, 2019 at 12:48 PM John Salter &lt;<a href="mailto:J.Salter@leeds.ac.uk">J.Salter@leeds.ac.uk</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">





<div lang="EN-GB">
<div class="gmail-m_-919698800906316942WordSection1">
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)">Hi James,<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)">I&#39;ve put some notes/code here:<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)"><a href="https://eur03.safelinks.protection.outlook.com/?url=https%3A%2F%2Fgist.github.com%2Fjesusbagpuss%2Fee27acd24a5d0e3fa3d29ef0075d921b&amp;data=01%7C01%7Ceprints-tech%40ecs.soton.ac.uk%7C347e243ef71648cb918908d6dab5bc29%7C4a5378f929f44d3ebe89669d03ada9d8%7C0&amp;sdata=WJe0k5NFion%2BRuHWWU9LqVs1zXIPFCQ3pVXisJ1oo6k%3D&amp;reserved=0" originalSrc="https://gist.github.com/jesusbagpuss/ee27acd24a5d0e3fa3d29ef0075d921b" shash="JpWxKLY6vm2xRKqIBjDGmCKz8iCrXE1tuKgudhXN7hTPXTxEGaevanLt/wpHjygsuJQ9Uzuz2p+DkNi061SZ28NRRbnpKKb9eeUoHxEm9Xki06yQCiZsOcNNISO10M45JuNsIl0GAWrydY06o2+Lj2MOtnvZCS92M4Nj9WgV2rM=" target="_blank">https://gist.github.com/jesusbagpuss/ee27acd24a5d0e3fa3d29ef0075d921b</a><u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)">let me know if it doesn&#39;t make sense.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)">From my comments in the code (might be useful knowledge for others):<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)">EPrints&#39; default behaviour is to remove the &#39;pos&#39; during a document clone *only* when the doc is being cloned to the same parent.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)">Cheers,<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)">John<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)"><u></u> <u></u></span></p>
<p class="MsoNormal"><b><span lang="EN-US" style="font-size:11pt;font-family:Calibri,sans-serif">From:</span></b><span lang="EN-US" style="font-size:11pt;font-family:Calibri,sans-serif"> <a href="mailto:eprints-tech-bounces@ecs.soton.ac.uk" target="_blank">eprints-tech-bounces@ecs.soton.ac.uk</a> [mailto:<a href="mailto:eprints-tech-bounces@ecs.soton.ac.uk" target="_blank">eprints-tech-bounces@ecs.soton.ac.uk</a>]
<b>On Behalf Of </b>James Kerwin via Eprints-tech<br>
<b>Sent:</b> 16 May 2019 12:22<br>
<b>To:</b> John Salter &lt;<a href="mailto:J.Salter@leeds.ac.uk" target="_blank">J.Salter@leeds.ac.uk</a>&gt;<br>
<b>Cc:</b> <a href="mailto:eprints-tech@ecs.soton.ac.uk" target="_blank">eprints-tech@ecs.soton.ac.uk</a><br>
<b>Subject:</b> Re: [EP-tech] EPrints/Elements Merge Problems<u></u><u></u></span></p>
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<div>
<div>
<p class="MsoNormal">He David and John,<u></u><u></u></p>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">I&#39;ve taken a look at the symplectic_merge and symplectic_pids table, and using by budding skills of divination I couldn&#39;t find anything out of sorts in there - so far as I can tell. Although in trying to fix this with multiple re-deposits
 this one record has a load of different EPrints IDs.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">It appears to be as John said. I&#39;ve managed to clean the record up by fiddling with the document and file tables and moving some files around. Everything appears to be working...<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">John, thank you for the piece of SQL. It appears this is isn&#39;t a huge problem, but there are other instances that I&#39;m now at least aware of. I&#39;ll put a ticket in with Symplectic. If you do have a solution it would be brilliant, but out
 of principle I think Symplectic should provide the solution to their customers. Capitalists shouldn&#39;t be depending on an open source group to fix their code. Anyway, I don&#39;t want to get too political...<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Thank you both for your help.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Thanks,<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">James<u></u><u></u></p>
</div>
</div>
</div>
</div>
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<div>
<p class="MsoNormal">On Thu, May 16, 2019 at 9:49 AM John Salter &lt;<a href="mailto:J.Salter@leeds.ac.uk" target="_blank">J.Salter@leeds.ac.uk</a>&gt; wrote:<u></u><u></u></p>
</div>
<blockquote style="border-top:none;border-right:none;border-bottom:none;border-left:1pt solid rgb(204,204,204);padding:0cm 0cm 0cm 6pt;margin-left:4.8pt;margin-right:0cm">
<p class="MsoNormal">Hi James,<br>
Yes - and I&#39;ve submitted a bug report to Symplectic - with a fix for their connector - which they&#39;ve never rolled out *sigh*.<br>
<br>
When two items are merged, and initially they both have documents in folder &#39;01&#39;, all these then get put into the &#39;surviving EPrint&#39;s &#39;01&#39; directory.<br>
Worse still, if both items have a file of the same name e.g. Doc1.pdf (but they are different files), one of them will overwrite the other - and you have data-loss :o|<br>
<br>
You can see how many things are affected by this with the following query:<br>
SELECT   eprintid, pos, count(*) as c FROM   document GROUP BY   eprintid, pos HAVING c &gt; 1;<br>
<br>
The issue is in Symplectic/RepoProcess/MergeManager.pm - and a call to:<br>
        my $new_doc = $doc-&gt;clone($target);<br>
This clone doesn&#39;t reset the &#39;pos&#39; - so you get the results reported.<br>
<br>
I&#39;ll put a gist together with the changes needed to resolve this.<br>
<br>
Feel free to log it as a ticket with Symplectic...<br>
<br>
Cheers,<br>
John<br>
<br>
-----Original Message-----<br>
From: <a href="mailto:eprints-tech-bounces@ecs.soton.ac.uk" target="_blank">eprints-tech-bounces@ecs.soton.ac.uk</a> [mailto:<a href="mailto:eprints-tech-bounces@ecs.soton.ac.uk" target="_blank">eprints-tech-bounces@ecs.soton.ac.uk</a>] On Behalf Of Newman
 D.R. via Eprints-tech<br>
Sent: 16 May 2019 09:28<br>
To: <a href="mailto:eprints-tech@ecs.soton.ac.uk" target="_blank">eprints-tech@ecs.soton.ac.uk</a>; James Kerwin &lt;<a href="mailto:jkerwin2101@gmail.com" target="_blank">jkerwin2101@gmail.com</a>&gt;<br>
Subject: Re: [EP-tech] EPrints/Elements Merge Problems<br>
<br>
Hi James,<br>
<br>
Based on some experience with this it can be due to the symplectic_pids<br>
table in EPrints getting out of sync.  I have in the past had to make<br>
manual corrections to fix this.  It has never been clear to me what<br>
caused the issue, as I only have access to the EPrints side.<br>
<br>
I would take a look in this EPrints database table.  It has three IDs<br>
two from Symplectic and one from EPrints.  A record with no outstanding<br>
merge issues should have the same two Symplectic IDs and the associated<br>
EPrint ID.  Sometimes I have not even been able to find the record I<br>
need in this table based on a lookup against either the EPrint or<br>
Symplectic ID.  Tell me what you find and I maybe able to advise<br>
further or confirm whether this is or is not the issue you are<br>
experiencing.<br>
<br>
Regards<br>
<br>
David Newman<br>
<br>
On Thu, 2019-05-16 at 09:18 +0100, James Kerwin via Eprints-tech wrote:<br>
&gt; Hi All,<br>
&gt;<br>
&gt; This may be a question for the Symplectic list, but on the off-chance<br>
&gt; anybody has experienced similar problems... Has anybody had trouble<br>
&gt; with merging records in Elements and the result in EPrints being a<br>
&gt; complete mess?<br>
&gt;<br>
&gt; A record was merged recently and the results in EPrints are two<br>
&gt; documents in the same folder on the server (where the file download<br>
&gt; link points two).<br>
&gt;<br>
&gt; For example, there is usually one file per bottom level directory:<br>
&gt;<br>
&gt; Dir 01 = file1.pdf<br>
&gt; Dir 02 = file2.pdf<br>
&gt;<br>
&gt; and so on.<br>
&gt;<br>
&gt; I&#39;m getting:<br>
&gt;<br>
&gt; Dir 01 = file1.pdf, file2.pdf<br>
&gt; Dir02 = file3.pdf<br>
&gt;<br>
&gt; Also the files showing Elements seem to be duplicating themselves and<br>
&gt; keeps changing to &quot;deposit incomplete&quot; Always one more of the<br>
&gt; duplicated file in Elements than is appearing in EPrints.<br>
&gt;<br>
&gt; I know I can tidy this up in EPrints, but I&#39;d like to stop it<br>
&gt; happening altogether.<br>
&gt;<br>
&gt; Thanks,<br>
&gt; James<br>
&gt; *** Options: <a href="http://mailman.ecs.soton.ac.uk/mailman/listinfo/eprints-" target="_blank">
http://mailman.ecs.soton.ac.uk/mailman/listinfo/eprints-</a><br>
&gt; tech<br>
&gt; *** Archive: <a href="https://eur03.safelinks.protection.outlook.com/?url=http%3A%2F%2Fwww.eprints.org%2Ftech.php%2F&amp;data=01%7C01%7Ceprints-tech%40ecs.soton.ac.uk%7C347e243ef71648cb918908d6dab5bc29%7C4a5378f929f44d3ebe89669d03ada9d8%7C0&amp;sdata=3GghcORtprSm1%2B4c7Z%2B%2B7cyRn8ezN3O12j%2BkNqHas%2Bg%3D&amp;reserved=0" originalSrc="http://www.eprints.org/tech.php/" shash="u+2tbBQHsY4GuJSoNtEHwGeuVGjwhnOiZpNm/L9jcAN/uLBwJ2BbH0SiOrEajUCRnSVPu7lhB+dK3GDDIZ6Ul0YAHL84GHnkKrULQrPZH8ZDSmfjZAnp6xRW7aZaSFr7LIvE6NXUvyXMWWXOlIm+bFcIwwRu3NKktRXHEdMbcF0=" target="_blank">
https://eur03.safelinks.protection.outlook.com/?url=http%3A%2F%2Fwww.eprints.org%2Ftech.php%2F&amp;amp;data=01%7C01%7C%7Cd53022b90d27459e88c208d6d9d878a3%7C4a5378f929f44d3ebe89669d03ada9d8%7C0&amp;amp;sdata=k9RapSd7ddVo7%2BFhlqhADhT53Ra9%2FRwHWaXhLonT5aM%3D&amp;amp;reserved=0</a><br>
&gt; *** EPrints community wiki: <a href="https://eur03.safelinks.protection.outlook.com/?url=http%3A%2F%2Fwiki.eprints.org%2F&amp;data=01%7C01%7Ceprints-tech%40ecs.soton.ac.uk%7C347e243ef71648cb918908d6dab5bc29%7C4a5378f929f44d3ebe89669d03ada9d8%7C0&amp;sdata=MAM4BOi7HkRWsLD6LasBGkBwC8%2FLSdlNJuW9XCuQmVQ%3D&amp;reserved=0" originalSrc="http://wiki.eprints.org/" shash="o8QhzfywhceHc05/yQFWd7qJPd3WTCYzag3vO1ZycX+X2sz2xxFDYuhVFjj3jiV1H9tlhWelG7AXKkWYLnnyd2LsuA/RcFtnnKXh78hKSeEMQQP4uWJFnawmJNjsDy8R21lsWWtGEUXmGSq69OaqRgZbiQkuwH2pBhgU0dl90rE=" target="_blank">
https://eur03.safelinks.protection.outlook.com/?url=http%3A%2F%2Fwiki.eprints.org%2F&amp;amp;data=01%7C01%7C%7Cd53022b90d27459e88c208d6d9d878a3%7C4a5378f929f44d3ebe89669d03ada9d8%7C0&amp;amp;sdata=6vHCSlBvgz9sv3jZGhvsmwKJn4all8tCD2bc44fuxpo%3D&amp;amp;reserved=0</a><br>
&gt; *** EPrints developers Forum: <a href="https://eur03.safelinks.protection.outlook.com/?url=http%3A%2F%2Fforum.eprints.org%2F&amp;data=01%7C01%7Ceprints-tech%40ecs.soton.ac.uk%7C347e243ef71648cb918908d6dab5bc29%7C4a5378f929f44d3ebe89669d03ada9d8%7C0&amp;sdata=vs0QXwkqIpDLBbdIZyrzVA%2BzXr07SHgUOsCGG0UnsnU%3D&amp;reserved=0" originalSrc="http://forum.eprints.org/" shash="qzpNvUK09eZEmwWZ2hnj47gX7yMpE0ICWQ0rUwDeMDPYkF62L2E+LWxjky/TQjmDOv7j30Oi3+NVNjMd1ebDJwD8QGOKjUgtawCJ8TiK8yhlga2+7/6y5wTR0AbmyYd53xDb0zTWr6HKopCAI/hUth8U3BSH578xdQMV8OksinI=" target="_blank">
https://eur03.safelinks.protection.outlook.com/?url=http%3A%2F%2Fforum.eprints.org%2F&amp;amp;data=01%7C01%7C%7Cd53022b90d27459e88c208d6d9d878a3%7C4a5378f929f44d3ebe89669d03ada9d8%7C0&amp;amp;sdata=RaBQEyELw4X71EVgu7B9nnSm090fFQFEc%2FBO9mQaK%2Fk%3D&amp;amp;reserved=0</a><br>
<br>
*** Options: <a href="http://mailman.ecs.soton.ac.uk/mailman/listinfo/eprints-tech" target="_blank">
http://mailman.ecs.soton.ac.uk/mailman/listinfo/eprints-tech</a><br>
*** Archive: <a href="https://eur03.safelinks.protection.outlook.com/?url=http%3A%2F%2Fwww.eprints.org%2Ftech.php%2F&amp;data=01%7C01%7Ceprints-tech%40ecs.soton.ac.uk%7C347e243ef71648cb918908d6dab5bc29%7C4a5378f929f44d3ebe89669d03ada9d8%7C0&amp;sdata=3GghcORtprSm1%2B4c7Z%2B%2B7cyRn8ezN3O12j%2BkNqHas%2Bg%3D&amp;reserved=0" originalSrc="http://www.eprints.org/tech.php/" shash="u+2tbBQHsY4GuJSoNtEHwGeuVGjwhnOiZpNm/L9jcAN/uLBwJ2BbH0SiOrEajUCRnSVPu7lhB+dK3GDDIZ6Ul0YAHL84GHnkKrULQrPZH8ZDSmfjZAnp6xRW7aZaSFr7LIvE6NXUvyXMWWXOlIm+bFcIwwRu3NKktRXHEdMbcF0=" target="_blank">
http://www.eprints.org/tech.php/</a><br>
*** EPrints community wiki: <a href="https://eur03.safelinks.protection.outlook.com/?url=http%3A%2F%2Fwiki.eprints.org%2F&amp;data=01%7C01%7Ceprints-tech%40ecs.soton.ac.uk%7C347e243ef71648cb918908d6dab5bc29%7C4a5378f929f44d3ebe89669d03ada9d8%7C0&amp;sdata=MAM4BOi7HkRWsLD6LasBGkBwC8%2FLSdlNJuW9XCuQmVQ%3D&amp;reserved=0" originalSrc="http://wiki.eprints.org/" shash="o8QhzfywhceHc05/yQFWd7qJPd3WTCYzag3vO1ZycX+X2sz2xxFDYuhVFjj3jiV1H9tlhWelG7AXKkWYLnnyd2LsuA/RcFtnnKXh78hKSeEMQQP4uWJFnawmJNjsDy8R21lsWWtGEUXmGSq69OaqRgZbiQkuwH2pBhgU0dl90rE=" target="_blank">
http://wiki.eprints.org/</a><br>
*** EPrints developers Forum: <a href="https://eur03.safelinks.protection.outlook.com/?url=http%3A%2F%2Fforum.eprints.org%2F&amp;data=01%7C01%7Ceprints-tech%40ecs.soton.ac.uk%7C347e243ef71648cb918908d6dab5bc29%7C4a5378f929f44d3ebe89669d03ada9d8%7C0&amp;sdata=vs0QXwkqIpDLBbdIZyrzVA%2BzXr07SHgUOsCGG0UnsnU%3D&amp;reserved=0" originalSrc="http://forum.eprints.org/" shash="qzpNvUK09eZEmwWZ2hnj47gX7yMpE0ICWQ0rUwDeMDPYkF62L2E+LWxjky/TQjmDOv7j30Oi3+NVNjMd1ebDJwD8QGOKjUgtawCJ8TiK8yhlga2+7/6y5wTR0AbmyYd53xDb0zTWr6HKopCAI/hUth8U3BSH578xdQMV8OksinI=" target="_blank">
http://forum.eprints.org/</a><u></u><u></u></p>
</blockquote>
</div>
</div>
</div>

</blockquote></div>