<div dir="ltr">Oh I see it. I was close(ish), I end up in the &quot;sub remove&quot; in FileManager.pm.<div><br></div><div>That is more than enough to go on.</div><div><br></div><div>Thank you again!</div><div><br></div><div>James</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, May 17, 2019 at 11:58 AM John Salter &lt;<a href="mailto:J.Salter@leeds.ac.uk">J.Salter@leeds.ac.uk</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">





<div lang="EN-GB">
<div class="gmail-m_2699306323625142998WordSection1">
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)">Possibly/probably…<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)">There is a configuration option in one of the symplectic_XX_something.pl files that governs file deletion behaviour.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)">I&#39;d find that - and then search the code for references to it&#39;s value.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)">Cheers,<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)">John<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)"><u></u> <u></u></span></p>
<p class="MsoNormal"><b><span lang="EN-US" style="font-size:11pt;font-family:Calibri,sans-serif">From:</span></b><span lang="EN-US" style="font-size:11pt;font-family:Calibri,sans-serif"> James Kerwin [mailto:<a href="mailto:jkerwin2101@gmail.com" target="_blank">jkerwin2101@gmail.com</a>]
<br>
<b>Sent:</b> 17 May 2019 11:52<br>
<b>To:</b> John Salter &lt;<a href="mailto:J.Salter@leeds.ac.uk" target="_blank">J.Salter@leeds.ac.uk</a>&gt;<br>
<b>Cc:</b> <a href="mailto:eprints-tech@ecs.soton.ac.uk" target="_blank">eprints-tech@ecs.soton.ac.uk</a><br>
<b>Subject:</b> Re: [EP-tech] EPrints/Elements Merge Problems<u></u><u></u></span></p>
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<p class="MsoNormal">Thanks John!<u></u><u></u></p>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">I&#39;ll make these changes today and hopefully never have this problem again. Good timing really because we had restrictions on merging items in Elements for a while and this has been lifted.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Can I ask you a very quick question? Do you know if &quot;FileManageHandler.pm&quot; (Symplectic::Handlers::FileManageHandler) a good place to start investigating a problem with deletion requests from Elements? There&#39;s a &quot;delete_handler&quot; sub in there
 that looks like a likely candidate, but I don&#39;t want to spend half of my day looking in the wrong place.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Thanks,<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">James<u></u><u></u></p>
</div>
</div>
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<div>
<p class="MsoNormal">On Thu, May 16, 2019 at 12:48 PM John Salter &lt;<a href="mailto:J.Salter@leeds.ac.uk" target="_blank">J.Salter@leeds.ac.uk</a>&gt; wrote:<u></u><u></u></p>
</div>
<blockquote style="border-top:none;border-right:none;border-bottom:none;border-left:1pt solid rgb(204,204,204);padding:0cm 0cm 0cm 6pt;margin-left:4.8pt;margin-right:0cm">
<div>
<div>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)">Hi James,</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)">I&#39;ve put some notes/code here:</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)"><a href="https://eur03.safelinks.protection.outlook.com/?url=https%3A%2F%2Fgist.github.com%2Fjesusbagpuss%2Fee27acd24a5d0e3fa3d29ef0075d921b&amp;data=01%7C01%7Ceprints-tech%40ecs.soton.ac.uk%7Cafb968dc2007425e172b08d6dab89ce4%7C4a5378f929f44d3ebe89669d03ada9d8%7C0&amp;sdata=JS7DCSp1Y%2BfpxAVUEVzCIgwd3m1VQ%2FEghAGDrYw8c%2B4%3D&amp;reserved=0" originalSrc="https://gist.github.com/jesusbagpuss/ee27acd24a5d0e3fa3d29ef0075d921b" shash="cxCtslDG++LbCANRqBN2cN2dHTKBHDSGU9JYH7rkk2afn5KWGcADxIhrEjKGJpdLLzbpRKwEWu0WZl3wQlTiqf58CfD6iin2y2ySMDyE8yUXFPy3/z76VnV6Otg2nL07jAZSmWAk1ukQrF/08oN0EdIBcCHPFSMLb2+tqaJRDv0=" target="_blank">https://gist.github.com/jesusbagpuss/ee27acd24a5d0e3fa3d29ef0075d921b</a></span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)">let me know if it doesn&#39;t make sense.</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)"> </span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)">From my comments in the code (might be useful knowledge for others):</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)">EPrints&#39; default behaviour is to remove the &#39;pos&#39; during a document clone *only* when the doc is being
 cloned to the same parent.</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)"> </span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)">Cheers,</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)">John</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)"> </span><u></u><u></u></p>
<p class="MsoNormal"><b><span lang="EN-US" style="font-size:11pt;font-family:Calibri,sans-serif">From:</span></b><span lang="EN-US" style="font-size:11pt;font-family:Calibri,sans-serif">
<a href="mailto:eprints-tech-bounces@ecs.soton.ac.uk" target="_blank">eprints-tech-bounces@ecs.soton.ac.uk</a> [mailto:<a href="mailto:eprints-tech-bounces@ecs.soton.ac.uk" target="_blank">eprints-tech-bounces@ecs.soton.ac.uk</a>]
<b>On Behalf Of </b>James Kerwin via Eprints-tech<br>
<b>Sent:</b> 16 May 2019 12:22<br>
<b>To:</b> John Salter &lt;<a href="mailto:J.Salter@leeds.ac.uk" target="_blank">J.Salter@leeds.ac.uk</a>&gt;<br>
<b>Cc:</b> <a href="mailto:eprints-tech@ecs.soton.ac.uk" target="_blank">eprints-tech@ecs.soton.ac.uk</a><br>
<b>Subject:</b> Re: [EP-tech] EPrints/Elements Merge Problems</span><u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<div>
<div>
<div>
<p class="MsoNormal">He David and John,<u></u><u></u></p>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">I&#39;ve taken a look at the symplectic_merge and symplectic_pids table, and using by budding skills of divination I couldn&#39;t find anything out of sorts in there - so far as I can tell.
 Although in trying to fix this with multiple re-deposits this one record has a load of different EPrints IDs.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">It appears to be as John said. I&#39;ve managed to clean the record up by fiddling with the document and file tables and moving some files around. Everything appears to be working...<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">John, thank you for the piece of SQL. It appears this is isn&#39;t a huge problem, but there are other instances that I&#39;m now at least aware of. I&#39;ll put a ticket in with Symplectic.
 If you do have a solution it would be brilliant, but out of principle I think Symplectic should provide the solution to their customers. Capitalists shouldn&#39;t be depending on an open source group to fix their code. Anyway, I don&#39;t want to get too political...<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">Thank you both for your help.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">Thanks,<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">James<u></u><u></u></p>
</div>
</div>
</div>
</div>
<p class="MsoNormal"> <u></u><u></u></p>
<div>
<div>
<p class="MsoNormal">On Thu, May 16, 2019 at 9:49 AM John Salter &lt;<a href="mailto:J.Salter@leeds.ac.uk" target="_blank">J.Salter@leeds.ac.uk</a>&gt; wrote:<u></u><u></u></p>
</div>
<blockquote style="border-top:none;border-right:none;border-bottom:none;border-left:1pt solid rgb(204,204,204);padding:0cm 0cm 0cm 6pt;margin:5pt 0cm 5pt 4.8pt">
<p class="MsoNormal">Hi James,<br>
Yes - and I&#39;ve submitted a bug report to Symplectic - with a fix for their connector - which they&#39;ve never rolled out *sigh*.<br>
<br>
When two items are merged, and initially they both have documents in folder &#39;01&#39;, all these then get put into the &#39;surviving EPrint&#39;s &#39;01&#39; directory.<br>
Worse still, if both items have a file of the same name e.g. Doc1.pdf (but they are different files), one of them will overwrite the other - and you have data-loss :o|<br>
<br>
You can see how many things are affected by this with the following query:<br>
SELECT   eprintid, pos, count(*) as c FROM   document GROUP BY   eprintid, pos HAVING c &gt; 1;<br>
<br>
The issue is in Symplectic/RepoProcess/MergeManager.pm - and a call to:<br>
        my $new_doc = $doc-&gt;clone($target);<br>
This clone doesn&#39;t reset the &#39;pos&#39; - so you get the results reported.<br>
<br>
I&#39;ll put a gist together with the changes needed to resolve this.<br>
<br>
Feel free to log it as a ticket with Symplectic...<br>
<br>
Cheers,<br>
John<br>
<br>
-----Original Message-----<br>
From: <a href="mailto:eprints-tech-bounces@ecs.soton.ac.uk" target="_blank">eprints-tech-bounces@ecs.soton.ac.uk</a> [mailto:<a href="mailto:eprints-tech-bounces@ecs.soton.ac.uk" target="_blank">eprints-tech-bounces@ecs.soton.ac.uk</a>] On Behalf Of Newman
 D.R. via Eprints-tech<br>
Sent: 16 May 2019 09:28<br>
To: <a href="mailto:eprints-tech@ecs.soton.ac.uk" target="_blank">eprints-tech@ecs.soton.ac.uk</a>; James Kerwin &lt;<a href="mailto:jkerwin2101@gmail.com" target="_blank">jkerwin2101@gmail.com</a>&gt;<br>
Subject: Re: [EP-tech] EPrints/Elements Merge Problems<br>
<br>
Hi James,<br>
<br>
Based on some experience with this it can be due to the symplectic_pids<br>
table in EPrints getting out of sync.  I have in the past had to make<br>
manual corrections to fix this.  It has never been clear to me what<br>
caused the issue, as I only have access to the EPrints side.<br>
<br>
I would take a look in this EPrints database table.  It has three IDs<br>
two from Symplectic and one from EPrints.  A record with no outstanding<br>
merge issues should have the same two Symplectic IDs and the associated<br>
EPrint ID.  Sometimes I have not even been able to find the record I<br>
need in this table based on a lookup against either the EPrint or<br>
Symplectic ID.  Tell me what you find and I maybe able to advise<br>
further or confirm whether this is or is not the issue you are<br>
experiencing.<br>
<br>
Regards<br>
<br>
David Newman<br>
<br>
On Thu, 2019-05-16 at 09:18 +0100, James Kerwin via Eprints-tech wrote:<br>
&gt; Hi All,<br>
&gt;<br>
&gt; This may be a question for the Symplectic list, but on the off-chance<br>
&gt; anybody has experienced similar problems... Has anybody had trouble<br>
&gt; with merging records in Elements and the result in EPrints being a<br>
&gt; complete mess?<br>
&gt;<br>
&gt; A record was merged recently and the results in EPrints are two<br>
&gt; documents in the same folder on the server (where the file download<br>
&gt; link points two).<br>
&gt;<br>
&gt; For example, there is usually one file per bottom level directory:<br>
&gt;<br>
&gt; Dir 01 = file1.pdf<br>
&gt; Dir 02 = file2.pdf<br>
&gt;<br>
&gt; and so on.<br>
&gt;<br>
&gt; I&#39;m getting:<br>
&gt;<br>
&gt; Dir 01 = file1.pdf, file2.pdf<br>
&gt; Dir02 = file3.pdf<br>
&gt;<br>
&gt; Also the files showing Elements seem to be duplicating themselves and<br>
&gt; keeps changing to &quot;deposit incomplete&quot; Always one more of the<br>
&gt; duplicated file in Elements than is appearing in EPrints.<br>
&gt;<br>
&gt; I know I can tidy this up in EPrints, but I&#39;d like to stop it<br>
&gt; happening altogether.<br>
&gt;<br>
&gt; Thanks,<br>
&gt; James<br>
&gt; *** Options: <a href="http://mailman.ecs.soton.ac.uk/mailman/listinfo/eprints-" target="_blank">
http://mailman.ecs.soton.ac.uk/mailman/listinfo/eprints-</a><br>
&gt; tech<br>
&gt; *** Archive: <a href="https://eur03.safelinks.protection.outlook.com/?url=http%3A%2F%2Fwww.eprints.org%2Ftech.php%2F&amp;data=01%7C01%7Ceprints-tech%40ecs.soton.ac.uk%7Cafb968dc2007425e172b08d6dab89ce4%7C4a5378f929f44d3ebe89669d03ada9d8%7C0&amp;sdata=B975BYKdKfIeAuIfxrotidzigZrB9NFXqFAnDLJXkRs%3D&amp;reserved=0" originalSrc="http://www.eprints.org/tech.php/" shash="P76J1Xzwj6SEW1snMbwUwodzRrMaZqc+i2J+ole1r4qpGXcxSnnfLf6k4hUbShn70EbKrUopWlLNJp/LMZEguAN/U6x+LSSdWPOhkaQatkMtT5R1Oc1AY2UoV39TILxr4B8wlUNQAXkGyVPJBN4O4j0JXKtyhNqHfrgqsUbWkOc=" target="_blank">
https://eur03.safelinks.protection.outlook.com/?url=http%3A%2F%2Fwww.eprints.org%2Ftech.php%2F&amp;amp;data=01%7C01%7C%7Cd53022b90d27459e88c208d6d9d878a3%7C4a5378f929f44d3ebe89669d03ada9d8%7C0&amp;amp;sdata=k9RapSd7ddVo7%2BFhlqhADhT53Ra9%2FRwHWaXhLonT5aM%3D&amp;amp;reserved=0</a><br>
&gt; *** EPrints community wiki: <a href="https://eur03.safelinks.protection.outlook.com/?url=http%3A%2F%2Fwiki.eprints.org%2F&amp;data=01%7C01%7Ceprints-tech%40ecs.soton.ac.uk%7Cafb968dc2007425e172b08d6dab89ce4%7C4a5378f929f44d3ebe89669d03ada9d8%7C0&amp;sdata=thh6jM0JOQ8rhPbkQf6Zu7rDB%2FisztMxvPytTH2SDE8%3D&amp;reserved=0" originalSrc="http://wiki.eprints.org/" shash="EEKIYnwc//qJJFK/8yfpXr1uXkL4FTGtGrKmMnWqIlnD38MNe3EHXVrb/N9g1WRGfvHZ+4KGiq90qKNcuIC9nuKCXd8WQEQ9P23b5RYFS2Nd61ag2RpM4OGfzi+0I1sdXpDc597sCz38qpZwVlOyU9NWm0xrHtZfZIH+V+uBIPU=" target="_blank">
https://eur03.safelinks.protection.outlook.com/?url=http%3A%2F%2Fwiki.eprints.org%2F&amp;amp;data=01%7C01%7C%7Cd53022b90d27459e88c208d6d9d878a3%7C4a5378f929f44d3ebe89669d03ada9d8%7C0&amp;amp;sdata=6vHCSlBvgz9sv3jZGhvsmwKJn4all8tCD2bc44fuxpo%3D&amp;amp;reserved=0</a><br>
&gt; *** EPrints developers Forum: <a href="https://eur03.safelinks.protection.outlook.com/?url=http%3A%2F%2Fforum.eprints.org%2F&amp;data=01%7C01%7Ceprints-tech%40ecs.soton.ac.uk%7Cafb968dc2007425e172b08d6dab89ce4%7C4a5378f929f44d3ebe89669d03ada9d8%7C0&amp;sdata=SwCqCQUPKclRMMfRxi4kcdvI5PoKX9VzeASHRJMUr18%3D&amp;reserved=0" originalSrc="http://forum.eprints.org/" shash="AtzDRaavAME3VmM5nd03XmVWPbpc+V+otKtIJMSiL+STL42qI86fRS9Fjt0830/QmVkNQ5L3fDdP5SGhqHQiRgUdd9nfRKvPnVXKK0CXbwdpN73+7W9e3CjHTGvjeaImjtY+SGreC8AHC/JkdypBmVvhUUvG6AHSOwusTeyUVPU=" target="_blank">
https://eur03.safelinks.protection.outlook.com/?url=http%3A%2F%2Fforum.eprints.org%2F&amp;amp;data=01%7C01%7C%7Cd53022b90d27459e88c208d6d9d878a3%7C4a5378f929f44d3ebe89669d03ada9d8%7C0&amp;amp;sdata=RaBQEyELw4X71EVgu7B9nnSm090fFQFEc%2FBO9mQaK%2Fk%3D&amp;amp;reserved=0</a><br>
<br>
*** Options: <a href="http://mailman.ecs.soton.ac.uk/mailman/listinfo/eprints-tech" target="_blank">
http://mailman.ecs.soton.ac.uk/mailman/listinfo/eprints-tech</a><br>
*** Archive: <a href="https://eur03.safelinks.protection.outlook.com/?url=http%3A%2F%2Fwww.eprints.org%2Ftech.php%2F&amp;data=01%7C01%7Ceprints-tech%40ecs.soton.ac.uk%7Cafb968dc2007425e172b08d6dab89ce4%7C4a5378f929f44d3ebe89669d03ada9d8%7C0&amp;sdata=B975BYKdKfIeAuIfxrotidzigZrB9NFXqFAnDLJXkRs%3D&amp;reserved=0" originalSrc="http://www.eprints.org/tech.php/" shash="P76J1Xzwj6SEW1snMbwUwodzRrMaZqc+i2J+ole1r4qpGXcxSnnfLf6k4hUbShn70EbKrUopWlLNJp/LMZEguAN/U6x+LSSdWPOhkaQatkMtT5R1Oc1AY2UoV39TILxr4B8wlUNQAXkGyVPJBN4O4j0JXKtyhNqHfrgqsUbWkOc=" target="_blank">
http://www.eprints.org/tech.php/</a><br>
*** EPrints community wiki: <a href="https://eur03.safelinks.protection.outlook.com/?url=http%3A%2F%2Fwiki.eprints.org%2F&amp;data=01%7C01%7Ceprints-tech%40ecs.soton.ac.uk%7Cafb968dc2007425e172b08d6dab89ce4%7C4a5378f929f44d3ebe89669d03ada9d8%7C0&amp;sdata=thh6jM0JOQ8rhPbkQf6Zu7rDB%2FisztMxvPytTH2SDE8%3D&amp;reserved=0" originalSrc="http://wiki.eprints.org/" shash="EEKIYnwc//qJJFK/8yfpXr1uXkL4FTGtGrKmMnWqIlnD38MNe3EHXVrb/N9g1WRGfvHZ+4KGiq90qKNcuIC9nuKCXd8WQEQ9P23b5RYFS2Nd61ag2RpM4OGfzi+0I1sdXpDc597sCz38qpZwVlOyU9NWm0xrHtZfZIH+V+uBIPU=" target="_blank">
http://wiki.eprints.org/</a><br>
*** EPrints developers Forum: <a href="https://eur03.safelinks.protection.outlook.com/?url=http%3A%2F%2Fforum.eprints.org%2F&amp;data=01%7C01%7Ceprints-tech%40ecs.soton.ac.uk%7Cafb968dc2007425e172b08d6dab89ce4%7C4a5378f929f44d3ebe89669d03ada9d8%7C0&amp;sdata=SwCqCQUPKclRMMfRxi4kcdvI5PoKX9VzeASHRJMUr18%3D&amp;reserved=0" originalSrc="http://forum.eprints.org/" shash="AtzDRaavAME3VmM5nd03XmVWPbpc+V+otKtIJMSiL+STL42qI86fRS9Fjt0830/QmVkNQ5L3fDdP5SGhqHQiRgUdd9nfRKvPnVXKK0CXbwdpN73+7W9e3CjHTGvjeaImjtY+SGreC8AHC/JkdypBmVvhUUvG6AHSOwusTeyUVPU=" target="_blank">
http://forum.eprints.org/</a><u></u><u></u></p>
</blockquote>
</div>
</div>
</div>
</blockquote>
</div>
</div>
</div>

</blockquote></div>